快捷导航
6 275

二级线索为0

jiangsuxincheng 于 2017-7-17 18:00 发表 [复制链接]
采集http://www.jszb.com.cn/jszb/YW_i ... spx?categoryNum=012 网站的信息,二级线索为0,我个人认为可能我一级线索的下级线索处设置问题, 5.png 我检查了几次,应该没问题啊,唯一的就是二级目录点开来是一个独立的网址,然后我做标注的,步骤页对,就是不知道哪里出问题了。主题名:省建设工程1,二级规则:省建设工程2,请指教
举报 使用道具
| 回复

共 6 个关于本帖的回复 最后回复于 2017-7-18 14:08

shenzhenwan10 金牌会员 发表于 2017-7-17 18:29:52 | 显示全部楼层
你抓取什么内容做为第二级的线索?
如下图:
jszb.png
href属性里没有放真实的网址, onclick里可以拼接出网址
你可以用以下方法中的一种:
1. 用连续动作点击, 采集弹出的窗口中内容
2. 用自定义xpath从onclick里拼出网址, 作为第二级的线索


举报 使用道具
jiangsuxincheng 初级会员 发表于 2017-7-18 11:36:34 | 显示全部楼层
请问有没有类似这种的教程案例了
举报 使用道具
shengchengx 金牌会员 发表于 2017-7-18 11:53:46 | 显示全部楼层
jiangsuxincheng 发表于 2017-7-18 11:36
请问有没有类似这种的教程案例了

onclick网址链接获取问题
可以看下这个,跟你的问题差不多。也可以用连续动作来做的

举报 使用道具
wangyong 版主 发表于 2017-7-18 11:57:44 | 显示全部楼层
举报 使用道具
jiangsuxincheng 初级会员 发表于 2017-7-18 13:14:48 | 显示全部楼层
这种的我用连续动作怎么做了,比如我第一级规则省建设工程1,我对采集的标题日期等做了映射,翻页,然后我做了@href 网址的映射,做连续动作的话是直接在这个规则里做个点击的动作吗,然后再做二级规则里面的标注映射吗?   或者说还是直接去掉@href网址的映射,直接在一级规则里面做连续动作点击。
如果这么做的话最终爬虫二级网址的数据也是随着一级规则的采集,自动采集吗
举报 使用道具
shengchengx 金牌会员 发表于 2017-7-18 14:08:18 | 显示全部楼层
jiangsuxincheng 发表于 2017-7-18 13:14
这种的我用连续动作怎么做了,比如我第一级规则省建设工程1,我对采集的标题日期等做了映射,翻页,然后我 ...

直接在一级规则中连续动作,二级规则会随着一级规则一起运行的。

举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 百度推广后台数据DIY
  • 采集表单中的input动态内容
  • 采用刷新动作实现手机页面采集
  • 通过划定滚轮范围实现精确点击手机页面
  • 放大或者缩小页面便于采集手机网页内容

热门用户

集搜客GooSeeker网络爬虫 ( 粤ICP备11065265号-2 )

GMT+8, 2017-11-22 07:01