快捷导航
线索网址为如下等,所以线索网址可见附件:
<<<<<
https://www.wdzj.com/dangan/dyj/
https://www.wdzj.com/dangan/sjhl/
https://www.wdzj.com/dangan/dsmm/
https://www.wdzj.com/dangan/xqd1/
https://www.wdzj.com/dangan/cxjr/
https://www.wdzj.com/dangan/xwch/

要抓取的数据为ICP号,我设计的命名主题和规则名称为:正常平台ICP号。

我发现有的线索网址有,有的线索网址没有这个数据,还发现他们的Xpath路径是相同的(如下),故在规则中高级设置中自定义了Xpath,
/html/body/div[position()=10]/div/div[position()=1]/div[position()=1]/dl[position()=1]/dd[position()=6]

但发现DS打数机仍然有些网址线索中的数据未能抓取下来,不知什么原因,求助大牛帮忙解答!非常感谢!

举报 使用道具
| 回复

共 3 个关于本帖的回复 最后回复于 2018-10-30 09:29

Fuller 管理员 发表于 2018-10-29 18:19:04 | 显示全部楼层
就是为了ICP号这一个信息吗?我看网页结构都是一样的,不用自定义xpath都可以,没有的网页就采集到一个 - 符号,后期可以通过过滤,把这类内容过滤掉
举报 使用道具
houxinyu1216 初级会员 发表于 2018-10-29 21:51:32 | 显示全部楼层
Fuller 发表于 2018-10-29 18:19
就是为了ICP号这一个信息吗?我看网页结构都是一样的,不用自定义xpath都可以,没有的网页就采集到一个 -  ...

对的,就是想单独抓取这个数据,因为别的数据已经成功抓取到了,但唯独这个数据,大部分都没有抓取到,要么本来有的抓取为空,要么抓取到上一行要素的信息。。

举报 使用道具
Fuller 管理员 发表于 2018-10-30 09:29:37 | 显示全部楼层
houxinyu1216 发表于 2018-10-29 21:51
对的,就是想单独抓取这个数据,因为别的数据已经成功抓取到了,但唯独这个数据,大部分都没有抓取到,要 ...

自定义xpath应该这样写
  1. //*[@class='bgbox-bt zzfwbox']/dl/dd/div[contains(preceding-sibling::div/em/text(), 'ICP号')]/text()
复制代码
相对于那个 ICP号 这个字符串
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 大型百货商场会员画像描绘
  • 自动导入导出数据
  • 批量爬取蘑菇街商品价格、评论信息
  • 微博用户数据分析
  • 批量爬取苏宁商品价格、评论信息

热门用户

集搜客GooSeeker网络爬虫 ( 粤ICP备11065265号-2 )

GMT+8, 2018-11-14 23:57