37 39719

爬取数据不完整

Healerxy 于 2017-9-13 11:27 发表 [复制链接]
Healerxy 中级会员 发表于 2017-9-15 11:30:36 | 显示全部楼层
bowieD 发表于 2017-9-15 11:28
因为你之前的规则有问题,改过来之后应该就可以解决问题

请问除了将模拟点击改为连续动作,还有其他需要修改的地方吗?
举报 使用道具
bowieD 金牌会员 发表于 2017-9-15 11:45:38 | 显示全部楼层
本帖最后由 bowieD 于 2017-9-15 11:47 编辑

暂时没发现其他问题,也有可能和你的打数机参数设置有关,你先试着改。
举报 使用道具
Healerxy 中级会员 发表于 2017-9-15 19:51:53 | 显示全部楼层
bowieD 发表于 2017-9-15 11:45
暂时没发现其他问题,也有可能和你的打数机参数设置有关,你先试着改。

打数机参数要怎么设置比较好呢?我想爬得快一点。
举报 使用道具
Fuller 管理员 发表于 2017-9-16 09:31:50 | 显示全部楼层
Healerxy 发表于 2017-9-15 19:51
打数机参数要怎么设置比较好呢?我想爬得快一点。

在教程首页搜索提高速度,就有很多教程和讨论。
举报 使用道具
Healerxy 中级会员 发表于 2017-9-16 15:02:51 | 显示全部楼层
bowieD 发表于 2017-9-15 11:45
暂时没发现其他问题,也有可能和你的打数机参数设置有关,你先试着改。

我把模拟点击改为连续动作了,但是我看爬取的结果是所有商品的,好像并没有点到“只看当前商品评价”,麻烦您帮忙看一下哪里出了问题?
规则名:测试_京东计算机书籍_详情,下级线索:京东计算机书籍_评论。
举报 使用道具
Fuller 管理员 发表于 2017-9-16 15:34:24 | 显示全部楼层
Healerxy 发表于 2017-9-16 15:02
我把模拟点击改为连续动作了,但是我看爬取的结果是所有商品的,好像并没有点到“只看当前商品评价”,麻 ...

xpath没有写够,你才写到li,应该到下面的input
  1. //*[@class='comm-curr-sku trig-item']/span/input
复制代码

举报 使用道具
Healerxy 中级会员 发表于 2017-9-16 15:36:20 | 显示全部楼层
Fuller 发表于 2017-9-16 15:34
xpath没有写够,你才写到li,应该到下面的input

这个我试了,还是点击不上。
举报 使用道具
Fuller 管理员 发表于 2017-9-16 15:57:58 | 显示全部楼层
Healerxy 发表于 2017-9-16 15:36
这个我试了,还是点击不上。

刚才我都测试了一遍。估计你没有把DS打数机的滚屏打开。DS打数机菜单 配置-》滚屏参数,把滚屏次数设置成>0的数字
另外,我给点击动作设置了高级设置,增加了额外延时2秒钟
举报 使用道具
Healerxy 中级会员 发表于 2017-9-16 16:12:23 | 显示全部楼层
Fuller 发表于 2017-9-16 15:57
刚才我都测试了一遍。估计你没有把DS打数机的滚屏打开。DS打数机菜单 配置-》滚屏参数,把滚屏次数设置成 ...

我设置了滚屏参数,次数是1,速度是8。
刚才加上额外延时2s之后又试了一下,也还是点击不上。
举报 使用道具
Fuller 管理员 发表于 2017-9-16 16:49:26 | 显示全部楼层
Healerxy 发表于 2017-9-16 16:12
我设置了滚屏参数,次数是1,速度是8。
刚才加上额外延时2s之后又试了一下,也还是点击不上。
...

我的滚屏次数2,速度2,刚才又用你的规则测试了一遍,可以点击
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 16:59