本帖最后由 weightminwu 于 2019-2-21 01:36 编辑

我看了教程说是:一级设置连续点击这一页的所有“展开”标志

二级设置展开状态下的信息采集
但是我在一级中设置连续点击一直有问题:

不知道还需要再哪里加点东西...
现在采集的情况是展开了第一条和第三条的影评,第二条就不见了,然后点进去别的地方了,我也没设置其他东西,不知道为什么会这样...
举报 使用道具
| 回复

共 16 个关于本帖的回复 最后回复于 2019-7-10 20:24

沙发
Fuller 管理员 发表于 2019-2-21 10:05:26 | 只看该作者
第一级主题名是美人鱼yu吧?我加载分析了,只做了一个小改动
增加了额外延时,担心点击太快来不及显示。

另外,我看你的第二级规则,最好用上定位标志映射,这样才能精确采集,而且规则的适应性提高。


我测试的正常运行
举报 使用道具
板凳
weightminwu 初级会员 发表于 2019-2-21 10:34:08 | 只看该作者
本帖最后由 weightminwu 于 2019-2-21 10:38 编辑
Fuller 发表于 2019-2-21 10:05
第一级主题名是美人鱼yu吧?我加载分析了,只做了一个小改动
增加了额外延时,担心点击太快来不及显示。

我对美人鱼yu直接启动采集,然后弹出这个了:
而且他这个评论不是有标题的那种评论吗,他现在执行就跳进了第三个用户的评论标题链接里了,然后上下滑动这个用户他的具体评论和别人对这个评论的评论,接着就开始出报错日志了

QQ图片20190221103120.png (9.96 KB, 下载次数: 655)

QQ图片20190221103120.png

QQ图片20190221103120.png (9.96 KB, 下载次数: 633)

QQ图片20190221103120.png
举报 使用道具
地板
weightminwu 初级会员 发表于 2019-2-21 13:12:15 | 只看该作者
我勾上样例复制管理好像能抓取了,但是一页20条记录最后只抓到了10条,我看他好像是跳着抓的,就抓了第一、三、五....个用户的展开评论,请问下怎么解决呢??
举报 使用道具
5#
weightminwu 初级会员 发表于 2019-2-21 15:01:42 | 只看该作者
又抓不到了...又跳进第三个用户的评论了....
举报 使用道具
6#
Fuller 管理员 发表于 2019-2-21 17:45:33 | 只看该作者
weightminwu 发表于 2019-2-21 15:01
又抓不到了...又跳进第三个用户的评论了....

DS打数机运行的时候,窗口有没有放大到最大?我测试了,完整采集20条没有问题
举报 使用道具
7#
Fuller 管理员 发表于 2019-2-21 17:47:51 | 只看该作者
weightminwu 发表于 2019-2-21 10:34
我对美人鱼yu直接启动采集,然后弹出这个了:
而且他这个评论不是有标题的那种评论吗,他现在执行就跳进了 ...

如果用这个动作的xpath做点击,不会点击到标题,
  1. //*[@class='unfold']
复制代码

举报 使用道具
8#
Fuller 管理员 发表于 2019-2-21 17:48:23 | 只看该作者
我看你做的规则都是对的。主题名是 美人鱼yu 和 美人鱼yu2 吧?
举报 使用道具
9#
weightminwu 初级会员 发表于 2019-2-21 17:54:32 | 只看该作者
Fuller 发表于 2019-2-21 17:48
我看你做的规则都是对的。主题名是 美人鱼yu 和 美人鱼yu2 吧?

对的!但是我这里就老是跳进第三个用户的评论链接里
举报 使用道具
10#
weightminwu 初级会员 发表于 2019-2-21 17:55:48 | 只看该作者
Fuller 发表于 2019-2-21 17:45
DS打数机运行的时候,窗口有没有放大到最大?我测试了,完整采集20条没有问题
...

有放大,看着他展开第一条评论采集,然后直接跳过第二条,点开第三条评论采集,然后就跳进评论链接了
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-25 14:59