快捷导航
3 163

翻页无法抓取

yxlin_1998 于 2021-7-20 15:32 发表 [复制链接]
任务名:七麦comment
规则:在同一个url下,翻页评论区内容,参考了教程但没有抓取到评论详情中的内容,具体来说,是网页缓冲很久,不知是翻不过去还是因为其他别的原因,最后只能人工停止

举报 使用道具
| 回复

共 3 个关于本帖的回复 最后回复于 2021-7-20 16:27

Fuller 管理员 发表于 2021-7-20 15:47:28 | 显示全部楼层
翻页那里,模拟点击不要勾就可以翻页了。有时候要模拟点击,有时候不要,要通过实验决定。另外,最好打开自动滚屏,防止页面加载不全

模拟点击2.png
自动滚屏0.png
举报 使用道具
yxlin_1998 初级会员 发表于 2021-7-20 16:12:11 | 显示全部楼层
谢谢!
当我勾选连续翻页,取消勾线自动点击,并在自己用户中心中,调度任务中,选择控制翻页,采集3页后,开始采集,但是采集过程中,他的翻页是停不下来的,而且不止采集3页,请问如何处理呢
举报 使用道具
Fuller 管理员 发表于 2021-7-20 16:27:43 | 显示全部楼层
yxlin_1998 发表于 2021-7-20 16:12
谢谢!
当我勾选连续翻页,取消勾线自动点击,并在自己用户中心中,调度任务中,选择控制翻页,采集3页后, ...

限制翻页要填下面的输入框,不是填上面那个输入框

限制翻页3.png
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Jupyter Notebook使用sklearn的TF-IDF算法
  • 基于TSC 理论的网络社区中知识动员模式研究
  • 网页数据采集使用嵌套整理箱获得有层次的数
  • 我国旅游管理研究的知识来源与结构—基于文
  • 面向用户评论的关键词抽取研究-以美团为例

热门用户

GMT+8, 2021-7-30 12:16