本帖最后由 稀饭客 于 2018-9-30 15:09 编辑

规则:帮贴发帖数据   
规则设置了翻页,爬虫只采集到了第一页,后面的只翻页却没有采到数据怎么回事?




举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2018-9-30 16:48

Fuller 管理员 发表于 2018-9-30 16:45:51 | 显示全部楼层
整理箱中第二个抓取内容“项目”,这个目的是什么?有这个抓取内容,在网页上的抓取范围增加了很多,在这个标题和下面的内容列表之间有很多DOM节点,万一之间插入一个节点,就会影响到内容列表的抓取
举报 使用道具
Fuller 管理员 发表于 2018-9-30 16:48:52 | 显示全部楼层
我把“项目”删除了,DS打数机菜单 配置-》延迟抓取,设置了3秒,就抓取的不错。如果还有漏的,可以把自动滚屏也打开
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-28 16:33