快捷导航
4 9288

天猫数据采集

lvkunjxk 于 2017-12-27 13:18 发表 [复制链接]
今天使用爬虫路径的方式采集天猫数据,采集前100页,但是到了100页的时候,记号标识“下一页”并没有变成灰色,如果抓的话,又回到第一页重复抓了,请问,如何让爬虫抓到100页的时候,就停下来呢》?

举报 使用道具
| 回复

共 4 个关于本帖的回复 最后回复于 2023-2-23 21:56

bowieD 金牌会员 发表于 2017-12-27 14:04:29 | 显示全部楼层
本帖最后由 bowieD 于 2017-12-27 14:06 编辑

为记号线索的存在,爬虫会一直做翻页动作而不停止。
解决办法:
1)通过“单搜”/“集搜”采集的话,要设置DS打数机的高级菜单->勾上重复内容,这样的话,当一个页面重复采集达到3次,爬虫就会停止采集该网址,然后跳到采集下一条网址。最后,可以通过excel过滤掉重复的数据。 6.jpg
2)通过爬虫群采集的话,要在规则的调度中把重复内容中断选择为是。

7k.png
举报 使用道具
谢蜜胖 初级会员 发表于 2023-2-2 16:22:14 | 显示全部楼层
选了全部采集,但是为啥只能采集到80条
举报 使用道具
maomao 论坛元老 发表于 2023-2-2 17:03:55 | 显示全部楼层
谢蜜胖 发表于 2023-2-2 16:22
选了全部采集,但是为啥只能采集到80条

采集之前,在数据管家打开tb,并且登陆一个tb账号
举报 使用道具
18318843028 新手上路 发表于 2023-2-23 21:56:42 | 显示全部楼层
maomao 发表于 2023-2-2 17:03
采集之前,在数据管家打开tb,并且登陆一个tb账号

天猫只能看两页评论,后面的评论只能手机上查看,怎么解决?

举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 如何采集微博博主主页并生成共现矩阵用于Ge
  • Gephi社会网络分析-网络图Force Atlas布局
  • 对共词关系求协方差矩阵后再用Girvan-Newma
  • 社区发现算法Girvan-Newman(GN)是否能应用
  • 使用GooSeeker分词和Gephi进行中文文本分析

热门用户

GMT+8, 2023-9-23 13:39