内容:我用集搜客快捷工具采集亚马逊美国商品的评论,采集过程中,评论很多的时候,会断掉,怎样从断掉的页面继续采集?
举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2019-6-5 17:32

沙发
maomao 论坛元老 发表于 2019-6-5 17:29:04 | 只看该作者
集搜客快捷工具采集亚马逊美国评论,如果在某一页断掉了。先把已经采集的数据打包下载。然后打开数据excel表,数据里有个<realpath>字段,把这一列的最后一行拷贝下来,再添加到亚马逊美国评论快捷工具,就可以接着断掉的地方继续采集了。
举报 使用道具
板凳
maomao 论坛元老 发表于 2019-6-5 17:32:22 | 只看该作者
本帖最后由 maomao 于 2021-10-26 16:50 编辑

另外,美国亚马逊现在反爬也比较严重。爬的时候要经常清缓存,换IP。这样才不会被封锁。
(老版爬虫清缓存操作可以参见这篇帖子的一楼:https://www.gooseeker.com/doc/thread-11667-1-1.html
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文
  • 使用AI工具Kimi生成python代码为文本分析结
  • 苹果mac电脑安装集搜客网络爬虫软件失败的

热门用户

GMT+8, 2024-11-22 14:02