我分享出来的“农庄爬取”规则有以下几点问题:
(1)数据爬取不全,一页评论只能爬到两三条
1.png
(2)想要爬取用户的等级以及评论星级,做了定位映射但是爬取下来还是没有内容

2.png
(3)大众点评才爬到第6页就显示
3.png

举报 使用道具
| 回复

共 3 个关于本帖的回复 最后回复于 2018-12-29 19:06

Fuller 管理员 发表于 2018-12-29 17:21:29 | 显示全部楼层
主题名对吗?我没有搜到这个主题
举报 使用道具
pipi1519 初级会员 发表于 2018-12-29 17:50:54 | 显示全部楼层
Fuller 发表于 2018-12-29 17:21
主题名对吗?我没有搜到这个主题

不好意思打错了,主题名是“农庄抓取”,现在规则基本能用了,但是就是爬了一小部分就显示
1.png
换了IP,清了缓存,能重新打开爬取页面了,但是爬了一页就又显示这个界面,请问怎么解决啊??

举报 使用道具
知识产权 高级会员 发表于 2018-12-29 19:06:01 | 显示全部楼层
pipi1519 发表于 2018-12-29 17:50
不好意思打错了,主题名是“农庄抓取”,现在规则基本能用了,但是就是爬了一小部分就显示

换了IP,清了 ...

这个网站反爬很厉害。最新版本的集搜客爬虫能自动清除cookie,换IP可以选择一个vpn客户端,能自动换电脑的IP
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 22:37