快捷导航
本帖最后由 scraper 于 2016-12-30 10:55 编辑

【启动采集前的配置】
  • 预先登陆网站:否
  • 配置打码平台:否

【运行方法】— 详见数据DIY图文教程

  • 用GS爬虫浏览器或者是安装了爬虫软件的火狐浏览器访问豆瓣小组_话题详情页面
  • 输入一个或多个搜索结果网址,然后点击“获取数据”;
  • 点击“启动采集”按钮,采集完成后点击“打包”按钮,就可以下载数据了。

【常见问题】— 欢迎跟帖留言
举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2018-7-3 10:17

serenachen 初级会员 发表于 2018-7-3 10:17:35 | 显示全部楼层
本条规则似乎只适用于纯文字描述的网页,
只要爬到带图片or需要二次点击打开全文or带链接的的网页就会匹配失败
不知有没有可以改良的方法?


屏幕截图(4).png

打开错误网址查看

打开错误网址查看

抓取错误网址

抓取错误网址

不匹配

不匹配
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 大型百货商场会员画像描绘
  • 自动导入导出数据
  • 批量爬取蘑菇街商品价格、评论信息
  • 微博用户数据分析
  • 批量爬取苏宁商品价格、评论信息

热门用户

集搜客GooSeeker网络爬虫 ( 粤ICP备11065265号-2 )

GMT+8, 2018-9-20 13:42