本帖最后由 scraper 于 2016-12-30 10:55 编辑

【启动采集前的配置】
  • 预先登陆网站:否
  • 配置打码平台:否

【运行方法】— 详见数据DIY图文教程

  • 用GS爬虫浏览器或者是安装了爬虫软件的火狐浏览器访问豆瓣小组_话题详情页面
  • 输入一个或多个搜索结果网址,然后点击“获取数据”;
  • 点击“启动采集”按钮,采集完成后点击“打包”按钮,就可以下载数据了。

【常见问题】— 欢迎跟帖留言
举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2018-7-3 10:17

沙发
serenachen 初级会员 发表于 2018-7-3 10:17:35 | 只看该作者
本条规则似乎只适用于纯文字描述的网页,
只要爬到带图片or需要二次点击打开全文or带链接的的网页就会匹配失败
不知有没有可以改良的方法?


屏幕截图(4).png (53.75 KB, 下载次数: 704)

屏幕截图(4).png

屏幕截图(3).png (163.09 KB, 下载次数: 714)

打开错误网址查看

打开错误网址查看

屏幕截图(2).png (180.06 KB, 下载次数: 729)

抓取错误网址

抓取错误网址

屏幕截图(1).png (141.38 KB, 下载次数: 737)

不匹配

不匹配
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文
  • 使用AI工具Kimi生成python代码为文本分析结
  • 苹果mac电脑安装集搜客网络爬虫软件失败的

热门用户

GMT+8, 2024-11-22 15:34