本帖最后由 scraper 于 2016-12-30 10:55 编辑

【启动采集前的配置】
  • 预先登陆网站:否
  • 配置打码平台:否

【运行方法】— 详见数据DIY图文教程

  • 用GS爬虫浏览器或者是安装了爬虫软件的火狐浏览器访问豆瓣小组_话题详情页面
  • 输入一个或多个搜索结果网址,然后点击“获取数据”;
  • 点击“启动采集”按钮,采集完成后点击“打包”按钮,就可以下载数据了。

【常见问题】— 欢迎跟帖留言
举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2018-7-3 10:17

沙发
serenachen 初级会员 发表于 2018-7-3 10:17:35 | 只看该作者
本条规则似乎只适用于纯文字描述的网页,
只要爬到带图片or需要二次点击打开全文or带链接的的网页就会匹配失败
不知有没有可以改良的方法?


屏幕截图(4).png (53.75 KB, 下载次数: 2265)

屏幕截图(4).png

屏幕截图(3).png (163.09 KB, 下载次数: 2239)

打开错误网址查看

打开错误网址查看

屏幕截图(2).png (180.06 KB, 下载次数: 2281)

抓取错误网址

抓取错误网址

屏幕截图(1).png (141.38 KB, 下载次数: 2446)

不匹配

不匹配
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • UMAP的min_dist参数有什么作用?
  • UMAP的n_neighbors参数有什么作用?
  • HDBSCAN的min_samples和min_cluster_size参
  • 为什么BERTopic话题缩减后特征词出现大量没
  • GooSeeker分词扩展模块的安装方法

热门用户

GMT+8, 2026-6-18 13:36