快捷导航
本帖最后由 scraper 于 2016-12-30 10:55 编辑

【启动采集前的配置】
  • 预先登陆网站:否
  • 配置打码平台:否

【运行方法】— 详见数据DIY图文教程

  • 用GS爬虫浏览器或者是安装了爬虫软件的火狐浏览器访问豆瓣小组_话题详情页面
  • 输入一个或多个搜索结果网址,然后点击“获取数据”;
  • 点击“启动采集”按钮,采集完成后点击“打包”按钮,就可以下载数据了。

【常见问题】— 欢迎跟帖留言
举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2018-7-3 10:17

serenachen 初级会员 发表于 2018-7-3 10:17:35 | 显示全部楼层
本条规则似乎只适用于纯文字描述的网页,
只要爬到带图片or需要二次点击打开全文or带链接的的网页就会匹配失败
不知有没有可以改良的方法?


屏幕截图(4).png

打开错误网址查看

打开错误网址查看

抓取错误网址

抓取错误网址

不匹配

不匹配
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 在Jupyter Notebook中将分词结果转换成数组
  • 在Jupyter Notebook中使用word2vec和k-mean
  • 网络评价对水产品线上销量影响的实证分析—
  • “中坚青年”压力与动力转化的—以高校青年
  • “抖音”短视频文本里的新生代婆媳关系

热门用户

GMT+8, 2021-12-8 05:15