本帖最后由 scraper 于 2016-12-30 17:06 编辑


【启动采集前的配置】

  • 预先登陆网站:是
  • 配置打码平台:否

【运行方法】— 详见数据DIY图文教程

  • 用GS爬虫浏览器或者是安装了爬虫软件的火狐浏览器访问知乎_关键词搜索结果列表_内容页面;
  • 输入一条网址,或者点击“输入多条网址”,然后点击“获取数据”;
  • 点击“启动采集”按钮,采集完成后点击“打包”按钮,就可以下载数据了。

【常见问题】— 欢迎跟帖留言
举报 使用道具
| 回复

共 9 个关于本帖的回复 最后回复于 2024-4-3 18:14

沙发
Qduoduo 新手上路 发表于 2017-3-1 16:22:30 | 只看该作者
本帖最后由 Qduoduo 于 2017-3-1 16:45 编辑

有问题,总是出错
----纠正一下,不是报黄色错误。。。采集的数据发现不全,希望解答,谢谢。
举报 使用道具
板凳
scraper 论坛元老 发表于 2017-3-1 16:26:44 | 只看该作者
Qduoduo 发表于 2017-3-1 16:22
有问题,总是出错

有问题的都是你添加的网址不符合页面的要求 看清楚样本页面 找到对应的页面来添加网址

举报 使用道具
地板
Qduoduo 新手上路 发表于 2017-3-1 16:38:31 | 只看该作者
scraper 发表于 2017-3-1 16:26
有问题的都是你添加的网址不符合页面的要求 看清楚样本页面 找到对应的页面来添加网址

...

每次只能采集到8条数据,我选了“全部”了,不是1页,但是我的数据不止1页,求解。
https://www.zhihu.com/search?type=content&q=极限特工3:终极回归

举报 使用道具
5#
scraper 论坛元老 发表于 2017-3-1 17:33:28 | 只看该作者
Qduoduo 发表于 2017-3-1 16:38
每次只能采集到8条数据,我选了“全部”了,不是1页,但是我的数据不止1页,求解。
https://www.zhihu.co ...

我测试了可以导出16条数据 因为规则没有把专栏的也采下来只是采了问题的
你观察采集的时候是否正常点完全部数据 一共就4页

举报 使用道具
6#
scraper 论坛元老 发表于 2017-3-1 17:53:26 | 只看该作者
Qduoduo 发表于 2017-3-1 16:38
每次只能采集到8条数据,我选了“全部”了,不是1页,但是我的数据不止1页,求解。
https://www.zhihu.co ...

修改规则了把专栏的也采下来了 测试了可以采全30条数据

举报 使用道具
7#
Qduoduo 新手上路 发表于 2017-3-1 18:49:37 | 只看该作者
scraper 发表于 2017-3-1 17:53
修改规则了把专栏的也采下来了 测试了可以采全30条数据

多谢!我重新爬了,ok!

举报 使用道具
8#
yyyjq_233 新手上路 发表于 2024-4-3 13:48:36 | 只看该作者
数据里面有阅读全文怎么办
举报 使用道具
9#
Fuller 管理员 发表于 2024-4-3 14:13:05 | 只看该作者
yyyjq_233 发表于 2024-4-3 13:48
数据里面有阅读全文怎么办

数据里面应该有一列是答案链接,把这些链接拷贝出来,粘贴到知乎_回答展开采集快捷采集,采集完整的回答。


举报 使用道具
10#
yyyjq_233 新手上路 发表于 2024-4-3 18:14:07 | 只看该作者
Fuller 发表于 2024-4-3 14:13
数据里面应该有一列是答案链接,把这些链接拷贝出来,粘贴到知乎_回答展开采集快捷采集,采集完整的回答。 ...

谢谢!!!

举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文
  • 使用AI工具Kimi生成python代码为文本分析结
  • 苹果mac电脑安装集搜客网络爬虫软件失败的

热门用户

GMT+8, 2024-10-31 12:53