知乎采集独立问题下的所有回答，总是出错怎么办？

聂思宇

我需要采集知乎某独立问题下的所有回答，大约有几千条吧，可是每次都是大概刚开始采集了几条就无法进行下去了，程序出现错误。我是程序小白，大神们可以教教我应该怎么解决吗？

Fuller · 发表于 2017-4-26 10:28:20

有没有截图？程序错误表现出什么现象？

你用的规则是自定义的？还是数据DIY的

聂思宇 · 发表于 2017-4-26 10:42:30

本帖最后由聂思宇于 2017-4-26 10:43 编辑

Fuller 发表于 2017-4-26 10:28
有没有截图？程序错误表现出什么现象？

你用的规则是自定义的？还是数据DIY的 ...

首先，我使用的是首页的“数据获取”，并且直接点击进行采集。

随后，跳出两个ds窗口，一个是运行中的。

那个在运行中的窗口每次到页面底部的“更多”时就显示匹配失败了，具体好像是“剩余线索”后有“匹配失败”几个字样。

scraper · 发表于 2017-4-26 10:58:13

聂思宇发表于 2017-4-26 10:42
首先，我使用的是首页的“数据获取”，并且直接点击进行采集。

随后，跳出两个ds窗口，一个是运行中的。

你用的是火狐浏览器版爬虫还是GS浏览器版？

聂思宇 · 发表于 2017-4-26 10:58:40

Fuller 发表于 2017-4-26 10:28
有没有截图？程序错误表现出什么现象？

你用的规则是自定义的？还是数据DIY的 ...

而且，我还发现我每次采集的同一独立话题下的精华内容，后一次总要比前一次多近100条，我实在不清楚这是为什么........现在处于很懵圈的状态......

聂思宇 · 发表于 2017-4-26 11:05:55

scraper 发表于 2017-4-26 10:58
你用的是火狐浏览器版爬虫还是GS浏览器版？

就是GS浏览器版

HJLing · 发表于 2017-4-26 11:07:39

聂思宇发表于 2017-4-26 11:05
就是GS浏览器版

DIY的规则是基于火狐版爬虫做的
GS浏览器打开的页面和火狐版不同
我们这边修改下规则先

聂思宇 · 发表于 2017-4-26 11:11:02

HJLing 发表于 2017-4-26 11:07
DIY的规则是基于火狐版爬虫做的
GS浏览器打开的页面和火狐版不同
我们这边修改下规则先

那么我现在应该等一下吗？

HJLing · 发表于 2017-4-26 11:13:31

聂思宇发表于 2017-4-26 11:11
那么我现在应该等一下吗？

是改好了测试没问题再告知您

聂思宇 · 发表于 2017-4-26 11:21:37

HJLing 发表于 2017-4-26 11:13
是改好了测试没问题再告知您

好的好的，非常感谢！

共 26 个关于本帖的回复最后回复于 2017-4-28 22:05

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页