请问为什么采集天眼查数据会无限翻页，不搜集数据，而且翻几页后就报错了

hg946902208

hg946902208 · 发表于 2017-3-15 17:48:27

翻几页就会这样

ym · 发表于 2017-3-15 17:50:57

主题名是什么

hg946902208 · 发表于 2017-3-15 17:52:29

ym 发表于 2017-3-15 17:50
主题名是什么

企业连接1

ym · 发表于 2017-3-15 18:06:26

我测试也遇到这种情况，未知协议的出现和重复数据，都是反爬的手段。
你可以把规则里的翻页设置删掉，然后手工构造每一页的页码网址，然后导入到规则里，直接批量采集每一页，这样就能避免翻页中断的问题，构造网址的操作参考《如何构造网址》的第一种方法

hg946902208 · 发表于 2017-3-15 18:33:36

ym 发表于 2017-3-15 18:06
我测试也遇到这种情况，未知协议的出现和重复数据，都是反爬的手段。
你可以把规则里的翻页设置删掉，然后 ...

我用了手动打网址的方法，不过还是采集不到公司名称和链接

请问这个怎么解决

xandy · 发表于 2017-3-15 21:35:34

hg946902208 发表于 2017-3-15 18:33
我用了手动打网址的方法，不过还是采集不到公司名称和链接请问这个怎么解决
...

问题：你的规则没有下级线索。
链接是可以采集到的，如下：

意思是让你在规则1中不要做翻页，可以做下级线索，下级线索的主题名是规则2，运行规则1之后会自动给规则2生成下级线索，然后统计规则2的线索数之后去运行。
参看教程：《采网址做层级采集——以大众点评为例》.

Fuller · 发表于 2017-3-15 21:42:16

hg946902208 发表于 2017-3-15 17:48
翻几页就会这样

好奇怪，我没有遇到过这种情况。这种情况确实会发生，这是浏览器内核的一个异常处理，我让研发人员检查一下

qiushuju · 发表于 2017-5-4 08:36:10

给个你qq号码，急需你写采集规则，我qq824823173

共 8 个关于本帖的回复最后回复于 2017-5-4 08:36

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页