怎么跳过这种错误的网页？

w228258549

怎么网页能跳过吗？

Fuller · 发表于 2017-11-8 15:52:11

这种页面最好修改一下爬虫程序，我们实验一下吧，看看能否在新版本加上这个跳过功能。你是采集什么网页出现的？

yangwenge · 发表于 2017-11-8 15:53:21

本帖最后由 yangwenge 于 2017-11-8 15:54 编辑

可以用《同一网站不同页面结构》的方法来区分错误的网页和正常的网页，
用相同的主题名，不同的规则编号：
规则1做正常的网页，规则2做错误的网页，并设置一个正常网页有，但错误网页没有的字段作为关键内容用于区分。

Fuller · 发表于 2017-11-8 15:56:19

是的，应该是可以定义一个错误页面的规则。加载这样一个页面，查看一下是否有html DOM结构，只要有，就能给他定义一个规则

共 3 个关于本帖的回复最后回复于 2017-11-8 15:56

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页