同一主题创建了两种规则（翻页和不翻页的），添加翻页的网址，爬取失败；添加不翻页的线索翻页，成功？

新人小白，在爬取天涯论坛帖子的评论列表时，遇到问题，有的帖子有翻页，有的帖子没有翻页，所以我创建了一个主题两个规则，来对应这种情况。可是添加翻页的网址，DS打数机只爬一页；添加不翻页的网址，就爬取成功。
求高手查看主题：天涯论坛二级评论列表爬取 （包含规则_1和规则_2）
翻页的测试页面：http://bbs.tianya.cn/post-house-233470-1.shtml
不翻页的测试页面：http://bbs.tianya.cn/post-house-661608-1.shtml

对于有翻页和无翻页的网页，不用分开做两个规则，只要做一个规则（包含翻页设置）就行，因为爬虫程序会自动查找翻页的标记，如果存在翻页标记，就会自动点击翻页，如果不存在就不翻页。
而你分开做两个规则，规则里没有分别设置特有的关键内容，这样爬虫就区分不出是哪种网页要用哪个规则，默认就会用最简单的那个规则去采集网页数据。

ym 发表于 2016-6-24 09:33
对于有翻页和无翻页的网页，不用分开做两个规则，只要做一个规则（包含翻页设置）就行，因为爬虫程序会自动 ...

我删除了另一条不翻页的规则，只用翻页的规则抓取数据成功了。感谢大神的帮助。

ym 发表于 2016-6-24 09:33
对于有翻页和无翻页的网页，不用分开做两个规则，只要做一个规则（包含翻页设置）就行，因为爬虫程序会自动 ...

谢大神。

我做了一个可以翻页抓取数据的规则，在制定规则页面可以翻页抓取，但是把它用在同样结构的其他网页中，它只可以所添加线索的一页，不会翻页，该怎么解决

真是醉了 发表于 2017-4-13 20:20
我做了一个可以翻页抓取数据的规则，在制定规则页面可以翻页抓取，但是把它用在同样结构的其他网页中，它只 ...

可能你做线索定位映射的时候，没有选择整个翻页区。把主题名发出来，给你诊断一下。

star_1   谢谢啦 刚刚看到回复 不好意思

Fuller 发表于 2017-4-13 22:10
可能你做线索定位映射的时候，没有选择整个翻页区。把主题名发出来，给你诊断一下。
...

star_1   非常感谢  刚刚看到回复

真是醉了 发表于 2017-4-14 09:04
star_1   非常感谢  刚刚看到回复

失败的那个网址发出来我测试一下