线索是什么意思？

gdzxLyzh 发表于 2016-1-23 21:34
明白！ 就是在第二个规则中定义翻页线索，如果是矮楼则不影响，如果是高楼贴，那么规则2也可以顺利抓取， ...

是的

gdzxLyzh 发表于 2016-1-23 21:39
恩恩， 规则1也要定义翻页线索，因为版块有20页。 规则2也要有翻页线索，因为要抓高楼贴。那么再问下主题 ...

不要做成一个主题，这两个规则明显是为了两件事
第一个：在板块中翻页抓取所有帖子的列表
第二个：针对每个帖子，翻页抓取每一楼

应该用两个不同的主题。

如果用同一个主题，DS打数机根据整理箱中设置的关键内容进行核对，能核对上的规则就使用，通常也能达到目的。

如果两个规则都能核对上，根据 规则编号 进行排序，规则编号是在MS谋数台的 命名主题 工作台上设置的。

Fuller 发表于 2016-1-23 21:52
不要做成一个主题，这两个规则明显是为了两件事
第一个：在板块中翻页抓取所有帖子的列表
第二个：针对每 ...

好的。  如果我在页面只需要抓取作者aaa发的帖子，怎么办？
因为用样例复制是把所有结构相同的都抓下来了

Fuller 发表于 2016-1-23 21:52
不要做成一个主题，这两个规则明显是为了两件事
第一个：在板块中翻页抓取所有帖子的列表
第二个：针对每 ...

还有MS里的逻辑问题：
1、一个主题是用于实现一个功能的，这么描述可对？所以抓取所有帖子列表和 抓取每个帖子的楼层要做成两个主题。
2、在一个主题下可以有多个规则吗？这多个规则都是为了实现一个功能服务的，理解可对？
3、每个规则对应多个整理箱？
就是这样 主题 包含规则s 规则包含整理箱s?

gdzxLyzh 发表于 2016-1-23 21:59
好的。  如果我在页面只需要抓取作者aaa发的帖子，怎么办？
因为用样例复制是把所有结构相同的都抓下来了 ...

抓取的时候通常不能做筛选。都抓下来后再筛选

可以自定义xpath，使用contains()函数作为条件进行过滤。但是，万一有一页上没有aaa发的帖子，如果抓取内容设置了关键内容，那么在这页上就失败了。

如果不在这个字段上设置关键内容，不会失败，会继续翻页。但是，肯定都要翻一遍，不如就抓下来后再筛选

gdzxLyzh 发表于 2016-1-23 22:04
还有MS里的逻辑问题：
1、一个主题是用于实现一个功能的，这么描述可对？所以抓取所有帖子列表和 抓取每 ...

可以这样理解

如果是一个页面网址下面有无数个URL，你怎么知道数字呢？

你说的“怎么知道数字”是什么意思？

beanbing 发表于 2016-10-22 18:02
如果是一个页面网址下面有无数个URL，你怎么知道数字呢？

你想构造网址？比如，把所有京东产品的网址构造出来？

对于京东产品，因为数字不连续，你无法构造。比如进入京东的产品分类页面，在那里把所有分类的网址抓下来，然后进入每个类，把所有产品的网址抓下来。一层层抓取。

可以看这个《采集流程规划教程》

嗯  没有理解，如果你要采集瀑布流的网址，那你线索里（也就是滚屏参数要输入多少呢？）