把线索的网址也放进整理箱应该怎么办？

一个线索爬一个网页的信息，然后想要把这条线索也写进爬到的信息里，方便以后核对，但是好像网页内容里找不到本页面链接，所以也就没办法抓到整理箱。求解答

DS打数机会自动记录要采集的网页链接，用xml文件中的fullpath、realpath字段来记录。其中，fullpath就是导入到规则中的线索网址，realpath就是爬虫访问该线索的真实网址。

ym 发表于 2016-7-25 14:40
DS打数机会自动记录要采集的网页链接，用xml文件中的fullpath、realpath字段来记录。其中，fullpath就是导 ...

那我怎么才能把线索网址和抓取的其他信息并列放在一起呢？

tanyaohua123 发表于 2016-7-25 15:27
那我怎么才能把线索网址和抓取的其他信息并列放在一起呢？

网址信息和抓取的其他信息都是记录在xml中，已经是一一对应的关系了

ym 发表于 2016-7-25 16:55
网址信息和抓取的其他信息都是记录在xml中，已经是一一对应的关系了

那在合并子文件的时候怎么才能在让这个网址信息也一并以一一对应的关系，出现在合并后的文件里呢？因为系统字段的信息不会参与合并，所以合并后就看不到了。

tanyaohua123 发表于 2016-7-25 17:36
那在合并子文件的时候怎么才能在让这个网址信息也一并以一一对应的关系，出现在合并后的文件里呢？因为系 ...

您可以举个例子讲讲想怎样合并，集搜客用在很多网页数据采集项目中，普通的需求基本上都考虑到了。

每个xml文件的头部有各种信息，用来做文件合并。比如，上面我们说的fullpath和realpath，另外，如果做了两级规则，下一级的fullpath可以与上一级的整理箱中的网址一一对上。

如果上一级抓取结果，整理箱中抓到的是相对网址，那么需要根据当前结果文件的realpath值，把绝对网址计算出来，再与下级抓取结果对应。也就是说，在整理箱中抓到的相对网址不会自动变成绝对网址，而是原样保存。

但是，不用担心生成下级线索问题，生成下级线索的时候会自动生成绝对网址，只是结果文件中的不会改变

Fuller 发表于 2016-7-25 17:57
您可以举个例子讲讲想怎样合并，集搜客用在很多网页数据采集项目中，普通的需求基本上都考虑到了。

每个 ...

xml的表头里面有网址，但是，合并后的信息里只会有自己用规则抓到的那些信息，我想把网址也当做正常的一个类似标题、正文、时间的信息来处理，能放在excel表里面，不知道该怎么办。

tanyaohua123 发表于 2016-7-25 21:17
xml的表头里面有网址，但是，合并后的信息里只会有自己用规则抓到的那些信息，我想把网址也当做正常的一 ...

截图的软件是你做的？修改一下，把网址当成普通信息来处理应该不难

Fuller 发表于 2016-7-25 23:32
截图的软件是你做的？修改一下，把网址当成普通信息来处理应该不难

截图的那个合并用的软件是从gooseeker教程区里下的，我是技术小白……

Fuller 发表于 2016-7-25 23:32
截图的软件是你做的？修改一下，把网址当成普通信息来处理应该不难

截图的那个合并用的软件是从gooseeker教程区里下的，我是技术小白……