爬了一个小时了，一个线索都没有爬完，页数显示已经爬到100页了，也就是最后一页，是什么情况

爬了一个小时了，一个线索都没有爬完，页数显示已经爬到100页了，也就是最后一页，是什么情况。

爬虫管理里面一条网址也没有完成。

是不是我描述的不清楚。我的主题名是淘宝客天猫

123162239 发表于 2016-8-17 17:51
爬虫管理里面一条网址也没有完成。

可以看看结果文件 是不是重复在采集第100页的数据

结果文件一条信息也没有采集下来

HJLing 发表于 2016-8-17 17:54
可以看看结果文件 是不是重复在采集第100页的数据

结果文件一条信息也没有采集下来

显示最后一页 是翻页标志一直存在 所以爬虫不会自己停下来 可以在DS打数机 高级-终点标志 勾上重复内容 这样爬虫连续采到3个一样的页面就会自动停止去跑下一条线索

123162239 发表于 2016-8-17 17:55
结果文件一条信息也没有采集下来

是没有结果文件 还是结果文件没有采到你要的信息？

HJLing 发表于 2016-8-17 17:56
显示最后一页 是翻页标志一直存在 所以爬虫不会自己停下来 可以在DS打数机 高级-终点标志 勾上重复内容 这 ...

一共100页，我设置的总线索只设置了5个，现在剩余线索还有4个，也就是说一个线索都没有完成，可是网页已经显示到了100页。

123162239 发表于 2016-8-17 17:58
一共100页，我设置的总线索只设置了5个，现在剩余线索还有4个，也就是说一个线索都没有完成，可是网页已 ...

线索没跑完这跟结果文件生成是没关系的 我是让你找结果文件存放的地方 爬虫每翻一次页就会生成一个结果文件的