爬了一个小时了，一个线索都没有爬完，页数显示已经爬到100页了，也就是最后一页，是什么情况

加为好友

爬了一个小时了，一个线索都没有爬完，页数显示已经爬到100页了，也就是最后一页，是什么情况。

123162239 · 发表于 2016-8-17 17:51:47

爬虫管理里面一条网址也没有完成。

123162239 · 发表于 2016-8-17 17:54:01

是不是我描述的不清楚。我的主题名是淘宝客天猫

HJLing · 发表于 2016-8-17 17:54:41

123162239 发表于 2016-8-17 17:51
爬虫管理里面一条网址也没有完成。

可以看看结果文件是不是重复在采集第100页的数据

123162239 · 发表于 2016-8-17 17:55:26

结果文件一条信息也没有采集下来

123162239 · 发表于 2016-8-17 17:55:45

HJLing 发表于 2016-8-17 17:54
可以看看结果文件是不是重复在采集第100页的数据

结果文件一条信息也没有采集下来

HJLing · 发表于 2016-8-17 17:56:32

显示最后一页是翻页标志一直存在所以爬虫不会自己停下来可以在DS打数机高级-终点标志勾上重复内容这样爬虫连续采到3个一样的页面就会自动停止去跑下一条线索

HJLing · 发表于 2016-8-17 17:57:23

123162239 发表于 2016-8-17 17:55
结果文件一条信息也没有采集下来

是没有结果文件还是结果文件没有采到你要的信息？

123162239 · 发表于 2016-8-17 17:58:04

HJLing 发表于 2016-8-17 17:56
显示最后一页是翻页标志一直存在所以爬虫不会自己停下来可以在DS打数机高级-终点标志勾上重复内容这 ...

一共100页，我设置的总线索只设置了5个，现在剩余线索还有4个，也就是说一个线索都没有完成，可是网页已经显示到了100页。

HJLing · 发表于 2016-8-17 17:59:03

123162239 发表于 2016-8-17 17:58
一共100页，我设置的总线索只设置了5个，现在剩余线索还有4个，也就是说一个线索都没有完成，可是网页已 ...

线索没跑完这跟结果文件生成是没关系的我是让你找结果文件存放的地方爬虫每翻一次页就会生成一个结果文件的

共 16 个关于本帖的回复最后回复于 2016-8-19 12:44

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页