保存成功，重新加载却发现之前做的映射和爬虫路线没保存

ray_zhurui 发表于 2016-8-8 10:50
DS里设置了检测到重复就终止线索，现在testpro里的select2可以开始遍历了，但是感觉不算完美解决问题。抓 ...

导入到excel中，用excel做重复过滤还是很方便的

Fuller 发表于 2016-8-8 14:51
导入到excel中，用excel做重复过滤还是很方便的

可以是可以 。。。 但是页数多的话，没到最后一页就要多抓3次重复的，好浪费时间。

ray_zhurui 发表于 2016-8-8 15:29
可以是可以 。。。 但是页数多的话，没到最后一页就要多抓3次重复的，好浪费时间。 ...

因为你的页面本身就没有结束的标志 它看到有下一页的标志就去点击 电脑也不可能像人那样智能知道到了最后一页该停止了 所以只能用重复标志来实现停止

HJLing 发表于 2016-8-8 17:00
因为你的页面本身就没有结束的标志 它看到有下一页的标志就去点击 电脑也不可能像人那样智能知道到了最后 ...

是否可以开发一下这样的判断，比如我知道一页最少显示多上行数据，然后只要当页显示的数据行数少于这个值，我就放弃翻页。就是让用户自己懂一点javascript或者什么语言，然后可以得到更好的适用性。

ray_zhurui 发表于 2016-8-8 17:36
是否可以开发一下这样的判断，比如我知道一页最少显示多上行数据，然后只要当页显示的数据行数少于这个值 ...

这个判断也有遗漏的可能 比如一页最多显示50行 如果最后一页刚好显示50行 你也不知道要不要继续往下翻

HJLing 发表于 2016-8-8 17:53
这个判断也有遗漏的可能 比如一页最多显示50行 如果最后一页刚好显示50行 你也不知道要不要继续往下翻 ...

不过明确不会有重复数据的情况下的确判断也是多余的，直接填重复次数判断为1就好了。