快捷导航
6 110

只能采集第一页数据

axu517 于 2017-9-9 15:31 发表 [复制链接]
规则名:HTC主题内容
  问题:网页加载正常,翻页也正常,但是只能采集第一页的数据,后面几页数据无法采集到。
请各位大神指正!O(∩_∩)O谢谢啦!

举报 使用道具
| 回复

共 6 个关于本帖的回复 最后回复于 2017-9-9 21:16

Fuller 管理员 发表于 2017-9-9 16:08:52 | 显示全部楼层
要给至少一个抓取内容设置“关键内容”,否则就无法判断规则是否合适。

类别和主题名 这个抓取内容不能设置关键内容,因为到第二页就没有了。

你能看到翻页吗?第二页有没有生成结果文件?抓到的是空的内容?
举报 使用道具
axu517 中级会员 发表于 2017-9-9 17:08:07 | 显示全部楼层
Fuller 发表于 2017-9-9 16:08
要给至少一个抓取内容设置“关键内容”,否则就无法判断规则是否合适。

类别和主题名 这个抓取内容不能设 ...

会生成文件,只有1kb,是空的。有 设置过关键内容(试过用户名跟评论人),但是设置后会显示匹配失败。

举报 使用道具
shenzhenwan10 金牌会员 发表于 2017-9-9 17:44:58 | 显示全部楼层
可以试试第一页用一个规则, 后面的页用另一个规则
举报 使用道具
Fuller 管理员 发表于 2017-9-9 17:55:48 | 显示全部楼层
axu517 发表于 2017-9-9 17:08
会生成文件,只有1kb,是空的。有 设置过关键内容(试过用户名跟评论人),但是设置后会显示匹配失败。

...

第一页和第二个的结构是完全不一样的,第一样有主题,第二个全部是跟帖了。所以,可以有两个方案

1,方案1:第一页和第二页采用不同的规则,放在同一个主题名下(但是规则编号不一样,仔细看命名主题工作台上的规则编号一栏),DS打数机运行的时候会自动选择。要正确选择,一定要设置关键内容

2,方案2:调整方案,让他同时适应两种页面。第二页就没有的内容不能设置关键内容。关键内容一定是要都有的
举报 使用道具
axu517 中级会员 发表于 2017-9-9 21:15:46 | 显示全部楼层
Fuller 发表于 2017-9-9 17:55
第一页和第二个的结构是完全不一样的,第一样有主题,第二个全部是跟帖了。所以,可以有两个方案

1,方 ...

恩恩 就是想着用户名在第二页是,没有的  才想着用评论人设置为关键内容,结果也是失败的   我自己在琢磨琢磨  有疑问的再问你  谢谢大神啦。。。

举报 使用道具
axu517 中级会员 发表于 2017-9-9 21:16:13 | 显示全部楼层
shenzhenwan10 发表于 2017-9-9 17:44
可以试试第一页用一个规则, 后面的页用另一个规则

恩恩 我自己在弄弄 谢谢大神!

举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 从淘宝的买家评论中,能挖掘出什么有用的信
  • 连续动作:如何把抓到的信息与动作步骤对应
  • 淘宝开店运营十大攻略
  • 深圳市咨询投诉分析
  • 去资源库下载规则,轻松抓数据

热门用户

集搜客GooSeeker网络爬虫 ( 粤ICP备11065265号-2 )

GMT+8, 2017-9-21 00:25