规则名:HTC主题内容
  问题:网页加载正常,翻页也正常,但是只能采集第一页的数据,后面几页数据无法采集到。
请各位大神指正!O(∩_∩)O谢谢啦!

举报 使用道具
| 回复

共 6 个关于本帖的回复 最后回复于 2017-9-9 21:16

沙发
Fuller 管理员 发表于 2017-9-9 16:08:52 | 只看该作者
要给至少一个抓取内容设置“关键内容”,否则就无法判断规则是否合适。

类别和主题名 这个抓取内容不能设置关键内容,因为到第二页就没有了。

你能看到翻页吗?第二页有没有生成结果文件?抓到的是空的内容?
举报 使用道具
板凳
axu517 中级会员 发表于 2017-9-9 17:08:07 | 只看该作者
Fuller 发表于 2017-9-9 16:08
要给至少一个抓取内容设置“关键内容”,否则就无法判断规则是否合适。

类别和主题名 这个抓取内容不能设 ...

会生成文件,只有1kb,是空的。有 设置过关键内容(试过用户名跟评论人),但是设置后会显示匹配失败。

举报 使用道具
地板
shenzhenwan10 金牌会员 发表于 2017-9-9 17:44:58 | 只看该作者
可以试试第一页用一个规则, 后面的页用另一个规则
举报 使用道具
5#
Fuller 管理员 发表于 2017-9-9 17:55:48 | 只看该作者
axu517 发表于 2017-9-9 17:08
会生成文件,只有1kb,是空的。有 设置过关键内容(试过用户名跟评论人),但是设置后会显示匹配失败。

...

第一页和第二个的结构是完全不一样的,第一样有主题,第二个全部是跟帖了。所以,可以有两个方案

1,方案1:第一页和第二页采用不同的规则,放在同一个主题名下(但是规则编号不一样,仔细看命名主题工作台上的规则编号一栏),DS打数机运行的时候会自动选择。要正确选择,一定要设置关键内容

2,方案2:调整方案,让他同时适应两种页面。第二页就没有的内容不能设置关键内容。关键内容一定是要都有的
举报 使用道具
6#
axu517 中级会员 发表于 2017-9-9 21:15:46 | 只看该作者
Fuller 发表于 2017-9-9 17:55
第一页和第二个的结构是完全不一样的,第一样有主题,第二个全部是跟帖了。所以,可以有两个方案

1,方 ...

恩恩 就是想着用户名在第二页是,没有的  才想着用评论人设置为关键内容,结果也是失败的   我自己在琢磨琢磨  有疑问的再问你  谢谢大神啦。。。

举报 使用道具
7#
axu517 中级会员 发表于 2017-9-9 21:16:13 | 只看该作者
shenzhenwan10 发表于 2017-9-9 17:44
可以试试第一页用一个规则, 后面的页用另一个规则

恩恩 我自己在弄弄 谢谢大神!

举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文
  • 使用AI工具Kimi生成python代码为文本分析结
  • 苹果mac电脑安装集搜客网络爬虫软件失败的

热门用户

GMT+8, 2024-11-25 14:46