新浪微博评论翻不到第二页

亲爱的技术人员,首先表达一下我要对你们无限的感激、赞美和热爱啊!开发出这么好的免费软件,真是广大人民的福利啊!

我的问题和很多人一样,抓取新浪微博时,到第二页就空白了,输出的xml里面只有第一页的评论,延长和积极模式都设定了,“下一页”也做记号了,翻屏参数也设了,但是还是不行,百般焦虑,望能尽快伸出援手啊。

期待你救苦救难的回复!

新浪微博评论翻页抓取方法

抓取AJAX网页需要一些模拟点击, 比如, 点击"下一页", 在DOM树上, 点击的位置要合适, 一般来说要尽量靠近DOM分支的末端. 基于这个原则, 我用A下面的SPAN做线索映射, 另外, 我改成了"使用全匹配规则",就是那个T符号.

可以翻页了

DataScraper上有个选项"配置" -> 终点标志->Void脚本, 不要选

我也是试了几次才成功的, 主要是在尝试找到合适的模拟点击位置,我定义的信息结构名字是:sina_weibo_M_comments_test

还是不行诶

我按照您说的,用A下面的span做线索映射了,T也改了,可是第一页结束了还是空白。肿么办啊?

如何加载看到您的信息结构

你好,非常感谢您的回答。

我按照您的提示做了,可是我的还是不行。我想看看您具体是如何定义的,如何加载您的信息结构?

参照我定义的新浪微博抓取规则

请加载这个信息结构:sina_weibo_M_comments_test

我的DataScraper设置了全屏, 滚屏模式,定时器触发没有选,终点标志没有选

请问可以自动翻页吗?

你好!

根据您的指点,已经可以翻页了,但是好像得手动翻页,难道不能自动翻页吗?719页手动翻还是很痛苦的啊!

我的主题是sina_weibo_M_comments

我的主题是sina_weibo_M_comments,麻烦您帮查看一下!