亲爱的技术人员,首先表达一下我要对你们无限的感激、赞美和热爱啊!开发出这么好的免费软件,真是广大人民的福利啊!
我的问题和很多人一样,抓取新浪微博时,到第二页就空白了,输出的xml里面只有第一页的评论,延长和积极模式都设定了,“下一页”也做记号了,翻屏参数也设了,但是还是不行,百般焦虑,望能尽快伸出援手啊。
期待你救苦救难的回复!
抓取AJAX网页需要一些模拟点击, 比如, 点击"下一页", 在DOM树上, 点击的位置要合适, 一般来说要尽量靠近DOM分支的末端. 基于这个原则, 我用A下面的SPAN做线索映射, 另外, 我改成了"使用全匹配规则",就是那个T符号.
可以翻页了
DataScraper上有个选项"配置" -> 终点标志->Void脚本, 不要选
我也是试了几次才成功的, 主要是在尝试找到合适的模拟点击位置,我定义的信息结构名字是:sina_weibo_M_comments_test
我按照您说的,用A下面的span做线索映射了,T也改了,可是第一页结束了还是空白。肿么办啊?
你好,非常感谢您的回答。
我按照您的提示做了,可是我的还是不行。我想看看您具体是如何定义的,如何加载您的信息结构?
请加载这个信息结构:sina_weibo_M_comments_test
我的DataScraper设置了全屏, 滚屏模式,定时器触发没有选,终点标志没有选
你好!
根据您的指点,已经可以翻页了,但是好像得手动翻页,难道不能自动翻页吗?719页手动翻还是很痛苦的啊!
我的主题是sina_weibo_M_comments,麻烦您帮查看一下!
新浪微博评论翻页抓取方法
抓取AJAX网页需要一些模拟点击, 比如, 点击"下一页", 在DOM树上, 点击的位置要合适, 一般来说要尽量靠近DOM分支的末端. 基于这个原则, 我用A下面的SPAN做线索映射, 另外, 我改成了"使用全匹配规则",就是那个T符号.
可以翻页了
DataScraper上有个选项"配置" -> 终点标志->Void脚本, 不要选
我也是试了几次才成功的, 主要是在尝试找到合适的模拟点击位置,我定义的信息结构名字是:sina_weibo_M_comments_test
还是不行诶
我按照您说的,用A下面的span做线索映射了,T也改了,可是第一页结束了还是空白。肿么办啊?
如何加载看到您的信息结构
你好,非常感谢您的回答。
我按照您的提示做了,可是我的还是不行。我想看看您具体是如何定义的,如何加载您的信息结构?
参照我定义的新浪微博抓取规则
请加载这个信息结构:sina_weibo_M_comments_test
我的DataScraper设置了全屏, 滚屏模式,定时器触发没有选,终点标志没有选
请问可以自动翻页吗?
你好!
根据您的指点,已经可以翻页了,但是好像得手动翻页,难道不能自动翻页吗?719页手动翻还是很痛苦的啊!
我的主题是sina_weibo_M_comments
我的主题是sina_weibo_M_comments,麻烦您帮查看一下!