新浪微博粉丝抓取时Firefox 崩溃

我的主题是:mydemo_attention_info1
里面有大量JavaScripts,全部用FreeFormat映射,禁止了JS,配置设置了延长模式和积极模式,抓取当前页数据没有问题;进行翻页抓取时,firefox崩溃。

Firefox是什么版本

Firefox是什么版本?运行在什么操作系统上?

如果方便的话,请在Firefox的url输入栏中输入about:crashes,会列出所有崩溃记录,请根据时间找到那个崩溃,打开后请截个图发到我的邮箱fullerhua@hotmail.com

我看了您定义的信息结构,有两个问题,不过都不会引起崩溃:
1,Bucket Editor工作台上,应该给至少一个信息属性设置key特性,AJAX抓取必须要有设置了key特性的信息属性
2,Clue Editor工作台上,表示“下一页”的那个DOM节点是A[@class='W_btn_c']/SPAN/text(),用那个SPAN做线索映射,而不用更上层的DIV。这是因为新浪微博翻页用了javascript代码,而且这个代码是针对SPAN,如果用上层节点作映射,进行翻页的时候没有反应