Home › Forums › MetaSeeker工具包

新浪微博抓取到第二页面停止

Thu, 03/15/2012 - 16:58 — snowvivid1980

如题,AJAX 延时和积极模式都设置了，但是只翻到第二页就停了，不知道为什么,另外也定义了CLASS偏好
信息结构名称您查下snowvivid*,就我一个大概是snowvivid_weibo_test1
我的信箱是snowvivid@163.com
期待您的回复

‹ 如何抓取一个AJAX区域翻页刷新的网页？ 新浪微博评论翻不到第二页 ›
Fri, 03/16/2012 - 00:54 — snowvivid1980

你说的我设置过了，

你说的我设置过了，是在第二页一半地方白屏，象卡住一样，实际翻过去了。另外我手工翻到10页，会在11页一半左右停，很奇怪

Thu, 03/15/2012 - 22:27 — Fuller

新浪微博的抓取需要设置自动滚屏

参看《自动滚屏抓取新浪微博》，因为一开始没有显示用于翻页的页码和“下一页”标志，只有滚屏到底部，才显示出来，所以，要自动滚屏。

Fri, 03/16/2012 - 12:39 — snowvivid1980

问题解决了

今天上午问题解决了，还用个周期性文件解决的，谢谢

Wed, 07/18/2012 - 22:50 — HuaoHuang

你是如何解决的？

你是如何解决的？

Fri, 03/16/2012 - 10:24 — snowvivid1980

发现这位和我的问题很相似

http://www.gooseeker.com/cn/node/1328

您和他的详细讨论我都看了，能设置的都设置了，他的问题和我很类似，都是到第二页就白屏了
最下面的状态上一个显示PLINE，一个是FIN

现在我是不是能只尝试使用crontab.xml文件了？就这个方法我还没试过

Fri, 03/16/2012 - 10:00 — snowvivid1980

麻烦再帮我看下

麻烦再帮我看下，还是解决不了，

Fri, 03/16/2012 - 00:51 — snowvivid1980

不是这个原因

你说的我设置过了，是在第二页一半地方白屏，象卡住一样，实际翻过去了。另外我手工翻到10页，会在11页一半左右停，很奇怪

Tue, 03/20/2012 - 11:56 — Fuller

新浪微博抓取故障原因判断

最近很多科研院校都在研究新浪微博，很高兴能够为大家提供技术支持。

初次使用DataScraper的朋友可能会遇到以下几个问题：
1，网页变成白色的了：这个表示网页抓取结束了，可能是正常结束，如果没有在DataScraperWorks目录下找到抓取结果，应该是抓取规则不合适。可能会在DataScraper的日志窗口显示失败原因。
2，如果手工抓取了一个线索，而且只有一个线索，下次再抓取就没有可用的线索了，所以，首先要激活它，或者在MetaStudio上加载后重新上载抓取规则，或者用crontab.xml的renewClue激活它。DataScraper界面上的线索激活功能只能激活抓取失败的线索，正常完成的必须用前面说的方法
3，如果网页显示一半就停下了，应该是网络问题，可能网速太慢，这个问题只能通过提高网络速度予以解决，或者重复抓取几遍，总有完全成功的。