Home › Forums › Web信息提取

网易微博数据抓取-线索切换

Thu, 08/09/2012 - 12:23 — suqier

从新浪微博改到网易微博
网易微博抓取某微博帖子的内容和该贴下的所有评论列表，转发列表。使用主题：wangyi_weibo_one，wangyi_weibo_one_transmits
，wangyi_weibo_one_comments。
在wangyi_weibo_one使用两个线索索引，分别代表点击转发(clue0)、评论TAB(clue1)，但抓取结果是：抓了wangyi_weibo_one定义的微博贴内容后就自动提取wangyi_weibo_one_transmits，但抓取完wangyi_weibo_one_transmits定义的转发信息后就不能自动提取wangyi_weibo_one_comments进行抓取了。开始以为是没有设置wangyi_weibo_one延长模式，积极模式。但是设置后再抓结果一样。在datascraper上的操作是：将三个主题先一起找出来，然后在wangyi_weibo_one上设置提取线索数为2进行提取。
大牛，何解呢？
还有一个疑问是：目前做的测试是一个Url地址三个主题，我以后的目标是要抓取http://t.163.com/rss下所有的帖子的评论和转发，这个应该是层级抓取，能将多个url映射在某几个主题上吧？

‹ 关于 一个 TR 中包含两个 TD ，TR本身是list，的抓取问题 关于线索重置提取&分层提取&周期提取 ›
Thu, 08/09/2012 - 15:04 — Fuller

用两个线索分别抓取网易微博的评论和转发

比如，一个是one，一个是two，分别自动点击转发和评论。也就是用同一个网址给不同的两个主题建立线索。

企业版有线索管理界面可以将网址输入进去或者用程序生成网址，在线版用户没有这个接口，只能用别的方法，比如，将一批网址写到一个html文件中，用DataScraper从这个html文件中将这些网址提取出来，建立线索。这个html文件可以是本地文件。

Thu, 08/09/2012 - 16:08 — suqier

问题是one了之后，不能自动跳到two

"一个是one，一个是two，分别自动点击转发和评论。也就是用同一个网址给不同的两个主题建立线索。"
呵呵，可能您没看清楚，我是按照您这样的方式去做的，现在的问题是one了之后，不能自动跳到two，在我这就是wangyi_weibo_one_transmits主题抓完之后不能自动跳到wangyi_weibo_one_comments
表示很疑惑？

Fri, 08/10/2012 - 08:50 — Fuller

用两个线程分别抓取新浪微博转发和评论

我的意思是用one和one_transmit抓取转发，用two和two_transmits抓取评论，两个线程之间不用跳

Thu, 08/09/2012 - 14:50 — suqier

wangyi_weibo_one上查看统计的线索数是1

对了，补充一下，在wangyi_weibo_one上查看统计的线索数是1。。。？