如何抓取和讯微博

Mon, 05/27/2013 - 10:43 — wilsonli

比如抓取某只股票的微博平安银行，股票代码000001，入口URL为：
http://t.hexun.com/g/000001_1.html
这首页，第二页URL就有了很大的变化，变成：
http://t.hexun.com/Stocks.aspx?type=2&value=%c6%bd%b0%b2%d2%f8%d0%d0&sto...
第三页及后续页的URL就和第二页差不多了，形如：
http://t.hexun.com/Stocks.aspx?type=2&value=%c6%bd%b0%b2%d2%f8%d0%d0&sto...

请教一下，是否可以编辑首页、第二页及以后页都是一个文件的主题采集文件。

Wilson

Mon, 05/27/2013 - 11:32 — Fuller

翻页抓取时，设置inthread模式，就会一口气翻完，不记录中间分页的网址，您也不用关心中间分页的网址格式

Mon, 05/27/2013 - 18:59 — wilsonli

还是用相对relative线索吗？

Mon, 05/27/2013 - 21:23 — Fuller

和讯财经微博翻页抓取采用marker类线索比较好，记号线索比相对线索更好用一些

Tue, 05/28/2013 - 17:33 — wilsonli

GooSeeker