关于微博主页内容爬取。。。

要爬去某个博主的所有Po文，我积分不够（要爬的数据几千条），所以只能尝试自己写。

但是我处理不好先下拉-再翻页这个动作。

请各位大大能否提点一二？

有没有比较好的实例供参考？

爬去某个博主的所有Po文。

需要定义两个主题
1，在第一个主题中，定义下拉菜单动作，目标主题指向第二个主题
2，在第二个主题中，抓取内容，并翻页

那么，集搜客爬虫就能自动形成一个循环： 主题1选第1个菜单-》主题2抓内容-》主题2翻页，翻页，翻页，结束 -》主题1选第2个菜单-》主题2抓内容-》主题2翻页，翻页......

可以参看更复杂的选日历过程