http://club.money.sohu.com/licai/threads/?page=3
从第三页开始爬起,对查看下一页精彩内容进行maker映射,也对metastudio配置进行了延长设置,但是还是无法实现翻页,请问Fuller这是怎么回事,主题是贴子2
http://club.money.sohu.com/licai/threads/?page=3
从第三页开始爬起,对查看下一页精彩内容进行maker映射,也对metastudio配置进行了延长设置,但是还是无法实现翻页,请问Fuller这是怎么回事,主题是贴子2
找不到工具按钮
今天刚刚装了中文版的MetaStudio-Win 4.11.10 和datasraper 4.11.10在我的Firefox 16.0.1版本里。工具状态栏里显示这两个工具Installed,可重启Firefox后却找不到工具图标。只有我存在这个问题吗?我的笔记本是Win7 64位系统。和这个有关系吗?
MetaSeeker没有图标
需要选择火狐的“工具”菜单中的“DataScraper”和“MetaStudio”菜单项启动MetaSeeker。刚安装的火狐缺省情况下不现实菜单栏,需要在火狐的菜单栏位置点击鼠标右键,勾选“菜单栏”,才能看到这些菜单。
尝试积极模式
将积极模式设置上试下
搜狐论坛无法实现翻页
还是只能爬取一页的东西,在DateScraper中提取的时候,只提取一页,然后在状态面板显示:
总线索数:1 VDDPG
剩余线索:0 AGAIN1
麻烦您再帮我看下,万分感谢!
爬取搜狐论坛无法实现翻页
您好,现在是可以进行翻页了,但是要每5分钟才爬一页数据下来,我这边是10M的光纤,应该不是网速的问题,笔记本的型号是联想Y470,请问下,这个爬取速度慢是什么原因?有解决的办法么?谢谢了
网页抓取速度
网页抓取速度跟很多方面有关,比如,目标网站的负载和速度、网络速度。为了提高抓取速度,可以同时运行多个DataScraper线程,这需要运行在周期性自动抓取模式下,需要设置crontab.xml文件。
通常,抓取同一个网站的速度不要太高,比如,控制在一秒一个网页,如果太快,目标网站可能会封锁
纵向爬行
请问下在我爬取每页帖子列表以后,再利用纵向爬行爬取每个贴子的发回贴人、内容、时间,最后爬取每个人的详细资料,这就意味着要使用两次纵向爬行,对么?
现在,我已经进行到最后爬取每个人的详细资料的步骤了,请问下,再第二次纵向爬行的时候,老是提示“the location has been changed,so the mapping makes no sense”是怎么回事呢?直接打开某个发帖人的详细资料页,把网址复制进去也是不行……
望解答
可以实现了
可以了,没问题了,o(∩_∩)o 哈哈
求助
请问一下,是怎样实现的?我也遇到一样的问题,谢谢
请问如何解决?
重开界面加载之后解决了红色禁止号的问题,但这种跳转貌似不象inner clue那样可以自行发掘,必须分步手工提取?
同时也向fuller大求教!