用MetaSeeker工具包在线版做规则的定制和数据抓取,会因为是免费版会有规则数量或是抓取的数据数量的限制吗?
我先试用下,有需要的话再联系。能否把产品的价格表发一份到我邮箱?
因为很多免费用户共享同一台服务器,服务器的处理能力和网络带宽有限,所以,每个用户能够享受的信息提取速度是有限的。如果需要大批量提取网页信息,建议上企业版。另外,部署自己的服务器可以确保信息提取规则等元数据的安全。
完全赞同楼上的,我现在正在抓取一个网站的会员资料,6万多条,已经接近2个小时了,才做到6000多,速度有点慢
多种原因总结如下:
如果只运行一个DataScraper线程,2个小时6000多网页还算正常。总体说来,MetaSeeker的性能无法跟不需要将HTML解析成DOM的网络爬虫比,在这方面没有优势。而MetaSeeker的优势主要在于Ajax内容的提取
多谢指点,貌似还有很多东西要学,实际上我只是看了图文教程,刚刚试水,对这个软件不懂,还要多多学习
谢谢
我先试用下,有需要的话再联系。能否把产品的价格表发一份到我邮箱?
数量不限,信息提取速度有限
因为很多免费用户共享同一台服务器,服务器的处理能力和网络带宽有限,所以,每个用户能够享受的信息提取速度是有限的。如果需要大批量提取网页信息,建议上企业版。另外,部署自己的服务器可以确保信息提取规则等元数据的安全。
完全赞同楼上的,我
完全赞同楼上的,我现在正在抓取一个网站的会员资料,6万多条,已经接近2个小时了,才做到6000多,速度有点慢
信息提取速度慢有多种原因
多种原因总结如下:
如果只运行一个DataScraper线程,2个小时6000多网页还算正常。总体说来,MetaSeeker的性能无法跟不需要将HTML解析成DOM的网络爬虫比,在这方面没有优势。而MetaSeeker的优势主要在于Ajax内容的提取
多谢指点,貌似还有
多谢指点,貌似还有很多东西要学,实际上我只是看了图文教程,刚刚试水,对这个软件不懂,还要多多学习