MetaSeeker工具包在使用的时候会受规则或是数据量的限制吗?

用MetaSeeker工具包在线版做规则的定制和数据抓取,会因为是免费版会有规则数量或是抓取的数据数量的限制吗?

谢谢

我先试用下,有需要的话再联系。能否把产品的价格表发一份到我邮箱?

数量不限,信息提取速度有限

因为很多免费用户共享同一台服务器,服务器的处理能力和网络带宽有限,所以,每个用户能够享受的信息提取速度是有限的。如果需要大批量提取网页信息,建议上企业版。另外,部署自己的服务器可以确保信息提取规则等元数据的安全。

完全赞同楼上的,我

完全赞同楼上的,我现在正在抓取一个网站的会员资料,6万多条,已经接近2个小时了,才做到6000多,速度有点慢

信息提取速度慢有多种原因

多种原因总结如下:

  • 当前共享用户比较多,MetaSeeker服务器负载很大,导致信息提取速度变慢。
  • 跟目标网站的速度的关系很大,如果只运行一个DataScraper客户端,请求是顺序发送的

如果只运行一个DataScraper线程,2个小时6000多网页还算正常。总体说来,MetaSeeker的性能无法跟不需要将HTML解析成DOM的网络爬虫比,在这方面没有优势。而MetaSeeker的优势主要在于Ajax内容的提取

多谢指点,貌似还有

多谢指点,貌似还有很多东西要学,实际上我只是看了图文教程,刚刚试水,对这个软件不懂,还要多多学习