Fuller，请教一下，MetaSeeker能做成分布式的吗？

Tue, 03/29/2011 - 09:23 — yuweiming314

请教一下，MetaSeeker能做成分布式的吗？
试想想，如果在不同地区的机器上多开几个DataScraper进行数据提取，那是不是可以做到分布式的效果，但我还是没想明白，他们做的工作好像是重复的，就是说，提取出来的数据都是跟其他机器没什么两样的。运行机制没搞懂，请大家帮帮忙

Web信息提取

Tue, 03/29/2011 - 09:32 — Fuller

DataScraper是分布式抓取器

这是MetaSeeker的优势，可以分布在不同地域，如果想应对目标网站的封锁，这是一个解决方案，但是，分布在多地的成本上升很快。

另外，企业版MetaSeeker还能够做到不同DataScraper间时间同步，比如，抓取机票价格等快速变化的信息，如果想比价，则需要从不同网站抓取，必须在同一时刻抓取同一个航线，否则没有比较的意义。MetaSeeker企业版就能做到。相比之下，那些机票比价网站实际上仅有参考价值，价格信息很不准确，当然，普通网民使用已经足够了，但是，如果作为情报系统，普通的比价网站就不太适合了。

Tue, 03/29/2011 - 10:10 — yuweiming314