GooSeeker

• 中文搜索引擎技术揭密:网络蜘蛛系统全面地讲解网络蜘蛛，也叫做网络爬虫，的原理，本文主要侧重综合搜索引擎使用的网络爬虫，与网页抓取/数据抽取/信息提取软件工具包MetaSeeker的定题网络爬虫，也叫聚焦网络爬虫是有区别的。

• delphi网页数据抓取讲解用Delphi 7 和 Indy 的 TidHttp 控件实现网站内容抓取和数据抽取

其他资料

• 网页抓取给出了一个用PHP实现的网页抓取的实例
• 网页内容抓取类给出了用PHP实现的网页抓取的一个类Thief，实现了方法：getPageContent， getContentPiece，getContent等等
• 使用PHP简单网页抓取和内容分析展示了使用函数：get_

• 搜索引擎Nutch源代码研究之一 网页抓取(4)是一个系列中的其中一篇文章，讲解Nutch的两种Html parser工具（NekoHTML和TagSoup）实现html的提取。
• JSP实现网页抓取讲解怎样使用JSP进行页面文本抓取。

• 利用多线程实现网页内容抓取讲解了怎样使用ASP.NET 抓取网站内容，抽取网页数据，给出了一个完整的编程实例，讲解WebRequest、WebResponse、StreamReader三个类的使用
• asp.net 网页抓取图片讲解使用四个类，WebRequest、WebResponse、Stream、FileStream，抓取图片和其他二进制文件，相比之下
  • 他山之石
  • 信息提取
  • 数据抽取
  • 网页抓取
  • Fuller's blog
  • Login to post comments
  • Read more

网页抓取和数据抽取技术有很悠久的发展历史，大家通过各种技术手段实现网页内容的采集目的，而且，在每个计算技术发展阶段，大家都在尝试使用更先进的技术和编程语言实现更强大的网站内容采集工具，本文将作为一个总目录，罗列各种实现方法和实践经验，以供参考，随着时间的推移，本文内容不断补充

MetaSeeker工具包不能提取使用Ajax架构建设的网站的内容，是一件憾事，早在规划V3.x版本时，该特性就已经考虑在内了，但是，在计划阶段，该特性被裁减掉了，主要原因有两点：1，技术难度是比较大的，需要能够有效的控制Javascript引擎；2，凡是使用Ajax架构管理的内容，本意必然是不希望被共享（参见Javascript对搜索引擎爬虫的影响以及SEO策略），所以，用爬虫和信息提取工具硬生

最近在媒体上看到IBM提出的“面向企业的 Web 2.0 五大核心领域”，作为学习材料，摘录如下内容：