GooSeeker

近日接连做了多个电子商务网站上的商品信息的提取和数据挖掘解决方案，主要集中在：商品比价、竞争定价分析、销量分析等领域。近期，陆续将这些解决方案整理出来共享给读者，已经发布的解决方案有：

下面的文字节选自多个文档，收录于此，仅仅作为认识和选择文本分类器的参考，适合程序员和数据挖掘商业应用系统设计者参考，如果想做深入的技术研究，应该查阅下文提及的参考文章。

文本分类算法

来源：《基于关键短语的文本分类研究》

基于统计的分类算法是主流，主要包括以下几种分类模型：

训练集的选择决定了文本分类器的性能，良好的训练集应该具有下述特征：

• 类别分布均衡
• 每个类别中的文档都能够很好地代表该类别
• 类别中各文档在特征空间中分布比较集中

如果训练集中存在小类别，所谓的不均衡训练集或数据集，需要一些特殊处理，以确保分类器的性能，例如宏平均和微平均指标

宏平均（macro-average）和微平均（micro-average）是衡量文本分类器的指标。根据Coping with the News: the machine learning way

海外的iMacros for Firefox也是Firefox插件，这一点同国产的MetaSeeker一样，比较iMacros V6.6.5.0和MetaSeeker V4.11.0，发现诸多重合的功能特性，例如，Web信息提取功能。

Web文档抓取工具包MetaSeeker能够自动生成抓取规则，帮助用户大批量自动抓取Web文档，MetaSeeker核心数据存储和交换格式是XML，例如，信息结构元数据、Web文档抓取指令文件、抓取结果文件等等。

随着网络数据抽取软件工具包MetaSeeker的版本不断更新，AJAX数据抽取能力不断增强，本文讲解的技巧适合MetaSeeker V4.11.0及其以后版本。主要解决的问题是：假设当前网页P1上面有超链接，点击后网页内容修改，但是没有通过HTTP加载一个HTML网页文档，而是通过AJAX的异步通信机制，例如，采用XMLHttpRequest类接口，从服务器下载内容并局部更改网页内容。此时显示的网页数据的语义同P1网页的不同，我们称此网页为P2。

网络文档抓取工具包MetaSeeker具有很强的AJAX文档数据抓取能力，由于AJAX网站设计并无定式，可发挥空间很大，所以，MetaSeeker抓取AJAX文档的能力再强也不可能宣称适用所有AJAX情况，所以，GooSeeker采取逐步加强的策略，每个新版本都增加一些AJAX情形。

MetaSeeker发展到V4.10.0版本，不能抓取的AJAX文档有下面两大情形：

主题demo_comment_list_dangdang的翻页操作用javascript代码实现的，Web数据提取软件工具包MetaSeeker能够模拟用户点击行为，执行翻页操作，这是利用网页URL提取Web数据的普通网络爬虫和提取软件无法做到的。

建立决策树的过程，即树的生长过程是不断地把数据进行切分的过程，每次切分对应一个问题，也对应着一个节点。对每个切分都要求分成的组之间的“差异”最大。