本帖最后由 xandy 于 2016-11-10 16:52 编辑
jieba:“结巴”中文分词:做最好的 Python 中文分词组件
"Jieba" (Chinese for "to stutter") Chinese text segmentation: built to be the best Python Chinese word segmentation module.
  • Scroll down for English documentation.
特点
  • 支持三种分词模式:
       精确模式,试图将句子最精确地切开,适合文本分析;
       全模式,把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义;
       搜索引擎模式,在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词。
  • 支持繁体分词
  • 支持自定义词典
  • MIT 授权协议

github源码:结巴中文分词
举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2018-3-26 14:53

Fuller 管理员 发表于 2016-11-10 16:57:39 | 显示全部楼层
第一次听说结巴分词,还以为告诉我的这个朋友是在逗我,后来一查在知道结巴分词的受欢迎程度十分高。
举报 使用道具
Fuller 管理员 发表于 2018-3-26 14:53:21 | 显示全部楼层
下个版本我们会尝试一下在集搜客分词打标软件中是否采用结巴分词。集搜客分词打标软件提供了一个特别简单的筛选特征词和产生标签库的功能,在分词基础上,用户可以把文字内容变成可以量化统计计算的标签库,形成一个特定话题的画像库
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 13:59