快捷导航
本帖最后由 xandy 于 2016-11-10 16:52 编辑
jieba:“结巴”中文分词:做最好的 Python 中文分词组件
"Jieba" (Chinese for "to stutter") Chinese text segmentation: built to be the best Python Chinese word segmentation module.
  • Scroll down for English documentation.
特点
  • 支持三种分词模式:
       精确模式,试图将句子最精确地切开,适合文本分析;
       全模式,把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义;
       搜索引擎模式,在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词。
  • 支持繁体分词
  • 支持自定义词典
  • MIT 授权协议

github源码:结巴中文分词
举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2018-3-26 14:53

Fuller 管理员 发表于 2016-11-10 16:57:39 | 显示全部楼层
第一次听说结巴分词,还以为告诉我的这个朋友是在逗我,后来一查在知道结巴分词的受欢迎程度十分高。
举报 使用道具
Fuller 管理员 发表于 2018-3-26 14:53:21 | 显示全部楼层
下个版本我们会尝试一下在集搜客分词打标软件中是否采用结巴分词。集搜客分词打标软件提供了一个特别简单的筛选特征词和产生标签库的功能,在分词基础上,用户可以把文字内容变成可以量化统计计算的标签库,形成一个特定话题的画像库
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 集搜客网络爬虫使用proxy切换IP防封锁
  • 用网络爬虫软件自动下载网页上的文件
  • 怎样用爬虫爬取亚马逊商品评论?
  • 新版集搜客网络爬虫图片下载功能
  • windows高清屏幕显示模糊的解决方法

热门用户

集搜客GooSeeker网络爬虫 ( 粤ICP备11065265号-2 )

GMT+8, 2019-2-20 05:03