python 自然语言处理 第三方库jieba jieba—第三方中文分词函数库

jieba是Python中一个重要的第三方中文分词函数库，能够将一段中文文本分割成中文词语的序列。

jieba安装命令，在cmd中输入pip install jieba。

实现中文分词只需要一行代码即可。

例：

import jieba

jieba.lcut("全国计算机等级考试")

jieba共有三种模式：

1，精确模式：将句子最精确地切开，适合文本分析；

2，全模式：把句子中所有可以成词的词语都扫描出来，速度非常快，但是不能解决歧义；

3，搜索引擎模式：在精确模式基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词；

jieba常用的分词函数

函数描述jieba.lcut(s)精确模式，返回一个列表类型jieba.lcut(s,cut_all=True)全模式，返回一个列表类型jieba.lcut_for_search(s)搜索引擎模式，返回一个列表类型jieba.add_word(w)像分词词典中添加新词w

1，jieba.lcut(s)是最常用的中文分词函数，用于精确模式，即将字符串分割成等量的中文词组，返回结果是列表类型。

 2，jieba.lcut(s,cut_all=True)用于全模式，即将字符串的所有分词可能均列出来，返回结果是列表类型，冗余性最大。

 3，jieba.lcut_for_search(s)返回搜索引擎模式，该模式首先执行精确模式，然后再对其中长词进一步切分获得最终结果。

4，jieba.add_word()函数，用来向jieba词库增加新的单词。

好文推荐

 您阅读本篇文章共花了：