2021SC@SDUSC
2021SC@SDUSC
在分析完tokenizer类中其他需要被分词使用的函数后,我们正式开始分析四种分词模式直接调用的cut函数的代码。
通常情况下,会直接默认精确模式,但是通过指定参数cut_all=True和use_paddle=True可以选择是否选择全模式或paddle模式。
2021SC@SDUSC
2021SC@SDUSC
#jieba分词的主函数,返回结果是一个可迭代的 generator
def cut(self, sentence, cut_all=False, HMM=True):
''' The main function that segments an entire sentence that contains Chinese characters into seperated words. Parameter: - sentence: The str(unicode) to be segmented. - cut_all: Model type. True for full pattern, False for accurate pattern. - HMM: Whether to use the Hidden Markov Model. '''
# 解码为unicode
sentence = strdecode(sentence)
# 不同模式下的正则
if cut_all:
re_han = re_han_cut_all #re.compile("([\u4E00-\u9FD5]+)", re.U)
re_skip = re_skip_cut_all #re.compile("[^a-zA-Z0-9+#\n]", re.U)
else:
re_han = re_han_default #re.compile("([\u4E00-\u9FD5a-zA-Z0-9+#&\._]+)", re.U)
re_skip = re_skip_default #re.compile("(\r\n|\s)", re.U)
#设置不同模式下的cut_block分词方法
if cut_all:
cut_block = self.__cut_all #全模式
elif HMM:
cut_block = self.__cut_DAG #精确模式,使用隐马模型
else:
cut_block = self.__cut_DAG_NO_HMM #精确模式,不使用隐马模型
#先用正则对句子进行切分
blocks = re_han.split(sentence)
for blk in blocks:
if not blk:
continue
if re_han.match(blk): # re_han匹配的串
for word in cut_block(blk): #根据不同模式的方法进行分词
yield word
else: # 按照re_skip正则表对blk进行重新切分
tmp = re_skip.split(blk) # 返回list
for x in tmp:
if re_skip.match(x):
yield x
elif not cut_all: # 精准模式下逐个字符输出
for xx in x:
yield xx
else:
yield x
根据代码逻辑,我们可以将具体的分词流程概括起来如下:
给定待分词的句子, 使用正则(re_han)获取匹配的中文字符(和英文字符)切分成的短语列表;
利用get_DAG(sentence)函数获得待切分句子的DAG,首先检测(check_initialized)进程是否已经加载词库,若未初始化词库则调用initialize函数进行初始化,initialize中判断有无已经缓存的前缀词典cache_file文件,若有相应的cache文件则直接使用 marshal.load 方法加载前缀词典,若无则通过gen_pfdict对指定的词库dict.txt进行计算生成前缀词典,到jieba进程的初始化工作完成后就调用get_DAG获得句子的DAG;
根据cut_block指定具体的方法(__cut_all,__cut_DAG,__cut_DAG_NO_HMM)对每个短语使用DAG进行分词 ,如cut_block=__cut_DAG时则使用DAG(查字典)和动态规划, 得到最大概率路径, 对DAG中那些没有在字典中查到的字, 组合成一个新的片段短语, 使用HMM模型进行分词, 也就是作者说的识别新词, 即识别字典外的新词;
使用python的yield 语法生成一个词语生成器, 逐词语返回。
如果使用搜索模式,则需要使用方法cut_for_search,与之相似,不同之处是其在精确模式的基础上,对长词(字数>2)再次切分,提高召回率,适用于搜索引擎分词。
以下附源代码可做对比学习用:
def cut_for_search(self, sentence, HMM=True):
""" Finer segmentation for search engines. """
words = self.cut(sentence, HMM=HMM)
for w in words:
if len(w) > 2:#如果词长>2
for i in xrange(len(w) - 1):
gram2 = w[i:i + 2] #再次切分词
if self.FREQ.get(gram2):
yield gram2 #返回迭代器
if len(w) > 3:#如果词长>3
for i in xrange(len(w) - 2):
gram3 = w[i:i + 3]#再次切分词
if self.FREQ.get(gram3):
yield gram3 #返回迭代器
yield w
搜索引擎模式的分词方法在一些业务场景是需要的,但是它的进一步切分方法比较粗暴,这里可以修改代码做一些定制化的分词规则,比如切出4字词,切出重要的1字词,某些词不可切等定制化分词规则,以获取自己想要的分词结果。
文章评论