基于HMM名词短语识别系统的设计与实现

黄晓冬

（苏州卫生职业技术学院，江苏苏州215009）

摘要：名词短语识别是自然语言处理领域中的一个较热的课题。本文对基于HMM名词短语识别系统的设计进行讲解，以供参考。

关键词：名词短语；识别系统；统计模型；HMM

中图分类号：TP391.43文献标识码：A文章编号：1671-6035（2013）05-0000-02

一、引言

汉语名词短语的自动标注就是要对一个已经完成了正确切分和词性标注处理的句子，经过自动分析处理，确定不同名词短语的边界位置，将它们用括号正确地划分出来，并标以合适的名词短语标记。名词短语是汉语短语中最重要，也是最主要的一种形式，是句子的重要组成部分，也是信息传递不可缺少的基本单位。名词短语识别是自然语言处理领域中的一个较热的课题。

此名词短语的标注问题可以用概率统计中的隐马尔科夫模型来加以刻画。

二、隐马尔科夫模型(HMM)

至此，就可以对给定词性串，计算边界状态的概率了。

四、系统的设计与实现

1.系统的设计

系统的模型可以分为两个部分：训练模型和识别模型。

（1）训练模型：用于对隐马尔科夫模型的训练，获得隐马尔科夫的模型的参数A和B。

（2）识别模型：根据训练模型所获得的参数，对待识别的已经进行分词并进行了词性标注的序列进行识别。

2.训练模型的实现

训练模型的主要功能是训练隐马尔科夫模型，训练隐马尔科夫模型时必须使用已经标注好边界状态的语料作为训练语料，根据每个词语的词性和边界状态计算出隐马尔科夫模型的参数A和B。

训练模型的算法步骤如下：

（1)判断训练语料库的目录sPath是否存在，如果不存在执行12，否则执行2；

（2)算法初始化，清空用于存放连续词性序列的数据库；

（3)根据sPath查找出sPath目录下的所有文本文件名称，放入数组sFiles中；

（4)读取数组sFiles的元素，判断数组数否结束，如结束，执行11，否则将数组元素赋值给sFile,执行5；

（5)根据sFile,建立StreamReader对象sr；

（6)按行读取文件sr.readline()，赋值给line；

（7)如果line=null，执行10；

五、结束语

名词短语是汉语短语中最重要，也是最主要的一种形式，是句子的重要组成部分，也是信息传递不可缺少的基本单位。本文简述了隐马尔科夫模型的原理，及其在名词短语识别中的应用。此外，本文还描述了名词短语识别系统的设计与实现。

参考文献

[1]俞士汶.计算语言学概论[M].商务印书馆,2003.9梁颖红,赵铁军,岳琪.英语基本名词短语识别技术研究[J].信息技术,2004.12

[2]李荣.基于隐马尔科夫模型的汉语非嵌套名词短语识别[J].忻州师范学院学报,2004.10

[3]俞士汶.计算语言学概论[M].商务印书馆,2003.9