汉语自动分词知识

汉语分词是汉语言计算机处理的一项不可缺少的工作。使用自动分词知识可以进一步提高自动切分精度,满足高标准的需求。本文在[1][2][3]的研究基础上,介绍了一些行之有效的自动分词知识。根据对4(?)092个汉字的语言材料统计结果表明(统计材料分社会科学和自然科学两部分),这些自动分词知识可以处理90％左右的多义切分字段。     

书面汉语的自动分词与一个自动分词系统—CDWS

本文介绍了一个现代汉语自动分词系统——DCWS(The ModernChinese Distinguishing Words System)。在大量统计的基础上,对现有的四种计算机分词方法进行了评价,论证了自动分词是可行的。本文叙述了CDWS的设计思想,并提出了词尾字构词检错技术及若干有效的纠错知识。