汉语字、词的概率分布和一阶熵的研究

本文在1986年通过国家级鉴定的“现代汉语字、词频统计”结果的基础上研究汉语字、词的概率分布,给出确定参数的计算方法,计算现代汉语书面语字、词的一阶熵,在古字频统计结果的基础上计算古汉语的一阶熵。研究结果表明,与大多数拼音文字的词满足Zipf定律不同,具有象形特征的汉语字、词的概率分布不满足Zipf定律,汉语词的熵值也高于拼音文字词的熵值。因而,汉语在传输时,可以更好地解决信道传输、语言信息的最佳编码问题,从而提高信道的质量。