一种基于特征融合的耳语音向正常音的转换方法

使用耳语音的频谱包络来预估正常音的基频特征，这类算法在对正常音基频预测的准确性上存在一定不足，在合成语音自然度方面存在着明显欠缺，有时会出现音调失常等问题。本文提出一种声学特征融合的方法，通过双向长短期记忆（Bi-long short-term memory， BLSTM）深度网络来逐帧预测正常音基频。首先，使用STRAIGHT模型和相关代码，分别对耳语音和正常音语料进行预处理，提取耳语音的梅尔倒谱系数（Mel-scale frequency cepstral coefficient，MFCC）、韵律及谱包络特征，正常音的基频与谱包络特征。然后使用BLSTM深度网络，分别建立耳语音和正常音谱包络特征之间映射关系，以及耳语音MFCC、韵律及谱包络特征对正常音基频F₀的映射关系。最后根据耳语音的MFCC、韵律及谱包络特征获得对应的正常音基频和谱包络，使用STRAIGHT模型合成正常音。实验结果表明，相较于仅使用谱包络估计基频，采用此种方法引入语音韵律和MFCC的融合特征是对基频特征的良好补充，解决了音调失常的现象，转换后的语音在韵律上更加接近正常发音。

Method for Transforming Whisper to Normal Speech with Feature Fusion