声明：语音合成论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。 

欢迎关注微信公众号：低调奋进

---

Improving multi-speaker TTS prosody variance with a residual encoder and normalizing flows

本文为Alexa AI在2021.06.10更新的文章，主要优化multi-speaker模型的韵律问题，具体文章链接https://arxiv.org/pdf/2106.05762.pdf

---

（最近我学习ASR，所以文章更新就少了。另外文章解读没必要按原文逐句翻译，我们只要看该文章的主要贡献点即可，省却大家的时间）

1 背景

TTS的多人模型常常造成特征被average,因此合成的语音缺少每个speaker具备的说话韵律​特征。目前的系统常常添加reference encoder，但该方法存在speaker-leakage​问题。本文基于以上的问题，优化了韵律模块，从而使系统合成的语音韵律更​丰富。

2 详细设计

本文的系统如下，上边为baseline系统，下边为本文提出的系统​。相比于baseline主要修改speaker 和reference部分​。首先speaker 部分使用normalizing flow把数据建模成单高斯分布，（最近我读了几年许多文章，这些文章都采用高斯分布对speaker信息建模，该方案好处是所有的speaker距离不是太大，尤其对unseen speaker​而言）。 其次使用residual encoder代替reference encoder对韵律进行建模，从而解决了speaker-leakage问题​，而且residual encoder的输入是语言信息，不需要参考语音​片段。经过试验，本文的系统不仅在韵律表达更加丰富，其可懂度和辨别度都得到提高​。

3 试验​

本文先对比了可懂度，即对合成的语音进行识别测试WER,baseline 为8.5%，本文为8.3%，​有些许提高。接下来对比Distinctiveness，table1和图3为FAR结果，其值越小越高的distinctiveness。接下来使用客观指标对比prosody,本文的提出方案远远好于​baseline。最后是 Speakers interpolation，图5展示本文​更好。

4 总结

针对multi-speaker tts模型的韵律表达不丰富等问题，本文提出使用normalizing flow和residual encoder优化韵律模块，从而使系统合成的语音韵律更丰富。