OpenVoice：即时声音克隆技术

项目简介

这份文件是一篇关于OpenVoice即时声音克隆技术的技术报告，由Zengyi Qin（麻省理工学院& MyShell.ai）、Wenliang Zhao（清华大学）、Xumin Yu（清华大学）和Xin Sun（MyShell.ai）共同撰写。以下是该文件的核心内容概述：

1. OpenVoice介绍 ：

• 灵活的声音风格控制：OpenVoice允许对声音风格（包括情感、口音、节奏、停顿和语调）进行细粒度控制，而不仅仅是复制参考说话者的音色。

• 零样本跨语言声音克隆：OpenVoice实现了对未包含在大规模说话者训练集中的语言进行零样本跨语言声音克隆。

• OpenVoice是一种多功能的即时声音克隆方法，只需参考说话者的短音频片段即可复制其声音，并生成多种语言的语音。

• 该技术在以下方面取得了显著进展：

• OpenVoice的设计理念是将即时声音克隆（IVC）任务分解为更易实现的子任务。

• 该技术包括两个主要组件：基础说话者TTS模型和音色转换器。

• 基础说话者TTS模型控制风格参数和语言，而音色转换器将基础说话者的音色转换为参考说话者的音色。

• 基础说话者TTS模型可以是单说话者或多说话者模型，允许控制风格参数、口音和语言。

• 音色转换器是一个编码器-解码器结构，中间包含一个可逆的归一化流。

• 为了训练基础说话者TTS模型，收集了来自不同说话者（包括不同情感标签的数据）的音频样本。

• 音色转换器的训练目标是生成自然的声音，并尽可能多地消除音色信息。

• OpenVoice在准确克隆音色、灵活控制声音风格和跨语言声音克隆方面表现出色。

• 实验表明，OpenVoice能够以低成本实现快速推理，并且使用了国际音标（IPA）作为统一的音素字典，这对于跨语言声音克隆至关重要。

• OpenVoice展示了卓越的实例声音克隆能力，并且在声音风格和语言方面比以往的方法更加灵活。

• 为了促进未来的研究，作者公开了源代码和模型权重。

• 报告最后列出了一系列相关的参考文献，涵盖了语音合成、声音克隆和语音表示学习的领域。

这份报告详细介绍了OpenVoice的技术细节，并提供了公开的源代码和模型，以推动该领域的研究进展。

关注「 GitHubStore 」公众号