同声传译StreamSpeech!

项目简介

“一体化”无缝模型，同步执行语音识别、语音翻译和语音合成。

StreamSpeech可以同时提供ASR、翻译和合成结果

同步语音到语音翻译（Simul-S2ST，又名流式语音翻译）在接收流式语音输入的同时输出目标语音，这对于实时通信至关重要。除了完成语音之间的翻译之外，Simul-S2ST 还需要一个策略来控制模型在语音输入的适当时刻生成相应的目标语音，从而提出了翻译和策略的双重挑战。在本文中，我们提出了 StreamSpeech，这是一种直接 Simul-S2ST 模型，可以在多任务学习的统一框架中联合学习翻译和同时策略。StreamSpeech 是一种用于语音识别、语音翻译和语音合成的“一体化”无缝流式模型，它可以有效地识别流式语音输入中开始翻译的合适时机。CVSS 基准测试表明 StreamSpeech 在离线 S2ST 和 Simul-S2ST 任务中均实现了最先进的性能。此外，StreamSpeech能够在同声翻译过程中呈现高质量的中间结果（即ASR或翻译结果），提供更全面的实时沟通体验。

StreamSpeech 采用两遍架构，首先将源语音转换为目标文本隐藏状态（自回归语音到文本翻译，AR-S2TT），然后通过非自回归文本到单元生成生成目标语音。引入源/目标/单元 CTC 解码器，通过语音识别（ASR）、非自回归语音到文本翻译（NAR-S2TT）和语音到单元翻译（S2UT）的多个任务来学习对齐，从而指导StreamSpeech 何时开始识别、翻译和合成。

🎈亮点：
1.  StreamSpeech 在离线和同步语音到语音翻译方面均实现了最先进的性能。
2. StreamSpeech 可以通过“一体化”无缝模型执行流式 ASR、同步语音到文本翻译和同步语音到语音翻译。
3. StreamSpeech可以在同声翻译过程中呈现中间结果（即ASR或翻译结果），提供更全面的低延迟通信体验。

🎈开发您自己的流语音

1.数据预处理

• 按照 ./preprocess_scripts 处理CVSS-C数据。

2. 训练

注意

您可以直接使用下载的StreamSpeech模型进行评估并跳过训练。

• 按照 researches/ctc_unity/train_scripts/train.simul-s2st.sh 训练 StreamSpeech 以实现同步语音到语音翻译。

• 按照 researches/ctc_unity/train_scripts/train.offline-s2st.sh 训练 StreamSpeech 以进行离线语音到语音翻译。

• 我们还提供了一些其他 StreamSpeech 变体和基线实现。