专栏名称: 网罗灯下黑
聊点网络生活中不为人知的有趣事
目录
相关文章推荐
宛央女子  ·  非要离婚才行吗 ·  11 小时前  
女神汇  ·  人甚至无法共情小时候的自己: ·  2 天前  
吉安发布  ·  【全国三八红旗手风采展示】张爱祥: ... ·  昨天  
吉安发布  ·  【全国三八红旗手风采展示】张爱祥: ... ·  昨天  
山西省邮政管理局  ·  【山西天气预报】未来三天:晴天为主,风力较大 ... ·  2 天前  
微行动联盟  ·  山西省2025年中考模拟方向卷(一) ·  2 天前  
微行动联盟  ·  山西省2025年中考模拟方向卷(一) ·  2 天前  
51好读  ›  专栏  ›  网罗灯下黑

史上最简单的声音克隆,教你生成骚气导航语音!

网罗灯下黑  · 公众号  ·  · 2024-08-05 08:00

正文

最近网上一个恶搞《人民的名义》的系列短视频相当好玩,不知道大家有没有刷到过,和往常恶搞视频不同,它恶搞的是配音,来,请看 VCR:

这恶搞的配音逼真程度,估计演员本人听了都不会怀疑。

不难看出,这就是通过 AI 克隆声音然后生成的新配音,这种玩法现在在短视频平台上很常见,比如前一段时间 一个特别骚气的的导航语音包也火了一把,原作者是抖音@御女茉莉,因为过于撩人,网上还有不少 卖这个导航语音包。

其实一直以来,我对声音克隆工具都比较感兴趣,而且这类工具的使用门槛越来越低,最近我就用了一个新出的工具克隆了她的超嗲声音,你们看像不像?

是不是效果还不错,而且前所未有的简单,这就是今天要介绍的声音克隆项目 CosyVoice

CosyVoice

阿里通义实验室在 7 月初 发布了一款语音处理模型 FunAudioLLM 它由两个主要模型构成,CosyVoice就是其中之一,另一个是 SenseVoice 。

SenseVoice 主打是语音识别,快速、准确地转录语音内容。

而 CosyVoice 则是语音生成模型,也是今天要介绍的主角,它能生成自然且情感丰富的语音,模仿不同的说话人,可以用几秒钟的音频样本来克隆一个人的声音。

项目都是开源,你可以进行本地部署,也可以直接体验开发者搞的在线版本,这样就不用 运行任何代 码,也不用配置任何环境。

项目地址:https://fun-audio-llm.github.io/

大家可以先用这个在线版本试玩看看。

CosyVoice 在线版本:

https://kevinwang676-cosyvoice-talktalkai.hf.space/

零样本学习

不需要 额外训练数据,只 需要 3~10s 的原始音频,CosyVoice 就能生成模拟音色。

上传一段需要参考的音频,时长不要超过 30 秒,还要在旁边填写参考音频对应的文本内容、希望音频复刻的文本内容。

最后点击右下方的一键开启声音复刻,几秒之后复刻的音频就生成了,可以直接下载,也能分享出去。

右上方有一个随机推理种子,根据测试的经验,保持默认是 0,生成的效果更接近参考音频。

现在请姜文声音出场,这是原台词音频:

这是复刻的声音,音色简直一模一样,语调和重音也是完全一致。

跨语言声音克隆

上传一种语言的声音,CosyVoice 可以生成







请到「今天看啥」查看全文