OpenAI深夜发布3个全新的语音模型，一手实测都在这了。

大数据文摘 · 公众号 · 大数据 · 2025-03-21 18:02

正文

大数据文摘受权转载自数字生命卡兹克

作者：卡兹克、dongyi

OpenAI最近总是喜欢搞突袭。

昨晚11点的时候突然发了一个预告，4秒钟的音频的大概意思，就是太平洋时间10点我们发个产品。

然后就在北京时间凌晨1点，开了一场直播，发了一些新玩意。

总结一下就是：

2个比Whisper更好的语音转文本的STT模型： gpt-4o-transcribe 和 gpt-4o-mini-transcribe ，1个文本生成语音的TTS模型 : gpt-4o-mini-tts 。这些模型都提供了API的接入方式。没了。

一个一个说。

1. STT模型：gpt-4o-transcribe

gpt-4o-transcribe 和 gpt-4o-mini-transcribe 说是两个，其实也就是一个了，后者是前者的小参数版。

这个模型的作用跟当年的 Whisper是一样的，跟大家在剪映里用的一键生成字幕的作用也是一样的，就是把一段语音，转成对应的正确的文本。

我们一般把他们称为，STT（Speech-to-Text）模型。

这个模型的核心，就是就是识别文字的准确率有多高，我相信大家在用剪映生成字幕的时候，一定会出现很多文字识别错误的情况，所以评判一个ASR模型效果咋样，就看正确率。

他们的跑分是这样的。

这个是OpenAI的几个STT模型在FLEURS数据集上的词错率（Word Error Rate, WER）的对比表现。纵坐标表示词错率，越低代表模型的转录准确性越高；横坐标代表不同语言。

词错率的意思就是用于衡量语音识别系统的准确性，它通过计算模型转录文本与人工参考文本之间的错误比例来得出，错得越少，WER越低，模型的表现也就越好。

中文是从左往右数第五个，cmn，可以看到突出了一个小山丘，错误率一下子就都上来了，比隔壁几个都要高一些，中文还是难。。。

最后那几个一柱擎天的语言都比较小众，比如bn是孟加拉语、mr是马拉地与、最高的那个ml是马拉雅拉姆语。。。

他们除了跟自己比外，又放了一个跟别人家模型相比的图。

Gemini是google的，scribe是Anthropic的，在对比的这些里面，确实达到了SOTA，但是不知道没比的模型里面，有没有比OpenAI更强的。

我自己也做了一下实测，把我的两个口播视频去识别了一下，识别出来的效果在此，大家可以对比一下。标红的就是识别错误的地方。

其实都大差不差，这么一看，GPT-4o- mini-transcribe的性价比感觉非常突出。

GPT-4o-transcribe这个系列的两个模型，有一个蛮不错的特点，就是会自动清噪和去除非主线人物的语音识别。

比如这个案例。

这个片段是剪辑完的成片，所以有音乐，甚至在19秒以后，还有BGM里面的别人唱歌的声音，这些其实都是噪音，GPT-4o-transcribe几乎全部剔除了，在整个转录里，我几乎没看到什么错误，除了把我的名字，卡兹克识别成了卡斯克。。。

我又试了一段粤语的，效果居然还可以，大致的好像是对的，就是细节这块我不太能验证了，有懂粤语的朋友可以看一下。

最后价格这块提一下。

gpt-4o-transcribe是每分钟大概$0.006，也就是人民币0.04元/分钟；

gpt-4o-mini-transcribe是每分钟大概$0.003，也就是人民币0.02元/分钟.

整体不算贵了。

2. TTS模型：gpt-4o-mini-tts

OpenAI的一个新的TTS模型。

在英语效果和声音上，听了下，还算不错，不过毕竟这是国内，所以其实我更关注的是中文的生成效果。

我随手跑了一个，就，你们听听这个效果。。。

情绪什么的其实讲道理，还可以的，就是这个中文发音，真的一股子大佐味，这到底用的什么数据集啊。。。

11Labs也有这个问题，中文根本没法听，太违和了。

对比一下海螺（现在产品也更名叫Minimax了），他们的Audio生成出来的同文字的中文是这个效果。

在发音上，根本就不是一个级别的，中国人的语音模型，还是得看中国制造。。。

英语上，感觉很纯正，日语发音上，也感觉有点怪怪的。。。

这次OpenAI给gpt-4o-mini-tts做了一个小小的功能演示网站，约等于免费给大家用了。

还挺有意思的。

网址在此：https://www.openai.fm/

最上面的VOICE是固定的音色，音色你是没办法克隆也没办法自定义的，所以只能选这些。