主要观点总结
本文介绍了OpenAI的最新发布，包括三个语音模型：STT模型gpt-4o-transcribe和gpt-4o-mini-transcribe，以及TTS模型gpt-4o-mini-tts。这些模型提供了API接入方式。文章详细描述了这些模型的特点、效果、价格以及使用感受，并给出了推荐。此外，还介绍了OpenAI的TTS模型演示网站和API文档链接。
关键观点总结
关键观点1: OpenAI发布新的语音模型
包括STT模型gpt-4o-transcribe和gpt-4o-mini-transcribe，以及TTS模型gpt-4o-mini-tts，提供API接入方式。
关键观点2: STT模型介绍及推荐
这两个STT模型主要用于语音转文本，效果与剪映一键生成字幕类似。gpt-4o-transcribe和gpt-4o-mini-transcribe在识别准确度上表现良好，尤其是自动清噪和去除非主线人物的语音识别功能。价格方面相对较为亲民。
关键观点3: TTS模型效果评价
OpenAI的TTS模型gpt-4o-mini-tts在英语效果上表现不错，但中文发音存在问题。与市场上的其他产品相比，其在中文发音上还有待提升。
关键观点4: 模型使用感受与价格对比
作者对这些模型进行了实测，并给出了使用感受。价格方面，与其他同类产品相比，这些模型的价格相对较为合理。
关键观点5: 开发者资源
文章提供了OpenAI的API文档链接，方便开发者接入这些模型。
正文
昨晚11点的时候突然发了一个预告，4秒钟的音频的大概意思，就是太平洋时间10点我们发个产品。
然后就在北京时间凌晨1点，开了一场直播，发了一些新玩意。
2个比Whisper更好的语音转文本的STT模型：
gpt-4o-transcribe
和
gpt-4o-mini-transcribe
，1个文本生成语音的TTS模型 :
gpt-4o-mini-tts
。这些模型都
提供了API的接入方式。没了。
1. STT模型：
gpt-4o-transcribe
gpt-4o-transcribe
和
gpt-4o-mini-transcribe
说是两个，其实也就是一个了，后者是前者的小参数版。
这个模型的作用跟当年的
Whisper是一样的，跟大家在剪映里用的一键生成字幕的作用也是一样的，就是把一段语音，转成对应的正确的文本。
我们一般把他们称为，STT（Speech-to-Text）模型。
这个模型的核心，就是就是识别文字的准确率有多高，我相信大家在用剪映生成字幕的时候，一定会出现很多文字识别错误的情况，所以评判一个ASR模型效果咋样，就看正确率。
这个是OpenAI的几个STT模型在FLEURS数据集上的词错率（Word Error Rate, WER）的对比表现。纵坐标表示词错率，越低代表模型的转录准确性越高；横坐标代表不同语言。
词错率的意思就是用于衡量语音识别系统的准确性，它通过计算模型转录文本与人工参考文本之间的错误比例来得出，错得越少，WER越低，模型的表现也就越好。
中文是从左往右数第五个，cmn，可以看到突出了一个小山丘，错误率一下子就都上来了，比隔壁几个都要高一些，中文还是难。。。
最后那几个一柱擎天的语言都比较小众，比如bn是孟加拉语、mr是马拉地与、最高的那个ml是马拉雅拉姆语。。。
他们除了跟自己比外，又放了一个跟别人家模型相比的图。
Gemini是google的，scribe是Anthropic的，在对比的这些里面，确实达到了SOTA，但是不知道没比的模型里面，有没有比OpenAI更强的。
我自己也做了一下实测，把我的两个口播视频去识别了一下，识别出来的效果在此，大家可以对比一下。标红的就是识别错误的地方。
其实都大差不差，这么一看，GPT-4o-
mini-
transcribe的性价比感觉非常突出。
GPT-4o-transcribe这个系列的两个模型，有一个蛮不错的特点，就是会自动清噪和去除非主线人物的语音识别。
这个片段是剪辑完的成片，所以有音乐，甚至在19秒以后，还有BGM里面的别人唱歌的声音，这些其实都是噪音，
GPT-4o-transcribe几乎全部剔除了，在整个转录里，我几乎没看到什么错误，除了把我的名字，卡兹克识别成了卡斯克。。。
我又试了一段粤语的，效果居然还可以，大致的好像是对的，就是细节这块我不太能验证了，有懂粤语的朋友可以看一下。
gpt-4o-transcribe是每分钟大概$0.006，也就是人民币0.004元/分钟；
gpt-4o-mini-transcribe是
每分钟大概$0.003，
也就是人民币0.002元/分钟.
2. TTS模型：
gpt-4o-mini-tts
在英语效果和声音上，听了下，还算不错，不过毕竟这是国内，所以其实我更关注的是中文的生成效果。
情绪什么的其实讲道理，还可以的，就是这个中文发音，真的一股子大佐味，这到底用的什么数据集啊。。。
11Labs也有这个问题，中文根本没法听，太违和了。
对比一下海螺（现在产品也更名叫Minimax了），他们的Audio生成出来的同文字的中文是这个效果。
