OpenAI 凌晨发布：Realtime 实时多模态 API，及其他

中国时间凌晨 1 点多，OpenAI 召开了本年的开发者大会（旧金山场）。顺道说一下，今年开发者大会一共 3 场：10月1号旧金山；10月30号伦敦，以及11月21日新加坡

本次的发布，大体是常规更新，包括：

• 【新东西】Realtime API

• 可以理解为就是 GPT-4o 带 advanced voice 的那套，支持 API 了

• 可以在 playground 里先玩玩

• 价格很贵很贵，音频的话：

• 输入价格：100刀 每百万 token

• 输出价格：200刀 每百万 token

• 视觉模型微调

• 对于支持图像的模型，比如 4o 或者 4o-mini，现在可以用图片进行微调了

• 利好工业/医疗等场景

• 看了下文档，方法挺友好的，价格也会贵一些：以 4o-0806 为例子，微调价格为 25 刀/百万 token；之后调用是 $3.75 输入，$15 输出

• 缓存折扣

• 如果命中缓存，5折，目前支持：gpt-4o，gpt-4o-mini，o1-preview 和 o1-mini 这四个模型

• 具体可以看这里：https://platform.openai.com/docs/guides/prompt-caching

• 不如 DeepSeek 的缓存打一折：《DeepSeek API 创新采用硬盘缓存，价格再降一个数量级》

• 其他发布

• 模型层面，带来了蒸馏服务：这确实是独一份的，用来生产高质量语料。不过这东西，对普通开发者，应该用处不大

• 调试方面，迭代了很多 playground 中的工具链和交互方式，比如 system prompt 的自动优化

• 在 api 层面，支持了如 zod，pydantic 这样的工具，方便更好的结构化输出（疑惑：之前不就支持了？我一直在用啊）

• 其他...

重点说说

Realtime API

这个东西，可以理解为是 4o 搭配了 advanced voice 的背后 api。

在以往，常规的带语音的 AI 模型，在处理对话的时候，是遵循以下步骤：

• 将语音转换成文字（比如使用 whisper 模型）

• 将文字传输给大模型，并获得文字返回

• 用 tts 工具，将文字读出来

在很多情况下，这么做是没问题的，但总会觉得别扭，比如我给大模型说

• wò caò

• wò caǒ

• wǒ caò

• wǒ caǒ

• ...

很显然，这几个意思是不一样的。如果我通过「语音 - 文字 - 语音」的方法，并不能准确识别，还可能被认为我手里拿了个草「握草」。但如果是语音 end-end 的做法，则可以准确识别。

同时，也可以发现，这里还有一个可行的项目方向：用语音 end - end 的方式，进行语言训练，比如矫正口音。

另需要注意的是，这个模型...很贵。让他说一分钟的话，需要人民币大概 1.7 元：

这个模型的调用方法，和 gpt 系列不太一样，也不用 openai sdk。具体不展开了，有兴趣的可以看这：

https://platform.openai.com/docs/guides/realtime

官方还配了个例子（我是第4个点赞的，ahhhhh）：

https://github.com/openai/openai-realtime-api-beta

另一个（console)：https://github.com/openai/openai-realtime-console

最后再吐槽下...截止到成稿的时候，这个 api 都没有真实上线。

再来谈谈

视觉模型微调

这个是有用的，尤其是在工业领域，比如：

• 医疗领域：拿 CT 影像数据来微调，获得一个看片 bot

• 安防领域：代替部分的传统 CV 方案，判定实时风险

• 工业领域：让 AI 通过一定量的样本学习，在流水线或者类似场景中，自动检出残次品/报警

微调的方法极其简单，和聊天发图片差不多。支持 url 或者 base64 传递图片，看这就行了：https://platform.openai.com/docs/guides/fine-tuning/vision

这里有些限制，两个方面：

• 技术限制：最多 5 万组训练数据，每组最多 10 张图，每张图最大 10 M

• 合规限制：不允许用人像、人脸以及验证码（CAPTCHAs），以及其他可能违规的数据进行训练

众所周知，微调贵一截，这里是价目表：

以及，这里还有一个限时活动：

• GPT-4o：每天前 1M 的微调免费，后续 $25.00/1M tokens.

• GPT-4o-mini：每天前 2M 的微调免费，后续 $3.00/1M tokens.

至于...

缓存折扣

说白了，就之前（几分钟～1小时）内问过的问题，再问一遍类似的，重复部分半价。不过，优惠力度不够大，毕竟 Gemini 是输入 2 折；DeepSeek 是输入 1折：《DeepSeek API 创新采用硬盘缓存，价格再降一个数量级》

至于原理和步骤，大概是这样：

• 启用缓存：如果 prompt 长度超过 1024 tokens，系统会自动启用缓存，并检查 prompt 前部分是否已存储在缓存中

• 如命中：如找到匹配，则会使用缓存的结果，以降低延迟并减少成本

• 未命中：如没找到，系统会正常处理，然后缓存当前请求，以便将来使用。

需注意：

• 缓存启用：无需主动声明，自动启用
  

• 缓存时间：通常是 5～10 分钟，高峰时段可能是 1 小时（不可控）

• 缓存管理：同一组织下，缓存共享，且无法主动清理

• 内容生成：缓存不会影响 API 生成的最终响应，每次生成是独立的

• 折扣互斥：Batch API 不享受缓存折扣
  

其他

本场发布会的主要更新，还是传统开发者 - 拿着 API 或者模型整活的。

Realtime API 等马上（可能就是1天内）上线后，可以多试试，找找感觉，应该有不少场景。

另外的，11 月 21 号的新加坡场作为 OpenAI 的本年度最后一场活动，应该会有一些新东西。到时候我也会去现场，带来第一手的实时报道。