OpenAI在第九天直播中向开发者开放了最强模型o1，并推出了许多新功能和更新。API中的o1支持函数调用、开发者消息、结构化输出和视觉功能。实时API现在支持WebRTC，成本降低60%。此外，还推出了偏好微调功能，使模型更能符合用户偏好。其他更新包括SDK支持扩展至Go和Java，简化登录注册流程，公开开发者日现场视频等。
在API中正式推出了o1模型，带来了强大的功能和性能。开发者可以使用函数调用、开发者消息等功能来更好地控制模型，并实现更丰富的应用程序。此外，o1还支持结构化输出和视觉功能，使模型在处理和呈现数据方面更加出色。
OpenAI宣布实时API现在支持WebRTC，这使得开发者可以构建实时语音应用程序，如会议助手等。此外，实时API的成本降低了60%，使得应用程序的运行更加经济和高效。
OpenAI推出了新的微调方法——偏好微调，它可以帮助开发者创建更符合用户偏好的模型。通过使用直接偏好优化（DPO），开发者可以根据不同的响应调整模型的偏好，从而使其更加符合特定的使用场景和需求。
OpenAI发布了新的SDK，现在支持Go和Java，这使得开发者可以使用他们熟悉的编程语言来访问OpenAI的API。此外，OpenAI还简化了登录注册流程，使开发者更容易获取API密钥。
为了供开发者学习和交流，OpenAI公开了之前开发者日的现场视频。这些视频包含了OpenAI团队的分享和演示，是了解OpenAI技术和产品的宝贵资源。
【新智元导读】OpenAI直播第九天，开发者们收到了一个超级大礼包。满血o1 API正式开放，实时API直接支持WebRTC，意味着未来人手一个Her。最最重要的是，API token直降60%。
圣诞日第九天，OpenAI向第三方开发者开放了最强模型o1。API中的o1，可支持函数调用、开发者消息、结构化输出和视觉功能。同时，在开发语音类App的API中，集成了更先进的GPT-4o版本，成本直降60%！另外，用户和开发者可根据自己的偏好，用「偏好微调」轻松定制模型了。Day 9，是名副其实的「对开发者最有用的一天」。与此同时，团队还进行了了一场在线AMA，解答了开发者的诸多问题。
今天，OpenAI将正式在API中推出o1满血版。自从9月推出o1-preview之后，开发者们已经在API上构建出了大量很酷的应用程序，比如智能体、客户支持、财务分析等，同时它的编程技能也很出色。但开发者们反馈说，API中缺乏了一些核心功能，因此，OpenAI今天会一并推出这些新功能。此外，还有一些小更新，比如推理强度参数。这是一个新的参数，告诉模型去花多少时间思考。在解决简单问题时，这个参数可以节省许多时间和成本，在需要更多算力的复杂问题上，就可以花费更多资源。开发者消息，视觉输入功能，函数调用功能
开发者消息功能，是系统消息的一种新形式，实际上是OpenAI指令层次结构工作的一部分。它会用来教模型，按照什么顺序遵循哪种指令。因此，开发者可以完全控制开发者消息来引导模型。此外，OpenAI还在API中推出了视觉输入功能。很多用户强烈呼吁这个功能上线，可以想见，它在制造业、科学等领域，会提供非常大的帮助。在demo中，研究者给了模型一份表格的照片扫描件，有若干张。注意，研究者填写的时候，故意填错了一些数据。o1是否能检测出这些错误呢？在开发者消息中，研究者要求模型找出错误。如果要正确找出，必须其他几张照片的扫描。果然，模型注意到了某一行的算术错误，还注意到标准扣除额不准确这种非常细节的问题。改正错误后，研究者提问道：如果我的应税收入是这个，我要缴纳多少所得税？
这些操作都在应用程序后端完成，用户看不到任何函数调用或来自API的响应。此外，研究者还定义了一个JSON架构，来规范响应的格式。在上面这个「表单修正」架构中，包含了一组修正，每个修正都包含错误原因等内容，这样就可以向用户展示哪里出错了。甚至还能为PDF渲染一个用户界面，高亮出出错的地方。在我们不想从模型中渲染Markdown时，结构化输出特别有用，它让我们可以直接自动提取JSON。API使用场景评估
针对API用例，OpenAI研究者进行了一些评估。首先，在函数调用功能上，新的o1模型在函数调用能力上显著优于GPT-4。这包含了两个关键部分——在需要时调用正确的函数，以及在不需要时避免调用函数。这意味着，模型在指令遵循上的表示更佳，在给出特定条件约束时，偏离预期的可能性也更低。在编码方面，o1在Livebench评估中，要远远优于o1-preview和GPT-4o，这是一个巨大的进步。而在AIME评估中，o1再次显著优于o1-preview。在构建结构化输出时，研究者希望确保模型在使用此功能和未使用时表现同样出色。可以看到，即使启动了此功能，模型的推理能力依旧保持。因此我们可以放心在应用程序中使用，不必担心结果的准确性。o1使用的推理Token，比o1-preview少了60%，因此对应用程序来说，它的运行速度更快、成本更低。最后，研究者强调，抱歉暂时不会在API中推出o1 Pro，虽然此类请求非常多。从今天起，函数调用、编码、结构化输出、开发者消息和图像理解，就会向第五级用户开放了。几周时间内，将覆盖到所有用户。实时API，Her可以自己构建了
Realtime API（实时API）在今年10月初，正式放出了公测版。在OpenAI伦敦开发者日上，所有人或许早已对其强大的实时语音能力有所了解。现场，开发者体验主管Romain Huet秀如何通过实时API订购派。想象一下，你可以直接通过这个API构建ChatGPT高级语音模式了！不论是订餐AI助手，还是旅游AI助手等等，有了它就可以实现许多非常酷炫的功能。它能够支持网络传输协议WebSocket，因此，你可以通过服务器进行通信，发语音并接受响应。而在今天，OpenAI正式宣布实时API将支持WebRTC——专为互联网而生。我们常见的视频会议，或者低延迟的视频流传输，都采用了WebRTC。它能够实时处理互联网不断的变化，比如动态调整比特率、进行回声消除。现在，实时API也能共享这些优势了。假设你要构建一个应用程序，能省去不少功夫，可以直接运行。接下来，OpenAI研究人员展示了一个demo，如下是HTML代码，包含了一个音频元素，一个对等连接（peer connection），它代表着你和实时API之间的一对一连接。演示的重点，就是创建这个对等连接。当实时API向你发送音频时，把它放入到音频元素中。紧接着，就是捕获麦克风输入的声音，并将其添加到对等连接中。首先，传输一个音频流到OpenAI，然后在设置好对等链接后，执行一个offer/answer操作。offer/answer的作用是收集本地的所有信息。开发者通过HTTP POST发送这些信息，然后模型会作出响应。然后，WebRTC 会为你处理所有细节，就不需要再去操心拥塞控制、音频捕捉等等。那么，这个与之前WebSocket集成，有什么区别？前者代码行数会大大拉长，达到200到250行，而且，在此基础上还会遇到其他的问题，比如处理反压（back pressure）等等。音频元素——「圣诞节还有多少天？圣诞节是12月25日，而今天是12月17日。这意味着离圣诞节还有8天」。剩余所做的，就是将其代码复制粘贴12行代码，执行脚本，就完成了。这里，你唯一需要修改的就是 API Token，然后你就可以下载这段代码并运行。OpenAI官方已经放出了所有代码，大家都可以随时构建。令人惊喜的是，研究员请出了一位小伙伴——小鹿，它里面有一个微型控制器，大小如同一枚硬币。插上电源之后，小鹿突然间活了，「圣诞快乐！你们在谈论什么」？研究人员回复道，「我们正在讨论如何将WebRTC集成到实时API中」。小鹿表示，「这听起来对我来说有点复杂。我们能不能聊点更有趣的事情，比如送礼物」？接下来，研究人员和小鹿完成一轮精彩对话，完全展现了实时API的强大应用，而这只是所有用例的冰山一角。这样，你就可以将其配置在任何可以穿戴的设备上，比如眼镜、摄像头、麦克风等等。而且，全程也只需30-45分钟。从现在开始，GPT-4o音频Token将比以前便宜 60%，并在API中提供了对4o-mini的支持，其音频音频Token成本降低到当前价格的1/10。其次，他们还为实时API推出了对Python SDK 的支持，使集成更加简单。最后，还有一些API改进，让开发者更容易使用函数编码和安全防护机制。偏好微调和定制化
关于微调和定制化，是开发者非常重要的一项功能，能够针对使用场景去定制模型。直播现场，OpenAI官宣了全新的微调方法——偏好微调（preference fine-tuning）。通过使用直接偏好优化（DPO）能帮助开发者创建更符合用户偏好的模型。具体来说，它是在比较不同回答中定制模型，而非使用固定的目标。过去几个月，OpenAI火力全开，但微调API已经发布有一年的时间了，这次究竟有什么不同？目前，在API中，他们推出了监督微调、以及前几天新推出的强化微调（RFT）。在监督微调中，开发者需要提供模型需要的精确输入和输出，比如创建一个聊天机器人，就需要提供用户的消息以及精确的回复。你不需要提供精确的输入和输出，仅需要提供一对一响应，其中一个回应偏好度比另一个更强。然后，微调过程便会优化模型，让其学会区分这些响应之间的差异。这些差异可能包括响应格式、风格指南，甚至是一些抽象的特质，比如有用性或创造力。客户支持、内容创作、创意写作等等，尤其是，适用于那些需要考虑语气、风格和创造力的主观任务。如果在此过程中，开发者认为模型结果过于冗长，或者给出答案并不相关，就可以通过强化偏好的行为，并弱化不偏好的行为，来引导它生成更简洁、更相关的响应。另一个非常好的使用场景可能是，内容审核或内容管理。接下来，研究人员演示了如何通过API实现简单微调，先进入微调页面，点击「创建微调」选项，会看到一个新方法的下拉菜单。选择「直接偏好优化」方法，然后在选择基础模型——GPT-4o。最后，需要做的就是上传数据。假设需要做一个聊天机器人，让其更具对话性。这下面这个示例这种，是向助手询问纽约市天气的两组响应。在首选的响应中，回复更加详细，使用的是华氏度。而在不理想的响应中，回复更为简洁，使用了摄氏度。然后，将这些示例放入JSONL文件中，每个示例都包含了输入消息、偏好/非偏好的输出。数据上传之后，再提供一些超参数（选择默认值），然后点击「创建」。这样，微调过程就启动了。根据数据集的大小，这一过程可能需要几分钟到几小时不等。一旦完成之后，我们能够像在API中任何基础模型一样，从新模型中采样。目前，OpenAI已经向合作伙伴提供了偏好微调的早期访问权限，并收到了不错的反馈。举个栗子，Rogo AI开发了一个面向金融分析师的AI助手，通过使用OpenAI模型重写、重构用户查询，以生成更相关的答案。在使用监督微调时，他们未能使模型表现超越基础模型。但通过偏好微调，他们在内部基准测试中的准确率从基础模型的75%提升超80%。鉴于GPT4o偏好微调所取得的成果，OpenAI预计很快将为GPT4o mini提供相同功能。同时，其训练Token的定价将与监督微调相同。总言之，今天的OpenAI发布，对于开发者来说，是一个大礼包。满血版o1引入API，具备了完整的生产功能集，而且函数编码功能，从今天起逐步推广到Tier 5。另外，实时API能够支持WebRTC集成，以及token价格下降，以及偏好微调让场景定制模型更加容易。而这些还不是全部，OpenAI今天还在一直持续推出新功能。首先，在提升开发者体验和产品质量方面，OpenAI发布了新的SDK，新增对Go和Java SDK的支持。与Python SDK和Node SDK类似，它们支持OpenAI上所有你需要的API端点。其次，在简化流程上，他们也推出了一个全新的登录、注册、获取API密钥的流程。现在，不需要签署5份服务条款协议，开发者即可在几秒钟内获取API密钥。最后还有一个小彩蛋，过去几个月，OpenAI在世界各地举办了大大小小开发者日。如今，他们将这些现场视频全部公开了，只需进入OpenAI官方YouTube页面即可查看。https://community.openai.com/t/ama-on-the-17th-of-december-with-openais-api-team-post-your-questions-here/1057527/198
https://community.openai.com/t/all-the-questions-addressed-by-the-api-team-during-the-december-17-2024-ama/1059780
https://venturebeat.com/programming-development/openai-opens-its-most-powerful-model-o1-up-to-third-party-developers/
https://openai.com/12-days/?day=9
