近日，一则令人震惊的消息在AI界炸开了锅：
微软在一篇医学领域的论文中，竟然意外曝光了OpenAI多个重量级模型的参数！
这其中包括GPT-4、GPT-4o、o1系列等，引发了业界的广泛关注与讨论。
今天，我们就来深入剖析这一事件，看看这些模型参数背后的秘密，以及它们将如何影响AI的未来。
事情的起因是一篇发布在Arxiv上的论文，题为《MEDEC: A Benchmark for Medical Error Detection and Correction in Clinical Notes》。这篇论文由微软和华盛顿大学团队联合撰写，旨在解决临床笔记中的医学错误检测和纠正问题。然而，令人意想不到的是，论文中竟然透露了OpenAI多个模型的参数信息。
据论文透露，GPT-4的参数约为1.76万亿，而GPT-4o的参数则约为2000亿。更令人惊讶的是，GPT-4o的迷你版（mini）参数仅有80亿！相比之下，o1-preview的参数约为3000亿，o1-mini的参数也有1000亿。此外，Claude 3.5 Sonnet的参数约为1750亿，这一数字竟然与GPT-3 davinci的参数相当。
这些参数的曝光，无疑给AI界带来了巨大的震撼。毕竟，模型参数是衡量AI模型能力的重要指标之一。参数越多，通常意味着模型的表达能力越强，能够处理的任务也越复杂。然而，GPT-4o系列尤其是mini版的参数如此之少，却能够展现出强大的性能，这不禁让人对OpenAI的技术实力刮目相看。
面对这些曝光的参数，业界纷纷开始猜测其背后的技术秘密。
有网友指出，GPT-4o mini之所以能够在保持较少参数的同时展现出强大的性能，可能是因为它采用了MoE（Mixture of Experts）架构。
这种架构通过将任务分配给不同的专家网络来处理，实现了高效的信息利用和计算加速。
因此，即便参数较少，GPT-4o mini也能够快速准确地完成任务。
此外，还有网友猜测GPT-4o mini可能采用了稀疏激活技术。这种技术通过在训练过程中动态地选择部分参数进行更新，从而减少了计算量和内存占用。同时，它还能够保持模型的泛化能力，避免过拟合等问题。这些猜测虽然尚未得到官方证实，但已经引起了业界的广泛关注和讨论。
除了曝光模型参数外，微软和华盛顿大学团队的这篇论文还提出了一个全新的评估基准——MEDEC。
该基准专为临床笔记中的医学错误检测和纠正而设计，涵盖了五种类型的错误：
诊断、管理、治疗、药物治疗和致病因子。
通过这一基准，可以对AI模型在医疗领域的性能进行全面评估。
为了验证MEDEC基准的有效性，研究团队对当前最先进的模型进行了全面测试。这些模型包括o1-preview、GPT-4、Claude 3.5 Sonnet、Gemini 2.0 Flash等。同时，他们还邀请了两位专业医生进行相同的错误检测任务，并将AI与人类医生的结果进行了对比。
结果发现，最新LLM在医疗错误检测和纠正方面表现不俗，但与人类医生相比仍然存在一定的差距。这也从侧面印证了MEDEC基准的挑战性和实用性。通过这一基准，我们可以更加准确地评估AI模型在医疗领域的性能，并为其未来的改进和发展提供有力支持。
