专栏名称: 机器学习算法与自然语言处理

一个有情怀的公众号。机器学习、自然语言处理、算法等知识集中营、期待与你相遇~

Gemini 1.5 Pro发布，赢了榜单第一，却被网友泼冷水

机器学习算法与自然语言处理 · 公众号 · · 2024-08-04 00:00

正文

MLNLP 社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。

社区的愿景 是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。

转载自 | 夕小瑶科技说

作者 | 海野

在被OpenAI背刺这么多次后，谷歌终于长记性了。

没有进行任何预告，谷歌直接端上来了它的大杀器： Gemini 1.5 Pro 。并在Google AI Studio和Gemini API上，进行experimental0801版本的测试。

在LMSYS竞技场上，这个测试模型以1300分的成绩成功击败GPT-4o，夺得了排行榜第一。

多语言能力拔得头筹，编码和数学仍是硬伤

Gemini 1.5 Pro建立在谷歌2月推出的Gemini 1.5模型之上，要讲它最突出的特点，那就是有高达200万个tokens的上下文长度，能处理超大量的推理任务，量大管饱。

从LMSYS竞技场的数据来看，在总榜上Gemini 1.5 Pro在众多测试标准中都尽显优势，跻身上游。特别是机器视觉方面，已经坐上了老一的位置：

同样的，在多语言任务方面，Gemini 1.5 Pro在汉语、日语、德语、俄语等语言中表现依旧出色，尤其是中文，几乎是碾压诸多国外模型啊。

不过，在数学、复杂prompt和编码等技术领域，虽然Gemini 1.5 Pro也展现了强大的性能，但要跟GPT-4o、Claude 3.5sonnet和Llama 3.1 405b相比，还是略逊一筹。

而这也是网友们诟病的地方。AI模型如果在硬技术的领域不能取得Top1，那它也许并不能被称为真正的Top1模型：

Gemini 1.5 Pro仍然没有在编码领域得到改善，而编码是人工智能迈向奇点的最重要指标，所以这并不是真正的进步。

不过，现在这个模型只是一个供开发人员测试的Experimental模型，在后续正式推出后，它在技术领域也许会得到更进一步的改善。如果Gemini1.5 Pro也可以在技术领域战胜GPT-4o、Claude3.5等，那大模型的局面或许要翻天覆地了。

是走向开放还是着眼安全？人工智能面临新挑战

昨天，谷歌放出来了一个2b尺寸的小模型Gemma 2，我还在私下里偷偷吐槽：这些大厂都不打高端局，开始卷小型模型蒸馏了？

还好，谷歌没有忘记做大做强的初衷，马上又开放了Gemini 1.5 Pro的测试。看样子是被OpenAI背刺怕了，现在出模型都不会提前预告了。

不过，这里还有一个问题。本次放出的Gemini 1.5 Pro只是一个早期测试模型，这反映了谷歌在AI行业发展的两个趋势： 更开放的进行开发，以及社区参与测试。

但目前，社会上仍长久存在着人工智能发展速度与安全保障的辩论。公众讨论的焦点，仍是人工智能安全性、使用人工智能的道德规范、以及对人工智能潜在滥用的担忧。

最近几个月内，OpenAI一直在向人工智能安全的方向迈进， 他们甚至将20%的计算资源匀给一个单独的安全团队，来推动人工智能的科学、安全发展，并计划在4年内解决超级对齐的挑战。

有网友甚至吐槽： 你们干脆改名叫SafeAI好了 。

而与OpenAI不同， 谷歌意图通过征求开发者和用户的反馈，进一步完善模型，并在广泛地推出之前，解决潜在的问题。

这里就有人开始担心：要安全还是要创新？Safer or better？

按标准答案来讲，那肯定很多人要说两手一起抓了。

如果硬要偏向一方的话，我个人支持加快创新。对于人工智能，我们更多地要看利好的一方面。迄今，我们能看到人工智能为经济、教育、医疗等方面强势赋能的局面。目前AI只在部分顶尖领域展开使用，但我相信，AI的势能很快就可以惠及千万家，比如卡帕西大神关于AI教育学校的设想。

而今日，第一部人工智能相关的法律——欧盟的《人工智能法案》正式落地实行了。该框架期望通过法规政策、标准规范等多方面治理手段，有效限制AI的的不法使用。至少目前，AI能构成的威胁依然在人类的掌控之中，现在考虑AGI带来毁灭人类的危险，是否有些杞人忧天呢？

最后，还是愿AI发展能不忘一个初心： 以人为本。

参考资料

[1]https://x.com/lmsysorg/status/1819048821294547441
[2]https://x.com/sama/status/1818867964369928387
[3]https://www.consilium.europa.eu/en/policies/artificial-intelligence/?utm_source=x.com&utm_medium=social&utm_campaign=20240801-eu-ai-act-enters-into-force&utm_content=visual-carousel#0

    
       技术交流群邀请函

    
     △长按添加小助手

扫描二维码添加小助手微信

Gemini 1.5 Pro发布，赢了榜单第一，却被网友泼冷水

正文

多语言能力拔得头筹，编码和数学仍是硬伤

是走向开放还是着眼安全？人工智能面临新挑战

参考资料

请到「今天看啥」查看全文