专栏名称: 机器学习算法与自然语言处理
一个有情怀的公众号。机器学习、自然语言处理、算法等知识集中营、期待与你相遇~
目录
51好读  ›  专栏  ›  机器学习算法与自然语言处理

实测腾讯开源的Hunyuan-Large大模型,感觉。。。

机器学习算法与自然语言处理  · 公众号  ·  · 2024-11-11 00:00

正文


MLNLP 社区是国内外知名的机器学习与自然语言处理社区,受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。
社区的愿景 是促进国内外自然语言处理,机器学习学术界、产业界和广大爱好者之间的交流和进步,特别是初学者同学们的进步。
转载自 | NLP工作站
作者 | 刘聪NLP

下面实测内容没有任何个人观点,仅为测试结果。另外,测试用例可能不多,但都是之前常测得一些问题,

今天突然发现腾讯开源混元大模型,十分震惊,腾讯也来挤开源赛道了,只能说大模型开源越来越繁华了。

这次开源的主要是MoE模型,有Base模型和Instruct模型,总参数量389B,激活参数52B,支持最大上下文256K。

Github: https://github.com/Tencent/Tencent-Hunyuan-Large
Paper: https://arxiv.org/pdf/2411.02265
HF: https://huggingface.co/tencent/Tencent-Hunyuan-Large

由于时间关系,还没仔细的阅读paper,扫了一眼指标,不知道为啥没跟Qwen2.5-72B比较,但是我单独看了几个榜单,是要好一些的。

Base模型

Instruct模型

由于本人没有16张H800,但又像测试一下腾讯新开源的Hunyuan-Large,因此在官方提供huggingface spaces上进行的测试。

https://huggingface.co/spaces/tencent/Hunyuan-Large

  • 将“I love Hunyuan-Large”的所有字母反过来写

说明:理解了意图,但是输出结果不正确,没有将所有字母反过来。

  • 9.9和9.11谁大

说明:结果正确。

  • strawberry有几个r

说明:结果错误,感觉还是tokenizer的问题,但很奇怪为啥没单独优化一下。

  • 监狱里的都是犯人,为什么警察不去监狱里抓坏人

说明:结果正确

  • 生蚝煮熟了叫什么?

说明:熟蚝。。。。。。。

  • 用水来兑水,得到的是浓水还是稀水

说明:稀水。。。。。。。。

  • 小红有2个兄弟,3个姐妹,那么小红的兄弟有几个姐妹

说明:没理解,小红是女生,字母说呢,合理也不合理,反正我觉得小红是女生。

  • 小红(女)有2个兄弟,3个姐妹,那么小红的兄弟有几个姐妹

说明:结果正确

  • 未来的某天,李同学在实验室制作超导磁悬浮材料时,意外发现实验室的老鼠在空中飞,分析发现,是因为老鼠不小心吃了磁悬浮材料。第二天,李同学又发现实验室的蛇也在空中飞,分析发现,是因为蛇吃了老鼠。第三天,李同学又发现实验室的老鹰也在空中飞,你认为其原因是

说明:按照我的推理是对的,但是不应该按照事实知识回答嘛。

就是测试了一下,感觉没有其他人说的那么强。不过也是现在开源最大的MoE模型了吧。

祝:开源越来越好,后面把paper仔细读一下,再来分享。


技术交流群邀请函

△长按添加小助手

扫描二维码添加小助手微信







请到「今天看啥」查看全文