招商计算机与互联网团队:勤奋、专注、深入,希望带给您思想与逻辑的启发! |
2024年2月,月之暗面逆势完成一笔大额融资。根据36氪报道,月之暗面以15亿美金投前估值完成超10亿美元B轮 ,阿里领投,砺思资本、小红书等跟投,该笔交易完成后,月之暗面投后估值约25亿美元——由此,它成为中国大模型赛场上现阶段估值最高的一家独角兽。
根据36氪报道,业界评价月之暗面CEO杨植麟是坚定的AGI信徒和有技术号召力的创始人。 他的学习与工作履历很多与通用AI相关,论文引用超22000次。另外两位联合创始人周昕宇和吴育昕,则有超过10000+的GoogleScholar引用。
顶尖学历团队,杨植麟本科毕业于清华大学交叉信息学院,师从清华教授、IEEEFellow唐杰 。本科毕业后,杨植麟赴自然语言处理(NLP)研究全球排名第一的卡内基梅隆大学语言技术研究所(LTI)攻读博士,博士导师是苹果公司AI负责人RuslanSalakhutdinov和GoogleAI智能首席科学家WilliamW.Cohen。根据甲子光年报道,在大模型方向,团队成员发明了RoPE相对位置编码,是MetaLLaMa和谷歌PALM等大多数主流模型的重要组成部分;发明了groupnormalization,是StableDiffusion等AI模型成功的关键组件。 杨植麟本人以一作身份发表了XLNet与Transformer-XL,Transformer-XL成为首个全面超越RNN的注意力语言模型,论文成为NeurIPS2019与ACL2019的最高引论文之一;XLNet则在20项任务上超越谷歌BERT模型 。
根据similarweb和七麦数据的资料,从2024.2.18-2024.3.16,Kimi.ai总访问量为5.39百万次,日均浏览量达到将近20万次,Kimi智能助手在全平台的累计下载量为50万次,过去一周日均下载量接近4万次。
2023年10月,月之暗面发布支持20万汉字输入的Kimi智能助手(下简称Kimi),彼时Claude-100k支持约8万字,GPT-4-32k支持约2.5万字。当时的Kimi是全球市场上能够产品化使用的大模型服务中最长的上下文输入长度。2024年3月18日,20万字的“胃口”变成200万。根据机器之心数据显示,尚未上线的GPT[1]4.5Turbo上下文窗口指定为25.6万个token(指文本中最小的语义单元),能同时能够处理约20万个单词,Kimi此次升级后长文本能力为其10倍。
受益标的:
算力基础设施: 鸿博股份、亚康股份、恒为科技、润 泽科技;
AI+办公: 金山办公、万兴科技、福昕软件、汉仪股 份;
AI+保险: 新致软 件;
AI+医疗: 润达医疗、嘉和 美 康;
AI+电商: 光云科技、焦点科技、虹软 科技;
AI+教育: 科大讯飞、鸥玛软件、佳发 教育;
AI+小说: 掌阅科技、中文 在线;
长文本工具链: 海天瑞声、拓尔思、云从科 技。
风险提示
正文
2024年2月,月之暗面逆势完成一笔大额融资。根据36氪报道,月之暗面以15亿美金投前估值完成超10亿美元B轮,阿里领投,砺思资本、小红书等跟投,该笔交易完成后,月之暗面投后估值约25亿美元——由此,它成为中国大模型赛场上现阶段估值最高的一家独角兽。
不同其他新兴大模型企业,月之暗面是头部国产大模型公司中,人数最少的一家,为80人。他没有像他的对手那样,做更稳妥的toB生意,或是在医疗、游戏等细分场景中找落地,而是做且只做了一款toC产品——智能助手Kimi,支持20万汉字输入。Kimi也是该公司创始人兼CEO杨植麟的英文名。
在中国大模型创始人中,杨植麟年纪最轻,于1992年出生。根据36氪报道,业界评价他是坚定的AGI信徒和有技术号召力的创始人。他的学习与工作履历很多与通用AI相关,论文引用超22000次。另外两位联合创始人周昕宇和吴育昕,则有超过10000+的GoogleScholar引用
杨植麟本人本科毕业于清华大学交叉信息学院,师从清华教授、IEEEFellow唐杰。本科毕业后,杨植麟赴自然语言处理(NLP)研究全球排名第一的卡内基梅隆大学语言技术研究所(LTI)攻读博士,博士导师是苹果公司AI负责人RuslanSalakhutdinov和GoogleAI智能首席科学家WilliamW.Cohen。
根据甲子光年报道,月之暗面核心团队成员分别来自谷歌、Meta、亚马逊等全球科技巨头,整体团队包括了NLP、CV、RL、Infra等方面人才,做了很多有世界级影响力的工作。比如,在大模型方向,团队成员发明了RoPE相对位置编码,是MetaLLaMa和谷歌PALM等大多数主流模型的重要组成部分;发明了groupnormalization,是StableDiffusion等AI模型成功的关键组件。 杨植麟本人以一作身份发表了XLNet与Transformer-XL,Transformer-XL成为首个全面超越RNN的注意力语言模型,论文成为NeurIPS2019与ACL2019的最高引论文之一;XLNet则在20项任务上超越谷歌BERT模型。
在视觉领域,团队成员发明了MoCo,引爆了基于对比学习的视觉预训练范式,也是过去三年CVPR引用量最高的工作;发明了ShuffleNet,最高效的视觉网络结构之一;主导开发了detectron2,一个被广泛使用的视觉开源项目并被集成到Meta全线VR/AR产品中。在基础设施方面,团队核心成员曾带领数十人从零开发世界领先的深度学习框架,也具备数千卡集群全自动化硬件运维告警、数百亿特征检索、大规模(数十PB数据、百万台机器)分布式系统数量级性能优化的经验。
在强化学习方面,团队成员作为一作提出了基于关系学习的少样本方法,得到斯坦福大学、谷歌、MIT、亚马逊等团队的使用和扩展,并获得过OpenAIRL联创及负责人JohnSchulman亲自邀请加盟。目前,根据36氪的报道,针对SORA以及其他大模型厂商的竞争压力,月之暗面当前已经在秘密研发通用多模态模型,预计今年内将推出。
C端产品增长迅速,手机应用累计下载量突破50万
在产品方面,根据 similarweb 资料, Kimi.ai 在过去一个月内表现出色,显示出显著的增长势头 。具体来看,从 2024 年 2 月 18 日至 3 月 16 日, Kimi.ai 的总访问量达到了 5.39百万次,这实现 了日均浏览量近 20 万次的佳绩,这一指标反映了 Kimi.ai 对用户的吸引力在增加。但同期国内大模型文心一言的总访问量达到 12.73 百万次,国际大模型 Claud.ai 浏览量为 35.03 百万,目前来看, Kimi.ai 的浏览量距离头部大模型的使用量还有一定的增长空间。
此外,根据七麦数据的资料,Kimi智能助手在各个手机平台的下载量自3月11日起迎来了显著的增长。截至2024年3月19日, Kimi智能助手的累计下载量已经突破了50万次大关,这一成就标志着Kimi智能助手在用户中的广泛认可和受欢迎程度。在过去的一周中,Kimi智能助手的日均下载量接近4万次,周环比提升4倍 ,这一数据不仅展示了Kimi智能助手在手机市场上的快速扩张,也预示着其在大模型领域的潜力和影响力正不断增强。但相对于文心一言过去一周日均14万的下载量,目前Kimi智能助手在软件市场商的用户量和影响力距离头部大模型还有一定差距。
2. 全球首个支持200万字上下文的中文大模型,引领GPT时代新变革
2023年10月,月之暗面发布支持20万汉字输入的Kimi智能助手(下简称Kimi),彼时Claude-100k支持约8万字,GPT-4-32k支持约2.5万字。当时的Kimi是全球市场上能够产品化使用的大模型服务中最长的上下文输入长度。2024年3月18日,20万字的“胃口”变成200万。根据机器之心数据显示,尚未上线的GPT-4.5Turbo上下文窗口指定为25.6万个token(指文本中最小的语义单元),能同时能够处理约20万个单词,Kimi此次升级后长文本能力为其10倍。
如果把上下文长度理解成大模型的“精力”,那么现在Kimi能够一口气精读500个甚至更多数量的文件,帮助用户快速分析所有文件的内容,并且支持通过自然语言进行信息查询和筛选。在Kimi还是20万字输入长度的时候,它的能力界限还在50个文件左右。
在月之暗面提供的参考案例中,就展示了一次性向Kimi提供500份简历,并让Kimi找出对应要求的简历,结果Kimi可以精准地从众多简历中找到符合要求的资料。
再或者把 2016-2024 年的英伟达的财报交给 Kimi 并让其分析年报后,他也能 顺利回答,并且在追问 2016 年英伟达每股基本收益时也能正确回答。
对于更新后的Kimi大模型,月之暗面相信长文本技术是大模型“登月计划”的第一步,关于大模型幻觉的问题,实用价值低的问题,本质上都是因为困在文本长度的限制里。甚至模型微调也只是目前文本长度有限情况下的权宜之计。
根据华尔街见闻的报道,杨植麟曾在之前的采访中表示“所有问题都是文本长度的问题。如果你有10亿的contextlength(上下文长度),今天看到的问题都不是问题”。月之暗面CEO杨植麟在之前的采访中表示。如果单单只是为了“变长”,办法很多。长文本最终要建立在lossless(信息不随着文本长度增加而损失)上才有意义。而无损的⻓上下文将会是通往AGI的关键基础技术。 某种程度上,绝对的文本长度是花架子,无损压缩的能力才能分模型的胜负。 “从word2vec到RNN、LSTM,再到Transformer,历史上所有的模型架构演进,本质上都是在提升有效的、无损的上下文⻓度。”
另外,根据华尔街见闻的报道,月之暗面方面透露,这次上下文长度从20万字扩展到200万字由于没有采用常规的渐进式提升路线,研发和技术团队遇到的技术难度也是指数级增加的。为了达到更好的⻓窗口无损压缩性能,团队从模型预训练到对⻬、推理环节均进行了原生的重新设计和开发。由许欣然所领导的AIInfra层目前效率已经提升到了原来的3倍。而无损上下文长度的线性变化最终会决定上层建筑的形态——也就是 人们到底能用大模型做什么。 领域专家、可完成复杂多步任务的Agent、多模态模型。许欣然提到了这三个方向,或许这也会是忠于长文本路线的月之暗面未来的发展方向。
3 . 投资建议
受益标的:
算力基础设施: 鸿博股份、亚康股份、恒为科技、润 泽科技;
AI+办公: 金山办公、万兴科技、福昕软件、汉仪股 份;
AI+保险: 新致软 件;
AI+医疗: 润达医疗、嘉和 美 康;
AI+电商: 光云科技、焦点科技、虹软 科技;
AI+教育: 科大讯飞、鸥玛软件、佳发 教育;
AI+小说: 掌阅科技、中文 在线;
长文本工具链: 海天瑞声、拓尔思、云从科 技。
4 . 风险提示
团队成员
|
法律读库 · 辣评 | 什么是检察男神 8 年前 |
|
知乎日报 · 有没有科学的方法,来检测你会爱我一辈子 8 年前 |
|
班主任家园 · 《人民的名义》经典台词教师版:说说老师憋在心里的话! 7 年前 |
|
有味读书 · 恨我太早认真,从此一往情深 7 年前 |
|
数据宝 · 砥砺奋进丨一稳二严三进,监管新政塑造资本市场新生态 7 年前 |