专栏名称: 水木纪要
最有效、最及时分享公私募、公司、行业等投研纪要和市场热点分析。掌握市场信息差,掌握财富代码。
目录
相关文章推荐
人民网舆情数据中心  ·  广西百色教师被举报性侵学生事件引发的涉教育领 ... ·  8 小时前  
芋道源码  ·  关于DeepSeek的最新认知 ·  10 小时前  
人民网舆情数据中心  ·  “闪送”骑手被索赔一万五 事件背后的舆论关注分析 ·  昨天  
芋道源码  ·  年后面试的兄弟们注意了。。。 ·  昨天  
芋道源码  ·  DeepSeek+Spring有搞头么? ·  2 天前  
51好读  ›  专栏  ›  水木纪要

Kimi专家深交流纪要,深度解读来了!

水木纪要  · 公众号  ·  · 2024-03-21 22:06

正文

更多一手调研纪要和研报数据,点击上面图片小程序

事件:2023年10月,月之暗面发布了Kimi,是彼时国产大模型的代表作之一,2024年3月18日,Kim公布了支持200万文字输入的内测邀请,测试者可使用Kimi获得200万字长度的无损阅读能力。



Kimi专家交流纪要

Q:kimi路径实现的方法?

A:主打长文本,以长文本作为产品差异化去做,从一开始20万,到现在200万,给客户带来冲击力,解决了用户的信息整合问题。

对于信息整理领域,用户希望越长越好,趋势容易受到认可。公司长文本能力是领先于同行。

长文本能力:指令检索能力、复杂数据流处理的优化;技术上成功实现了产品的定义。


Q:技术上怎么实现上下文?

A:上下文核心是梳理、提炼、概括总结。

1)文本越长,对参数要求越高;长文本基于transform-attention,关注长上下文有哪些关键点,分配相应的权重。公司利用内部算法去优化。

2)上下文处理方面,使用类结构化的设计,系统化的外挂,可以让用户循序地匹配文本相关地关键词进来。

Q:参数量是不是很大?

A:目前参数2000亿左右。

Q:模型的上下文比同行领先,从技术角度上如何定义?

A:实现长文本信息能力处理,技术壁垒是有的,但其实并没有很高(从AI角度来看)。我们人脑去阅读200万字小说,2天内读完,如何有清晰的认知?

1)很好的记忆能力,大概能存储下来。

2)阅读了第一、第二、第三章节,可以很好概括章节内容、故事情节;章节之间怎么去链接,对应大模型分配链接权重的问题。

3)一章节一章节去读,如何能关注到1-2句话,找到脉络,其实是大模型注意力分配问题,依赖大量数据训练、标注。

关注核心信息,而不是乱七八糟的东西,才能更高效。

Q:kimi其他领域能力是否领先?

A:在长文本领域领先,长文本是大模型核心之一。行业还是向多模态方向发展,未来公司会发布 多模态大模型

Q:kimi算力侧支持?

A:用的字节火山引擎,目前还是英伟达为主,无论A100、H100、 H800 ,公司很难找英伟达大规模采购。国内云厂商买卡有优势,而且有储备。

公司不太可能私有化一个数据中心,供应链资源很难开拓,而且成本很高。预训练需要1万多张卡,公有云,分配多少显卡不会关注,是以A100作为标准去衡量。

训练的数据量大概4-5T,全是中文。

B端用户不能接入API其实更多是并发处理问题,和算力也有一定关系。云服务运维方面有一些跟不上了。

Q:假设不增加云计算资源,能支撑多少用户在线?

A:400-500万人。

Q:多少用户的时候打算商业化?

A:400-500万人左右。

Q:推理算力也是用字节吗?

A:对的。公有云可以动态扩容。迁移很难,特别是跨数据中心迁移,很头痛。

Q:数据来源?

A:多元性,其他家也可以获得。为什么我们kimi好,原因在于公司模型设计好;同时,数据工程团队找一些用户(创作、自媒体领域)进行一些训练语料的创作,这是公司的独有数据。

Q:模型基础?

A:基于Transformer架构;在Transformer下,我们部分技术框架是自己设计的。

Q:为什么现在模型做了这么久,国内连GPT-3.5都做不到?公司有什么独特的地方吗?

A:借鉴海外开源的方法论是有的。我们团队很强,长文本处理能力,需要一些数学家(设计文本编码),调优过程中配置好权重,怎么神经元链接,针对不同领域文本进行分配。

Q:智谱产品怎么样?

A:他们产品评分大约比我们低10%左右。响应速度、准确率等维度。

Q:国产芯片怎么样?

A:生态做的不好。训练卡,开发各种代码、函数调用、英伟达迭代12个版本,国内很难做出一个生态库去对标英伟达。

华为:性能对标A800,软件不好,完全不兼容CUDA。要找一个工程团队给我们改代码,工程成本太高了。

Q:同海外模型相比优劣势?

A:在中文处理能力上,公司kimi领先,语料采集、标注上的把握,我们有天然的优势。如果把语言扩大到其他语言,可能没有什么优势。

交互的拟人性,kimi整体上会比 openAI 落后10%左右。逻辑推理能力也会落后。

云计算资源如果匹配上的,0.5-1年公司可以追上去。但目前在GPU方面是卡脖子的,差距会越拉越大。

Q:大海捞针单点测试?

A:中文的,不太敢测英文的。

Q:团队情况?

A:目前整体100-200人,技术(算法专家、系统专家、数据工程团队等)人员加起来120人左右。其他的是一些kimi app产品规划(产品开发团队)、To B商业化团队。

Q:120人技术团队核心人员是谁?

A:杨总主要做技术战略相关的东西,文本要开发到多久,什么程度。最核心技术人员20-30人(有一些从海外挖回来,基本都是华人)。团队组建的时候,每一个人都是非常重要的,都是核心的。

Q:技术平台?

A:共用一个技术平台。

kimi业务有3个方向,刚融资完,资源丰富。

1)继续扩大参数规模;参数量越大,文本的处理长度也会随之提升。同时,调用的神经元网络更丰富,幻觉的问题进一步减少。

2)24年推出多模态大模型;之后将其to C产品化应用,在kimi上推出各种插件。(大概24年中能做出来)

3)文本处理能力会继续增长,而且速度会很快。

短期基于长上下文,针对行业推出智能体功能,更好的用户体验,将客户吸引起来,收集数据,进一步完善模型能力。

现在是做体验的阶段,还不是商业化阶段。目前通过扩参数提升用户体验,进而提升用户留存率。

Q:多模态能力预期?

A:对标文心一言、通义千问。现在追赶速度很快,现在很多模型开源了,近期一个类sora的模型在github上开源了。

Q:远期的愿景?

A:希望文本处理超越亿级(1亿个中文词)。


KIMI产业链解读

Q: 国内AI大模型产业目前的发展阶段是怎样的?

A: 国内AI大模型产业已经从初期的百模大战进入到一个更为成熟和竞争激烈的“战国时代”。在这个新阶段,众多企业竞相发展,争夺市场领导地位。目前尚在观察中,以确定行业领导者,但根据目前的产业调研和产品测试,KIMI至少位于前二位。

Q: AI产业链在大模型方面的技术创新有哪些变化?

A: 技术创新正在经历重要转变。去年下半年,多模态模型是技术创新的主流。然而,今年年初开始,技术创新的趋势已经从单一的多模态模型转变为同时重视多模态和长篇模型的发展,这一变革是前所未有的技术迭代变革。

Q:  国内AI大模型技术与海外相比如何?

A: 国内在单点能力上已经超越了海外的大模型,包括即将发布的GPT-4.5。这一判断基于对国内外AI技术的深入分析和比较。

Q:  国产算力的发展对KIMI有何影响?

A: 国产算力的发展对KIMI至关重要。去年7月,市场对国产算力,如华为的 昇腾 ,关注不足。但进入今年春节后,国产算力的认识达到了新高 潮。KIMI作为国内AI大模型的领先者,将直接受益于国产算力的提升。

Q:  KIMI在AI应用方面有哪些成功案例?

A: KIMI的成功应用验证了中国在场景应用和工程化能力方面的优势。KIMI专注于提升长文本能 力,并在几个细分场景中取得突破,逐渐扩展影响力。在过去一个月的路演中,提及KIMI时,让许多投资者感到惊讶。

Q: 海外市场在类似大模型应用方面的表现如何?

A: 海外市场目前缺少类似的大模型应用爆款。中国的场景探索和工程化能力并不缺乏,这在AI大模型应用方面尤为明显。

Q:  近期GPU卡的供需状况如何?

A: 过去半年,无论是NVIDIA的GPU卡还是国产 GPU卡,都不像过去那般紧缺。这一变化反映了市场供需关系的调整和产业发展的新阶段。

Q:  如何看待国内AI大模型产业的未来发展?

A: 我们深信,实践中的AI应用不仅仅是算力的拓展或者概念的炒作,背后是深刻的产业逻辑。中国大模型和应用创新在全球范围内可能已处于领先位置,而这次创新不仅限于娱乐场景的多模 态,更关注于生产力提升和长文本方面。

Q: 当前国内AI大模型产业的发展阶段和趋势是什么?

A: 国内AI大模型产业正处于一个产业主升浪的起点。KIMI作为代表性的大模型,已经展现出其在产业中的领先地位,包括Top Two和Top Three的位置已经明确。这标志着我们正处于一个长期产业增长的初期阶段。

Q:你认为KIMI代表的AI应用行情能走多远?有哪些产业催化剂值得关注?

A2:KIMI代表的AI应用行情还有待观察,但其前景非常乐观。产业催化剂包括KIMI的持续迭代和创新、GPT4.5和GPT5的发布以及算力的不断丰富,我们相信随着KIMI的不断迭代和创新,以及上层应用的迭代和出现,KIMI将在AI领域取得更多的突破。因此,我们期待看到更多的产业催化剂出现。此外,成本也是一个重要的考量因素,尤其是对于多模态和通用人工智能 AII 的发展。例如,个人工作生活助理的成本支持是其能否持续服务的关键。

Q:  KIMI的盈利模式和未来应用展望如何?

A: KIMI预计将采取收费模式,这对KIMI本身、上市公司和软件公司都有好处。预计在二季度,各家公司将陆续推出基于KIMI的爆款应用,特别是提高生产力的文本类应用。

Q: 算力在AI大模型产业发展中扮演什么角色?

A: 算力是AI大模型产业发展的一个瓶颈,但随着其持续迭代和缓解,上层应用将逐步显现。算力的提升将支持更多的公司接入并构建自身的应用,推动场景的突破。

Q: 金山等软件公司在AI大模型产业中的优势是什么?

A: 金山等软件公司占据了天然的场景,具备便利性,因此他们的位置非常有优势。随着国内大模型的Top Two和Top Three的显现,这些公司的接入只是时间问题。

Q:  KIMI的市场接受度和留存率表现如何?

A: KIMI的市场接受度非常高,目前留存率大约在 20%到30%之间。这种病毒性的传播对于KIMI的市场推广非常重要。

Q:投资者应如何看待KIMI产业链的投资机会?

A:投资者应看好KIMI产业链的三点投资逻辑:一是产业正处于主升浪的起点,二是即将到来的产业催化剂,三是未来可能出现的爆款应用。这些因素将增强投资者对整个AI应用的信心,并提供布局的机会。

Q: 为什么应该重视白马股在AI应用领域的投资?

A: 白马股通常指的是具有稳定业绩和良好市场声誉的公司。在AI应用领域,白马股如金山和福昕等通用办公软件公司,以及金融和法律等垂直领域应用的公司,被认为是真正有价值的投资标的。这些公司在生产力场景中的应用尤为突出,值得投资者关注。

Q: 金融和法律领域在KIMI产业链中的重要性体现在哪里?

A: 金融和法律领域的专业人士时间成本极高,因此AI应用在这些领域的效率提升尤为显著。KIMI的结合在金融领域尚未被市场充分认识,而海外市场在AI应用上的快速发展已经证明了金融是一个重要的应用场景。同花顺、恒生、金证等公司都是值得深入挖掘的标的。

Q:  市场对ToB端AI应用的认识如何?

A: 目前市场对ToB端(企业端)AI应用的认识还不够充分。根据产业调研,AI应用在海外的B端已经展开,而KIMI不仅推动C端(消费者端)应用,也在向企业端推广,这对提升生产力非常有帮助。

Q:  特定场景掌握公司的价值如何?

A: 对于掌握特定场景的公司,尤其是那些处于行业底部的公司,如OA产业链的范围、致远、金蝶等,这些公司都值得关注。金蝶等少数公司已经宣布与KIMI的合作,这是一个积极的信号。

Q:  算力在AI应用发展中的作用是什么?

A: 算力是AI应用发展的关键因素。随着输入 token的数量从20K增加到200K,对算力的需求显著增加。虽然通过算法优化,算力需求的增加不完全是线性的,但这将大幅推动算力需求,对行业发展产生重要影响。

Q:  上半年KIMI产业链的投资机会如何?

A: 我们认为上半年,包括第二季度,KIMI产业链将带动整个AI应用的投资机会。国内在不同场景的探索、大模型的竞争,以及多模态与文本探索的迭代,都是今年的重要趋势。







请到「今天看啥」查看全文