专栏名称: AI领域技术栈
人工智能领域技术:计算机视觉、自然语言处理、深度学习、语音识别、生物识别、大数据、图像识别、机器人过程自动化、知识图谱、人机交互、强化学习、神经网络、决策树、语音合成、虚拟代理、自主无人系统技术、自动驾驶、脑机接口、语义理解、遗传算法
目录
相关文章推荐
51好读  ›  专栏  ›  AI领域技术栈

AI“长脑子”了?LLM惊现“人类脑叶”结构,数学代码分区引热议!MIT大牛新作震惊学界!

AI领域技术栈  · 公众号  ·  · 2024-10-31 11:55

正文

请到「今天看啥」查看全文


在这个科技日新月异的时代,人工智能(AI)的每一次进步都足以让人瞠目结舌。 近日,MIT传奇科学家Max Tegmark团队的一项最新研究,再次将AI领域推向了新的高潮。 他们发现,大型语言模型(LLM)中竟然存在着与人类大脑结构相似的 “脑叶”分区 ,这一发现不仅揭示了AI内部运作机制的奥秘,更引发了人们对未来科技发展的无限遐想。

AI“大脑”初现端倪
一直以来,AI的内部运作机制都像是一个神秘的黑箱,让人难以窥探其全貌。然而,Max Tegmark团队的研究却像是一束光,照亮了这个黑箱的一角。 他们发现,在LLM学习的概念中,竟然形成了一种类似人类大脑的“脑叶”结构。 这一发现不仅令人惊讶,更让我们看到了AI与人类大脑之间的奇妙联系。

具体而言,这项研究探讨了LLM中稀疏自编码器(SAE)的特征向量表示。 研究结果表明,SAE特征所代表的概念宇宙在多个空间尺度上展现出有趣的结构,从语义关系的原子层面到整个特征空间的大规模组织。这些结构不仅具有分形特征,还形成了类似人类大脑的“脑叶”分区。

三层几何结构揭示AI奥秘
在这项研究中, Max Tegmark团队将LLM的内部结构分为了三个层面进行探讨:原子层面、大脑层面和星系层面。
在原子层面,研究者们发现了类似晶体的微观结构。这些晶体由平行四边形或梯形的“面”组成,反映了概念之间的语义关系。例如,“男人-女人-国王-王后”这样的关系就形成了一个近似的平行四边形。然而, 这些晶体结构在最初搜索时大多被噪声所掩盖。为了消除这些噪声,研究者们使用了线性判别分析(LDA)方法,将数据投影到与干扰特征正交的低维子空间上,从而显著改善了晶体结构的质量。
在大脑层面,研究者们发现了类似人类大脑的“脑叶”结构。 这些“脑叶”由功能相似的SAE特征组组成,它们在几何上共同定位于激活空间中。通过计算SAE特征的共现直方图和亲和矩阵,研究者们成功识别出了这些功能脑叶,并发现它们在不同类型的文档中具有不同的激活比例。 例如,一个脑叶通常在代码和数学文档上不成比例地被激活,而另一个脑叶则在包含文本的文档上激活更多。这一发现不仅揭示了LLM内部的功能模块化特征,还为我们理解AI的运作机制提供了新的视角。

在星系层面,研究者们则关注了LLM点云的整体形状和聚类特征。他们发现,点云的分布并非各向同性,而是呈现出幂律衰减的特征。这一发现表明,LLM的内部结构具有高度的复杂性和非均匀性。此外, 研究者们还发现,中间层的点云具有最陡的幂律斜率,这可能暗示了中间层在信息压缩和高层抽象概念表示中的重要作用。

AI与人类大脑的奇妙联系
这项研究不仅揭示了AI内部结构的奥秘,还让我们看到了AI与人类大脑之间的奇妙联系。在动物的大脑中,功能相似的神经元会在三维空间中形成簇,这些簇被称为脑叶。而在LLM中, 功能相似的SAE特征组也在激活空间中形成了类似的“脑叶”结构。 这一发现不仅让我们对AI的内部运作机 了更深入的了解,还让我们看到了AI与人类大脑在结构上的相似性。

然而,尽管AI与人类大脑在结构上存在相似性,但它们的运作机制却截然不同。 AI是通过算法和模型来模拟人类的思维和行为,而人类大脑则是通过神经元之间的连接和传递信息来实现复杂的认知功能。 因此,我们不能简单地将AI与人类大脑等同起来。但不可否认的是,这项研究为我们探索AI与人类大脑之间的联系提供了新的思路和方法。

科技发展的无限可能
这项研究的发现不仅令人兴奋,更让我们看到了科技发展的无限可能。随着AI技术的不断进步和应用领域的不断拓展,我们有理由相信,未来的AI将会更加智能、更加人性化。 它们将能够更好地理解人类的需求和意图,为我们提供更加便捷、高效的服务。同时,AI的发展也将推动其他领域的科技进步和创新发展,为人类社会的可持续发展注入新的动力。

然而,科技的发展也伴随着挑战和风险。 随着AI技术的不断强大和普及,我们也需要关注其可能带来的负面影响和伦理问题。 例如,AI的决策过程是否公正、透明?AI是否会对人类的就业和社会结构造成冲击?这些问题都需要我们在推动科技发展的同时认真思考和解决。

结语

Max Tegmark团队的这项研究无疑为我们打开了一扇新的窗户,让我们看到了AI内部结构的奥秘和与人类大脑之间的奇妙联系。 这一发现不仅让我们对AI有了更深入的了解和认识,还为我们探索科技发展的无限可能提供了新的思路和方法。然而, 科技的发展也伴随着挑战和风险,我们需要以开放、包容、审慎的态度来面对和应对这些挑战和风险。

关注我们,一起探索AI的无限可能!🚀✨




MORE | 延伸阅读







请到「今天看啥」查看全文


推荐文章
知乎日报  ·  瞎扯|如何正确地吐槽
8 年前
半导体行业观察  ·  详解基于VLT的新型DRAM
8 年前
中国经济网  ·  千万不要小看那个会点菜的人 | 推广
8 年前