专栏名称: 六合商业研选
六合咨询立足新经济,挖掘明日之星,发现价值,传播价值;国际化视野、多角度观察、深度思考、体系化研究,持续提升研究广度与深度,全面覆盖一级、新三板、二级(A股+美股+港股);深度剖析优质企业商业模式与投资价值,前瞻性洞察行业本质与发展趋势。
目录
相关文章推荐
每日人物  ·  北京国贸打工人,涌向“穷鬼购物天堂” ·  2 天前  
人物  ·  中年后,我还有哭的自由吗? ·  2 天前  
南方人物周刊  ·  林小英 关注“中下部分的学生” | ... ·  3 天前  
每日人物  ·  高铁上野餐的年轻人,撑起一门隐秘生意 ·  3 天前  
每日人物  ·  北上消费的香港人,扎堆中山买房养老 ·  3 天前  
51好读  ›  专栏  ›  六合商业研选

【长期主义】第288期智能说:黄仁勋最新对话,库克谈苹果智能,李飞飞对话马克·安德森,李飞飞关于空间智能演讲

六合商业研选  · 公众号  ·  · 2024-06-28 18:00

正文

2024 Databricks Data+AI 峰会上,英伟达创始人、 CEO 黄仁勋,与 Databricks 联合创始人、 CEO Ali Ghodsi 进行精彩对话,探讨 AI 与数据处理技术,在现代企业中重要性与发展趋势,强调技术创新、数据处理能力与能源效率,在推动企业转型与行业发展中关键作用。

苹果 WWDC 2024 大会上, CEO 库克发表主题演讲后,接受多家媒体访谈,详细介绍苹果智能 APPLE Intelligence ,带来更多发布会上没有提及细节,包括苹果智能的与众不同、与 OpenAI 合作考量、首次回应退休传言、下一任苹果掌门候选人等。

美国斯坦福大学 HAI 研究院, 近日举办 5 周年庆典上, HAI 研究院院长李飞飞,与 a16z 创始人马克 · 安德森进行对话,探讨 AI 未来发展趋势、构建创新生态系统、开源在技术进步中重要性等。

2024 Databricks Data+AI 峰会上,美国斯坦福大学 HAI 研究院院长李飞飞,发表关于空间智能最新演讲,介绍空间智能重要性,讨论空间智能发展与应用,如何结合视觉、语言、空间智能等技术,使机器能够理解与执行复杂任务。

本期长期主义,选择黄仁勋最新对话、库克谈苹果智能、李飞飞对话马克·安德森、李飞飞关于空间智能演讲,腾讯科技、 APPSO Web3 天空之城、有新 Newin 发布,六合商业研选精校,分享给大家, Enjoy

正文:
全文 20,993
预计阅读 42 分钟

黄仁勋最新对话:未来互联网流量将大幅减少,计算将更多即时生成
时间: 2024 6 17
来源:腾讯科技
字数: 5,679

2024 Databricks Data + AI 峰会上,英伟达创始人、 CEO 黄仁勋,与 Databricks 联合创始人、 CEO Ali Ghodsi 进行精彩对话,探讨 AI 与数据处理技术,在现代企业中重要性与发展趋势,强调技术创新、数据处理能力与能源效率,在推动企业转型与行业发展中关键作用。

黄仁勋在对话中,展望数据处理与生成式 AI 未来,指出每家公司业务数据,都如同一座未被充分挖掘的金矿,蕴藏巨大价值,要从中提取深刻洞察力与智能,一直是一项艰巨任务。

黄仁勋谈到开源模型,如 Llama DBRX ,正推动企业转型为 AI 公司,激活全球 AI 运动,促进技术发展与企业创新。通过英伟达与 Databricks 合作,两家公司将携手发挥各自在加速计算与生成式 AI 领域专长,共同为用户带来前所未有好处。

对话实录:

Ali Ghodsi 我非常激动向大家介绍下一位嘉宾,一位无需任何介绍的杰出人物,全球独一无二的摇滚巨星,英伟达 CEO 黄仁勋。

我想先从英伟达令人瞩目的业绩谈起,公司市值高达 3 万亿美元。 5 年前你是否曾想过世界会如此迅速演变,展现出今天这样一幅令人瞩目的景象?

黄仁勋: 我从最初就预料到会这样。

Ali Ghodsi 真是令人赞叹,能否为台下 CEO 们提供一些建议,我们应该如何实现目标?

黄仁勋: 无论你决定做什么,我的建议是不要涉足图形处理器 GPU 研发。

Ali Ghodsi 我会告诉团队,我们不打算涉足这个领域。我们今天花费许多时间深入讨论数据智能深远意义。企业手中握有海量专有数据,这些数据是构建定制化 AI 模型的关键。这些数据的深度挖掘与应用,对我们至关重要。

你是否也注意到这一行业趋势?是否认为我们应当在这一领域加大投入?你是否收集到业界对此问题声音与洞见?

黄仁勋: 每家企业都像拥有一座金矿,掌握着丰富的业务数据。如果你的公司提供了一系列服务或产品,客户对这些服务与产品感到满意,同时提供宝贵的反馈,你已经积累了大量有价值的数据。

这些数据,可能涉及客户信息、市场动态或供应链管理。长期以来,我们都在收集这些数据,拥有庞大数据量,直到现在,我们才真正开始从中提炼出有价值的洞见,甚至是更高层次的智能。

目前,我们对此充满激情。我们在芯片设计、缺陷数据库、新产品、新服务的创造,供应链管理中,都运用了这些数据。

这是我们首次采用以数据处理与精细化分析为起点的工程流程,通过构建学习模型,部署这些模型,并与数据收集的 Flywheel 平台相连,以获取更多数据。

我们公司正通过这种方式,使我们能够跻身世界上最大的公司之列。这得益于我们大量采用 AI 技术,这些技术帮助我们完成众多令人瞩目的成就。

我相信,每家公司都在经历这样变革,我认为我们正处在非凡的时代。这个时代的起点是数据,以及对数据的积累与有效利用。

开源与闭源的和谐共存

Ali Ghodsi 这真是太令人赞叹了,非常感谢。目前,关于闭源与开源模型之间的辩论正逐渐升温。

开源模型是否能迎头赶上?两者是否能够共存?或者最终是否会被单一的闭源巨头所主导?你对整个开源生态系统有何看法?它在大语言模型发展中,扮演怎样的角色?未来又将如何发展?

黄仁勋: 我们需要前沿模型,尤其是能够开拓视野的先进模型。 OpenAI 与谷歌在这方面工作至关重要,它们不仅拓展技术边界,还帮助我们探索新的可能性。

如果审视 2024 年情况,可能最重要的事件都与开源紧密相关,比如 Llama 2 Llama 3 Mistral Databricks 团队所开展的 DBRX 项目。

DBRX 是非常酷的成果,它的酷之处在于,激发了每一家企业活力,使得任何一家公司都有可能转型为 AI 公司。你一定也注意到这一点,我们在全球范围内都看到这样的趋势。

我们最近将 Llama 3 转化为推理微服务,现在可以下载使用。你可以访问 Hugging Face ,还有 Databricks ,现在它已经被全球数百家公司所采纳。

这充分说明开源激发了每一家公司潜力,让它们有机会成为 AI 领域一份子。在英伟达,我们广泛使用开源模型,结合我们自己数据与技能,对它们进行微调与训练。

如果没有开源,就不会有这场激励全球每一家公司向 AI 转型的运动。我认为,这是一件具有重大意义的事情。

Ali Ghodsi 这是一个令人赞叹的发展。开源与闭源模型将共存,我们需要这两种模式。你提到 Nim 框架,正是我们所关注的。我非常兴奋在这里宣布,我们将把 DBRX 集成到 Nims 中,并在 Databricks 平台上提供服务。我们未来开发的所有新模型,也将采用这种方式,我们对 Nims 前景充满期待。

黄仁勋: 创建大型语言模型 API 的过程,是一项技术挑战。这些模型在当前看来可能不算庞大,它们在计算上依然非常复杂,技术栈涉及众多依赖项。

为此,我们开发英伟达推理微服务 Nim ,它整合、优化所有必要的依赖项。英伟达拥有专业的工程师团队,他们专注这一领域,将复杂的技术封装成易于使用的微服务。

用户可以在 Databricks 平台上轻松使用这一服务,也可以下载,并根据需要进行个性化微调。

英伟达 NeMo 更新版本的神经模块微服务提供了这种灵活性,确保它能够在任何云环境或本地环境中运行,真正实现无处不在的 AI 能力。

Ali Ghodsi 这是一项令人赞叹的技术。能够在本地部署运行的能力尤为突出,它意味着我们不再完全依赖云服务,这是一项巨大的进步。在与客户交流中,我们发现他们正致力于培养内部专业技能,以定制模型并获得竞争优势。对于这一现象,你有何看法?

黄仁勋: 我认为,未来趋势是,我们已经能够将几乎所有类型的信息与数据进行 Token 化处理。我们能够提取其结构、理解其内涵,学习其表示,无论是声音、语言、图像、视频,还是化学物质、蛋白质,甚至是机器人动作控制或驾驶操作,我们都能够进行 Token 化。

云数据中心正在生产这些 Token ,我们是在制造一些前所未有的独特产品。这是首次,我们拥有被称为 AI 超级计算机的工具,它们在专门为此目的设计的工厂中生产 Token ,我们大规模生产智能的能力是一项全新的技术。这也是我坚信我们正处于一场新工业革命开端的原因之一,这场革命不是生产电力,而是生产智能。

每家公司在其核心,都是关于特定领域的智能。在数据、数据处理、 AI 及其基础设施方面,很少有公司能比 Databricks 拥有更深入了解。

我们专注我们专业领域,我们基础是这种特定领域的智能,无论是金融服务还、是医疗保健等各个领域。最终,我们所有人都将成为智能制造商。

如果你今天要成为智能制造商,你将来会有 AI 领域的人力资源,我们称之为 AI 工厂,每个公司都必须开始这一进程。

我们正在这样做,你也将这样做。我们观察到,无论公司规模大小,它们都在朝这个方向努力。

未来,我们所有人都将参与到这一进程中。你将从你的特定领域数据开始,这些数据存储在 Databricks 某个地方,你将处理这些数据,提炼并从中提取智能,将其放入 Flywheel 平台中,你将拥有一个 AI 工厂。

加速计算与生成式 A I 融合

Ali Ghodsi 这是一项令人赞叹的成就,我对此深信不疑。我们对此充满热情,尤其是在数据处理方面。我们 Databricks 每天处理的数据量极为庞大,大约每天 4,000 万亿字节。

黄仁勋: 这是目前地球上最大的计算需求之一,也就是所谓的数据处理,几乎每一家企业都在进行这项工作。

Ali Ghodsi 数据处理的高并行性,使其成为我们重复执行相同操作的理想领域。我对于我们能够携手合作,将 GPU 加速技术引入数据处理充满期待。我们致力在核心数据处理领域,实现与 AI 模型相媲美的革命性进步。

我们对与你携手,利用 GPU 加速技术,优化我们 Photon 引擎,以迈入将 GPU 应用于核心数据处理的新时代感到无比激动。

目前,这些庞大的工作流程,不得不依赖 CPU 来执行,我们期望它们也能在 Nvidia GPU 上高效运行。

黄仁勋: 这是一个重大消息:当今计算领域两大关键趋势,加速计算与生成式 AI Nvidia Databricks 将强强联合,汇聚我们在这些领域专业技能,将这些前沿技术带给每一位用户。

数据处理的加速,技术上极具挑战,我们已经投入 5 年时间,不懈努力,终于开发出能够显著提升 Photon 性能的库。

这是我们长期努力的成果,现在我们将使 Photon 加速,让数据处理变得更加迅速、成本效益更高,非常重要的是,显著降低能源消耗。

Ali Ghodsi 这是一个意义深远的进展,它在逻辑上非常合理。数据处理过程复杂、充满特殊情况,由于高度的可并行性,我们不需要通用算力。

我们面对的是重复性极高的操作,处理的是庞大数据集,不是独一无二的数据。我对这项技术充满期待,它不仅具有颠覆现状能力,还将大幅提升性能,降低成本,这将带来令人惊叹的变革。

黄仁勋: 当我们能够迅速处理海量数据时,研究人员便有可能在某个清晨醒来,突发奇想说:让我们收集互联网上所有数据来训练一个庞大的模型,现在这已不再是耗时、费力的工作。

若非加速计算技术的发展,人们不会考虑这样的想法,那将成本高昂、耗时漫长。现在,这已成为可能,我们能够以更低成本与更高效率处理前所未有数据量。

这将激发出无限的创新思维,比如:让我们利用公司全部数据来训练我们超级 AI ,这样的日子即将到来。

开启智能服务新篇章

Ali Ghodsi 将整个互联网数据进行处理,这曾是只存在于科幻小说中的概念。我们曾认为这不可能实现,直到硬件与基础设施发展到足够先进水平,使得我们能够对技术进行专门化处理。如今,这已成为现实,每个人都在参与其中。

生成式 AI 的蓬勃发展令人瞩目,起初众多企业以聊天机器人为起点,致力开发与定制基于自身数据的聊天机器人。

目前我们观察到人们正逐步拓展至更多尖端应用场景,展望未来, AI 的哪些新应用最令你感到兴奋?

黄仁勋: 所有潜在影响中,客户服务可能是最为深远的领域。对在座每家企业,客户服务涉及开支高达数万亿美元,横跨每一个行业,每一家企业。

聊天机器人在客户服务中应用,重要性不仅在自动化能力,更在对数据飞轮的贡献。企业需要捕捉对话,将客户互动纳入数据体系,这将产生大量数据。

目前,数据量增长速度大约是每 5 年增加 10 倍。鉴于客户服务推动,我预计未来数据量增长速度可能达到每 5 100 倍。

我们将把所有元素整合入数据飞轮,它将收集更多数据,提炼更深层次洞察,从而提取更精准智能信息,提供更优质服务,甚至实现在问题出现前主动预防与解决,类似预防性维护,我们将实现主动式客户支持,这将进一步推动数据的生成与飞轮的旋转。

我认为客户服务将是大多数公司实现超级加速的关键,尤其是考虑到它将收集的数据量。

我们已经实现对一切事物的数字化 Token ,我对我们在化学、蛋白质、碳捕获材料、酶、创新电池等领域进展感到兴奋。我们利用生成式 AI 实现区域天气预报精确度,以往这需要超级计算机的算力才能达到。物流、保险、保护人们免受伤害的能力,都将得到提升。

生成式 AI 在物理、生物领域、 3D 图形、数字孪生、视频游戏虚拟世界构建等方面,展现出巨大潜力。如果公司尚未涉足生成式 AI ,可能是尚未充分关注,它已经渗透到每一个行业。

Ali Ghodsi 我完全赞同你的观点, AI 应用将遍布各个领域,这不仅合理,更充满无限可能,令人充满期待。面对这些新兴前沿领域,我们对数据需求正日益增长。关于如何帮助企业实现更可持续 AI 发展,你有何看法?

黄仁勋: 可持续性可以从多个角度考量,尤其是与能源相关方面。值得注意的是, AI 本身不挑剔学习的地点。我们没有必要将 AI 训练数据中心,设立在电网已经承受压力的人口密集区域。恰恰相反,我们可以将它们安置在能源充足、分布均匀的地区。

全球能源资源十分丰富,关键在于如何合理分配与利用。我认为这是我们首次有机会捕获、利用那些过剩能源,将其转化为 AI 模型动力,最终将这些智能成果回馈给社会,服务于我们实际需求。

另一个重要视角是, AI 核心不仅在于模型训练,更在于推理与生成能力。我们训练模型最终目的,是为了应用它们。当我们着眼 AI 长期效益时,以我先前提及利用 AI 进行天气预报为例,我们不再需要每次都从头开始模拟物理定律,而是可以通过 AI 来生成预测结果。这种方法不仅缩短预测时间,提高预测精度,更在能源消耗上实现数千倍降低。

AI 纵向效益,体现在其他方面,例如通过一次性训练模型来设计手机芯片,从而为所有用户节省能源。我相信,随时间推移, AI 将展现出在节能方面潜力。

关于生成式 AI ,今天的计算体验大多基于检索。每次我们点击手机,看似消耗的能量不多,但它激活全球 API ,检索信息,点亮互联网,从不同数据中心收集少量信息,通过推荐系统呈现给我们。

未来,随着设备上运行的小语言模型变得更加上下文化与生成化,互联网流量将大幅减少,计算将更多即时生成,这将极大节省能源,使计算模型发生根本性转变。

通过这种方式,我们不仅能够节省大量能源,还能更高效获取答案。这将彻底改变我们计算方式,使我们能够更快提出问题,得到答案,激发出更多有趣问题。这种与 AI 合作的未来,将是充满提示与启发的新时代。

Ali Ghodsi 是的,未来非常激动人心。我们如何帮助客户,也就是在座的各位,今天就开始行动?最好的方法是什么?

黄仁勋: 我认为 Databricks 从数据处理扩展到数据治理,再到数据存储,将其纵向扩展到从数据中提取智能,这一转变非常有远见。

我未能记起她的名字,毫无疑问,那位 Cookie 女士的工作表现极为出色。是 Casey 吧?请别让她被其他公司挖走,她刚才在后台演示令人印象深刻。我被她演示深深吸引,在后台有许多交流机会,我个人更倾向于全神贯注观看她的演示。她对数据智能平台的掌握与展示技巧,值得我们高度赞扬与尊重。

我认为这个平台非常了不起,你们让人们更容易管理数据、提取信息、处理数据,数据整理在模型训练中是非常重要的部分。

人们谈论模型训练,但在训练模型之前,你必须弄清楚哪些数据是正确的。这关乎数据质量、数据格式、数据准备。我认为开始的方式是来到 Databricks ,使用 Databricks 的数据智能平台。我说的对吗?

Ali Ghodsi 完全正确。

黄仁勋: 没有人会反对将他们平台命名为数据智能平台 DIP Data Intelligence Platform ,这个名称既响亮又富有内涵,我对此十分赞赏。它与 Nims 一样,都是令人印象深刻的命名。你完全可以同时使用这两者,无需做出选择。获取一个 Nims 加上 DIP ,我完全赞同这种结合使用的方式,这是明智的策略。

无论你计划做什么,关键在于立即开始行动。你必须积极参与进来,投身这趟迅猛发展的列车之中。

生成式 AI 正以指数速度增长,你不应仅观望或等待。指数趋势的发展速度惊人,几年之内,落后者将被远远抛在后面。立即加入这场技术革命,随着技术不断进步,你也将随之学习与成长,这正是我们所采取的行动方式。

这是一个不应通过旁观来学习的过程,你不能仅通过阅读来掌握它,真正学习来自亲身实践。正如我们所做的,全身心投入其中。

Ali Ghodsi 非常感谢,这是一条宝贵的建议。过去 10 年合作令人难忘,感谢你所做的一切。我们一直是出色的合作伙伴,期待与 Databricks 共同迎接下一个 10 年的辉煌。

苹果 CEO 库克专访 :相比技术,更关注为用户带来好处
时间: 2024 6 15
来源: APPSO
字数: 3,249

苹果 WWDC 2024 大会上, CEO 库克发表主题演讲后,接受多家媒体访谈,详细介绍苹果智能 Apple Intelligence ,带来更多发布会上没有提及细节,包括苹果智能的与众不同、与 OpenAI 合作考量、首次回应退休传言、下一任苹果掌门候选人等。

APPSO 汇总包括《华盛顿邮报》、知名科技博主 Marques Brownlee 在内多方深度对话,看看库克眼中苹果蓝图,与他对 AI 、用户隐私权衡的思考。

苹果 AI ,有些与众不同

Josh Tyrangiel 相较 Artificial Intelligence ,你们选择命名为 Apple Intelligence ,你会不会特别喜欢这个缩写同样是 AI 的名字?

库克: 在筛选许多备选名之后,这个名字似乎最符合逻辑。至少对我而言,这并不是在模仿 Artificial Intelligence ,我们只是简单根据它的实际功能来命名。这样称呼它是它本就是这样,是苹果版 AI

iJustine 技术上讲,机器学习已经在设备上存在很长时间,我认为你并没有把它视为 AI ,现在我觉得通过苹果智能,你正在使它变成一种司空见惯的事。

库克: 我们之前真的没有把它新技术当做 AI 来讨论。我们更专注为用户带来的好处,在产品中做到这一点,而不是谈论技术。很明显,人们想要希望他们设备更智能,我们对这次所做出的成果感到兴奋。

Brownlee 我想知道苹果如何定义 AI ,我知道如果你问一个普通人这个问题,听到的回答大概率是生成式 AI 、聊天机器人之类东西,你如何看待 AI

库克: 我们已经使用 AI 很长时间,它在你戴着手表的地方,它在你手表根部。像是碰撞检测、故障检测、 Afib 心房颤动这样的东西,所有这些东西归根结底都是机器学习。

激发人们想象力的是生成式 AI ,我们认为这是全新的机会,可以为人们做更多事情,充当我们助手,真正改善人们生活,这就是我们看法。

这并非没有缺点,我们非常深思熟虑处理它。我们一直专注于隐私,隐私是我们进军 AI 的非常关键的原则。

效率与隐私,苹果智能的护城河

Tyrangiel 苹果用户将从增强的 AI 技术中,首先获得哪些好处?

库克: 我认为主要是节省时间,事物将变得更加高效。

Siri 为例,你现在可以与 Siri 进行对话,它能够一次性完成多个步骤,以前这可能需要多次请求。

关于写作工具:不是每个人都用电子邮件,每个人都需要写作。

有一个助理帮你校对,无论是让内容更专业,还是更有趣,这都非常重要。目前,保障隐私也是一大优势。

人们想要确保 AI 技术,既是私人的,也是保密的,两者通常很难兼得,我们找到折中的方法。

Brownlee 你曾经说过,如果 AI 可以用于邪恶的事情,我们不会走那条路。这观念现在改变了吗?你现在已经有了正确的工具或限制,来确保 AI 功能顺利进行吗?

库克: 生成式 AI 从未被排除在我们计划外,只是我们一直以深思熟虑方式追求它。我们已经以不太可能用产生问题的方式实现它,比如个人背景与隐私。

我们不会等待全面的隐私立法法规生效,才开始实施,我们已经将隐私视为一项基本人权,这就是我们看待它的方式。我们希望在深层次上整合个人背景与隐私,比如它们已经在你使用的应用程序中深入集成。

Brownlee 这样你就可以,你可以保证没有你的情况下,永远不会有任何数据被发送到 OpenAI

库克: 这一切由你来决定。

SuperSaf 是什么让苹果智能与众不同?

库克: 它的不同之处,在于我们有用户的个人背景,苹果智能理解你,并与你相关,它不仅拥有世界知识,还是私密的。在个人背景与隐私之间的平衡,使得它变得非常独特,它也集成到你已经使用的应用程序中。

不需要你的思考,苹果智能就已经无处不在:它嵌入在笔记中,嵌入在邮件中,嵌入在消息中,嵌入在 Pages Keynote 中。

有挑战,也有信心

Tyrangiel 你有多大信心 Apple Intelligence ,不会出现误判?

库克: 不能保证 100% ,我们已经尽力做到最好,包括深入考察我们应用这项技术领域的成熟度,我相信它的表现会非常出色。诚实说,并不能达到 100% 保证,我绝不会声称它完全没有风险。

Brownlee 你认为未来我们会因为智能系统的良好运作,减少使用手机吗?

库克: 我认为这有可能,极有可能。我们从来没打算让人们在设备上度过一生,我们模式是:希望赋予用户权力,让用户能够做原本无法做到的事情。我们想给用户一个工具,让你可以通过它,做到原本无法做到的事儿,这就是我们的动力。

我们推出了像屏幕时间之类的功能,来计算你的通知数量等。在焦虑的时候,你可以让电话静音等。我相信,随着苹果智能使用变得越来越聪明,甚至可以节省很多时间,花在真正需要时间的事上,我对此非常乐观。

SuperSaf 你会与对 AI 感到紧张与担忧的人,说什么?

库克: 首先,我们部署它的方式非常周到,我们用了很多时间做我们认为正确的事情,我认为 AI 真的对你有帮助。它真的是你的助手,让你文笔变好,让你沟通顺畅,也通过 Genmoji 让你聊天变得更有趣,我很看好 AI

我知道目前有很多事情需要考虑,我不会把头埋进沙子里,对于 AI 落地方案,我们考虑得非常周到。

OpenAI 强强联手,也饱受争议

Tyrangiel 你为什么认为 OpenAI ,特别是 Sam Altman 是可信的合作伙伴,符合苹果的价值观?

库克: 他们在隐私保护方面做出一些我认可的举措,比如他们不追踪 IP 地址等一些我们也极其重视的隐私事项。我认为他们是这个领域领头羊,目前他们拥有最优秀的模型,我相信我们客户偶尔也需要接触具备全球视角的技术。

我们对合作对象进行全面考虑,我们合作不会永远局限于某个固定对象,我们也在与其他团队合作。目前来看,他们是最合适的选择,他们最符合我们用户利益。

Brownlee 一切数据都在设备上,对于用户是最安全的方式。现在有些不同,有很多更大的模型需要更复杂请求,你必须离开设备。网上一般讨论是,他们必须向 OpenAI 发送数据,才能从 ChatGPT 那里获取请求。

私有云计算与 OpenAI 的安排,是两件不同的事情。我们在私有云设备上,使用与 iPhone 15 相似的硬件与相同软件,我相信我们已经以一种安全、可靠与私密的私有云计算设备实现了这一点。

我们确实在这件事上投入了很多努力,全力以赴确保隐私与安全成功。

关于 Cook ,关于未来

Tyrangiel 科幻作家 Douglas Adams 说过,你小时候就有的技术,是世界运作的一部分; 15~35 岁之间出现的任何技术,都会让人感到兴奋,具有革命性; 35 岁以后出现的技术,违背自然秩序,你与我都属于这最后一类。

库克: 我这种感受,可能比你更深。

Tyrangiel 作为全球最成功的科技公司 CEO ,你是否觉得 AI 有些奇怪,甚至有些不自然?

库克: 我不这样认为,我把它看作是创新的必然结果。机器学习早已存在,这不是什么新鲜事物。它之所以被视为新,是现在到处都在讨论它,本质上它并不新。你希望相关从业者都是深思熟虑的人,并在其中设置一些轨道。我认为 AI 的出现,本身是不可避免的事情。

Tyrangiel AI 领域工作,有没有什么让你感到快乐?

库克: 我热衷帮助人们更快、更好、更高效完成工作,任何能够改善人类生存的技术我都会感到兴奋。我认为 AI 能够实现这些目标,这需要在保持适当界限的前提下,我非常支持 AI 。我不会对可能出现的问题视而不见,我知道有可能发生可怕的事情,这恰恰是我们在行业内保持审慎的原因。

Tyrangiel 你担任 CEO 以来,你经常谈及苹果核心价值观。在你负责的所有产品与软件中, AI 是否对这些价值观构成最大考验?

库克: 并没有对它们构成考验,我们从一开始明确表示,这些是我们价值观,我们不能背离。

我们投入大量时间与深思熟虑,最终推出一款让我们感到骄傲的产品。我们意识到由于处理的语言模型规模较大,需要在设备之外进行一些操作,我们需要在云技术上进行创新。幸运的是,我们能够利用现有的资源,如 Apple Silicon ,来实现这一点。

iJustine 回顾你的职业生涯与苹果状态,以及他们在科技世界中所产生的令人难以置信的影响,你的感觉如何?

库克: 我们时间都花在向前看上,我们很少回头看,你在我们这里找不到博物馆。人们往往关注的是 2025 年,以至于 10 年后的事情。

当我加入苹果时,我发现这是一家真正关心他人的公司,为人们提供工具,去做他们原本无法做到的事情,没有一天不是这样,我也很荣幸能来到这里,这就是我的看法。

Brownlee 现在有很多关于谁是下一个继承人?作为苹果现任 CEO ,你认为你的遗产应该是什么?

库克: 对我来说,遗产是其他人看着你而定义的东西,不是你定义自己。我通常总是专注于前方,不是回首过去。

这也是苹果的一个特点,我们非常专注前进。我们可能会有很多你想看与回忆的东西,但我们就是没有,这不是我们文化的一部分。

未来某个时候,会有另一个 CEO ,那时我整个生活重点,将是帮助他们成功。

李飞飞对话马克 · 安德森, HAI 研究院 5 周年会议现场
时间: 2024 6 15
来源: Web3 天空之城
字数: 7,677

美国斯坦福大学 HAI 研究院, 近日举办 5 周年庆典上, HAI 研究院院长李飞飞,与 a16z 创始人马克 · 安德森进行对话,探讨 AI 未来发展趋势、构建创新生态系统、开源在技术进步中重要性等。

对话实录:

李飞飞: 我很高兴能主持与马克 . 安德森的对话,他是我多年朋友与同事,我不知道你听说过多少关于马克 . 安德森的简历。

真正让我印象深刻的是,你正处于互联网黎明时期,你是推动互联网发展的人之一。现在我们正处于 AI 黎明时期,作为硅谷颇具影响力的风险投资家,你的公司正在做的事情就是实现 AI

关于马克 . 安德森的另一件事是,我想是 2023 年,你撰写一份非常有影响力的技术乐观主义宣言,这份宣言坚信自由市场推动的技术进步对人类进步至关重要而广受赞誉。

马克 . 安德森: 你说的名声,你意思是尊重与认可。

李飞飞: 我的意思是名声,我确实想先问你这个问题,你一直非常直言不讳提倡振兴这个生态系统,提倡消除障碍与阻碍,包括限制政府作用,特别是在监管方面。你相信 AI 、实现 AI 、培育 AI ,将比过度监管更广泛造福社会。

我们在这里庆祝 HAI 5 周年,我们正处于最新一代 AI 革命的中心。进一步阐述,与我们分享你的想法。

马克 . 安德森: 能来到这里真是太好了。看到这个机构过去 5 年所做的所有工作,我感到非常高兴。

首先,我认为这种对话持续很长时间,这真的很好。我想说,我在硅谷前 20 年,我们只是在开发工具。

只是在过去 10 年,我才从政治、道德与这些更大的社会问题角度来描述硅谷。这有点像追上公交车的狗,我们开发所有这些工具。事实证明,它们确实很重要,它们对社会与政治体系都很重要,我认为这很棒,我认为这些都是非常非常重要的问题。

我认为这些对话正在进行中,这很棒。

对于这个问题,我将从一个故事开始,这个故事可以告诉你,我是如何看待这个问题。

今天发生对话的基本、简化版本,它围绕社交媒体与互联网已经发生很长时间,现在它围绕 AI 发生。

这个故事有点像这样:有一个新事物,它会有害吗?如果它有害,需要控制、监管或阻止它,这种对话的隐含基础是技术伦理中所谓的预防原则。

预防原则是一个基本、似乎非常合理的主张,技术的发明者应该能够预测它是否会产生负面影响。如果会产生负面影响,他们有责任阻止它,他们不追求与部署这种技术。

预防原则有一个非常有趣的起源,来自 20 世纪 70 年代德国绿党对民用核电工业崛起的回应。核技术在 20 世纪 40 年代与 50 年代,作为一种军事技术出现;到了 50 年代与 60 年代,民用核能出现大发展,人们开始期待从原子能中获得无限能量。

到了 70 年代,德国绿党站出来决定停止核能,制定预防原则,提出只要民用核能开发商不能证明核能在任何情况下都是完全无害,就应该停止部署。这个方法奏效,核能停止了。

美国,这个想法被采纳。 1971 年,我出生那年,时任总统尼克松提出独立计划,即到 1980 年在美国国内建造 1 千座核电站,这会导致整个美国经济陷入衰退。电网改用核电,这将使我们完全脱离中东。这将使我们现在知道,美国可以实现完全清洁、零排放、零碳排放的能源,这将推动向电动汽车的转变。

尼克松提出这个建议,他成立核管理委员会,阻止了这种情况发生。今天,我们在美国,正在开发的新核电站为零。

如果你看看过去 40 年民用核电部署图表,它完全停止,这导致我们当前政治的许多方面。对于任何关心碳排放气候的人来说,这是一个巨大的错失良机。

我想说,环保运动现在开始意识到发生的悲剧,我们有零排放能源的灵丹妙药,我们决定不使用它。

这也导致了当前事件,它助长俄罗斯与乌克兰目前情况。由于决定不部署核电,德国变得非常依赖天然气,它变得非常依赖俄罗斯,欧盟其他国家也是如此。

欧盟在过去 20 年里,一直在为普京政权提供资金,至今仍在通过从俄罗斯购买能源为战争提供资金。

回顾过去,我们感到震惊,我们只是觉得,他们怎么会犯下如此可怕的错误。在过去 70 年对民用核能的全面核算中,现在非常清楚,它是最安全的能源形式,与任何其他能源相比,它造成的人员死亡人数极少,我们怎么可能做到这一点?

对我来说,我们也许不要再这样做了。

李飞飞: 你在 AI 中看到这种危险?

马克 . 安德森: 100% ,这是相同的动态,相同的讨论。

李飞飞: 说详细一点。

马克 . 安德森: 是同一件事,讨论中的假设是,如果存在潜在危害,应该有监管、控制、限制、暂停、停止、冻结,还有各种不同提议。这是一种压倒性的负面框架,这种风险规避框架,与预防原则非常一致,但它是讨论的框架。

李飞飞: 情况不是更复杂一点?如果你看拜登总统 2023 年行政令,有预防措施,也有激励与竞争角度,地缘政治现在非常复杂。你是否认为监管已经太多,而过度关注技术的积极推动?或者你只是想呼吁采取行动,推动更振奋人心的工业努力?

马克 . 安德森: 首先,让我们谈谈地缘政治,这非常重要。这是我观察到的另一件事,至少在我,特别在华盛顿特区的讨论中是如此,我最近在华盛顿特区花了很多时间,我的公司很长时间没有参与政治。

我们非常努力不参与政治,有一句古老的苏联笑话说,你可能对政治不感兴趣,政治对你感兴趣。

在过去 1 年半、 2 年里,我们非常积极参与华盛顿特区, AI 是我们推动的重要部分。

我很高兴你提到另一件非常引人注目的事情,关于华盛顿特区的讨论,就是华盛顿特区的讨论出现精神分裂。

我的描述方式是,如果我星期二去华盛顿特区,讨论的都是国内政策、国内监管,美国公司、大型科技公司、小型科技公司、大学正在开展的工作,以及这些工作是否应该受到控制、限制或停止,这是我们开始的对话。如果我回到星期四,讨论中国与地缘政治,那将是完全不同的话题。

那里的讨论是,我们必须赢。那里的讨论是,中国过去 10 年中一直宣称 AI 是中国的国家战略重点,这是他们民用、人口与社会信用等所有方面的国家优先事项,这是他们数字一带一路的关键组成部分,旨在向全球广泛传播中国治理与技术模式,与美国的精神形成竞争,这也是为了军事的未来。

在美国,国防部也有一个概念,他们称之为抵消, AI 与自主性几年前被宣布为所谓的第三次抵消,这是国防的关键技术。这对于国防系统建设、国防部的运作方式,以及未来战争的打法都有很多影响。

现在就像是一场国家军备竞赛,就像是一场国家地缘政治竞争,对美国与中国国内、全球与军事上发生的事情有着重大影响,讨论的重点是我们必须获胜。

这些对话是直接冲突的,我们是否限制了国内对话?我们是否限制了自己,以至于放慢了一切速度,并限制了它?地缘政治问题上,我们必须全速前进,我们必须获胜。

听到华盛顿的人不认为自己有责任调和这两个话题,你可能不会感到惊讶。

李飞飞: 我认为这就是他们星期六所做的。

马克 . 安德森: 我想,到目前为止,他们还没有调和这两个话题,我认为这意味着他们把这个问题留给我们自己去解决。

李飞飞: 让我们深入讨论其中一个,这两个主题都集中在一个辩论上,那就是对开源的严格辩论。

现在,它正在全国范围内发生。就在我们家乡加州,我们看到州参议院正在审议关于监管与控制潜在开源令人不安的法案,你对此有何看法?

马克 . 安德森: 开源讨论非常有趣,它被描述为,有一维版本,或者一步版本,还有两步版本,一步版本与预防原则非常一致,我认为当前的加州法案反映了这一点,欧盟的《 AI 法案》也反映了这一点。

我认为加州的法案在某种程度上,是基于欧盟的《 AI 法案》,该法案是在立法中实施的预防原则,这被认为是潜在有害的,必须加以控制,以防止危害。

再说一遍,这就是预防原则的全部内容,这听起来总是很合理,你怎么可能反对它?重要的是要考虑第二步,特别是关于开源,第二步会让人眼花缭乱,一眨眼就明白了,这什么是开源?

它是软件代码,软件代码是有趣的东西,它有点像介于语音与技术之间的东西,我总是把编写软件描述为像写小说,又有点像设计化学公式,两者有点像。

它是一种表达形式,它有很多艺术美学方面,它不仅是言论,它不仅是站起来说一些有功能含义的话。它介于言论与技术之间,关于它在多大程度上符合言论自由保护的争论由来已久,它在某种程度上是两者结合。

开源,对于最初的术语,在那之前的自由软件,我可以下载它,我可以查看它。它是一个白盒子,不是黑盒子,我可以看到它里面东西,我可以修改它,我可以从中学习。

我认为第二步,你要问自己,你需要设计什么样的社会,才能拥有执行机制来执行任何形式的开源禁令或限制,现在你开始进入奥威尔领域。

这有点像是一种探索,看看人们对此有什么想法。建议的范围有点像,它有点开始于,我们只需要在每个芯片上放一个软件代理,检查人们是否在使用经过批准的开源,就在那里,我想,等等,坚持一下,就像 1984 并不是一本说明书。就像我们不应该在我们所有电脑上运行软件代理,这只是第一步,然后从那里开始的政策处方变得越来越可怕。

我认为他们最终在《时代》杂志上非常诚实表达了这将带你走向何方。大约 1 年前,埃利泽 · 尤德科夫斯基在《时代》杂志上发表了一篇文章,我再次赞扬他坚持自己的信念,说出自己想法,要实施对强 AI 与开源的禁令,你不仅需要进行让奥威尔脸红的广泛监控,你还需要在全球范围内执行它。

仅仅在美国禁止它是不够的,你必须考虑到其他 180 个国家,你需要实施全球禁令。你需要做好准备,将美国派遣出去,空军将轰炸非法数据中心。他甚至说你需要愿意冒核战争风险,你需要想象一下美国隐形轰炸机单方面轰炸数据中心,就是这种情况。你必须问自己,你到底想生活在什么样社会里,能够执行这样的事情?

把我放在另一边。对,这就是执行。

李飞飞: 你能谈谈我们为什么需要开源?为什么你要与硅谷这么多创业公司合作?为什么开源如此重要?

马克 . 安德森: 这是另一种方式,比如,开源扮演什么角色?这与人类自由等问题无关,我认为这很重要,也与没有第三次世界大战有关,我认为这也很重要。另一个问题是开源,在创新生态系统中扮演什么角色?

我只想告诉你,我对此看法是现代技术、现代计算机科学、现代软件的三角关系,是开源、创业公司,也就是我的日常工作,然后是学术界。我如果开源以某种方式被禁止或限制到一定程度,那将是至关重要的。

首先,我认为,创业公司会倒闭。我们资助的每家初创公司,都是建立在开源之上,每个人都认为你可以建立一个开源软件理所当然。每个新的软件项目,都是建立在开源之上,某些初创公司倒闭了。

这个方向另一个后果,有点像第二步、第三步,就是初创公司倒闭,所有的开发都委托给一个永远掌权的大公司联盟。

再说一次,你要问自己,这是否真的是你想要的结果。

第三点是,你们告诉我,我认为学术界会消亡,学术计算机科学会消亡,这个机构会消亡。

李飞飞: 如果没有开源,我不知道这里的工作会发生什么,我们也是一些最大的开源软件提供商。

让我们来谈谈学术界,你们技术乐观主义者名声与尊重的一部分。多年来作为朋友,我非常欣赏马克的一件事是,我们是知识分子的朋友,彼此深深尊重,但不一定同意对方的观点。

我认为这在校园学术界的这个历史时期非常非常重要,引以为豪的一件事就是为这种严谨的辩论提供平台。

在我们之后,你将听到有关监管等的小组讨论。在你的宣言中,你使用了敌人这个词。与这个词相关的是,你谈到技术伦理、信任与安全等想法,某种程度上,它也与象牙塔有关。你刚才提到你关心学术界与生态系统,我知道你确实关心。

你如何调和你在文章中写的内容?你的真正意思是什么?你如何看待学术界的这一历史性时刻?

马克 . 安德森: 我先从我使用敌人这个词开始说起,我在文章中非常明确提到,我谈论的是思想,而不是人。

我认为参与这些事情的任何人,都不会将他们视为敌人,我确实认为有些想法很糟糕。

我认为我们生活在一个有些糟糕想法已经变得非常普遍的时代,这些想法需要受到挑战,我已经阐述过。

李飞飞: 为什么 AI 中的信任与安全是坏的?

马克 . 安德森: 它被劫持了,它是一种预防原则,是在公司特定背景下实施。对于不知道的人来说,信任与安全是一个术语,在现代科技公司内部,它相当于内部事务。

这是一个团体,实施了某种内部限制。这大概是从互联网公司开始,我认为第一个必须信任与安全组织的公司是 eBay ,它有点像是监管互联网拍卖。你需要有一个警察职能,你要有一个互联网拍卖网站。

我记得当 eBay 刚开始时,它似乎根本无法发挥作用,怎么会有人相信别人? eBay 之所以成功有两个原因。首先, Pierre Omidyar 相信大多数人都是善良的,大多数人都会列出合法产品并参与交易。他也认为,拥有一种称为信任与安全的职能也很重要,这就是警察。如果你在 eBay 上买东西,是欺诈性的,你可以向某人申诉。

李飞飞: 这是一种很好、没有被劫持的信任。

马克 . 安德森: 你需要有,这是绝对必要的,你需要有它。

第二阶段是社交媒体公司,如果你要为人们提供一个平台交换信息,即使只是从法律角度看,第一修正案也不是绝对的。言论自由有 11 条法律豁免,包括煽动暴力、儿童色情与恐怖分子招募等。

如果你要有一个在线通信平台,你需要有一个团队来维护、监控与管理它。问题总是,你在哪里划清界限,价值观是什么?当你问这个问题时,你马上就进入政治哲学领域,你处于设计与治理领域,私人治理仍然是治理。

李飞飞: 你的底线是什么?比如,你认为哪些地方信任与安全最重要,哪些地方超出你的界限?

马克 . 安德森: 我认为,首先,它很复杂,部分原因在于很多。这些都是非常大的问题,总体而言,这些都是非常宏观的问题,这些是政治结构的核心问题,这些是社会结构的大问题,这些都是重大伦理与道德问题,这非常复杂。

具体到公司方面,情况变得更加复杂,公司至少在理论上是私人行为者,私人行为者可以拥有比公共行为者更受限制的领域。

仅举言论自由例子,现在在我们校园里上演一场大辩论,简单的例子就是言论自由。你可以在城镇广场自由谈论政治话题,这并不意味着有人可以在餐厅里站起来,开始对别人大喊大叫。

就像人们一样,餐厅老板有能力在餐厅环境中强制执行更严格言论管制,比整个社会都更严格,公司也是一样,公司有能力。

我有一个 9 岁的孩子,我想让他能够注册互联网服务。我希望他能拥有像迪士尼一样的体验,迪士尼乐园的体验,而不是,看我喜欢对所有人开放的互联网。

有一天,他也会喜欢对所有人开放的互联网,但我希望他有墙花园,那种控制。我认为公司有很大的自由度来决定这一点。

再说一次,迪士尼的例子很好。迪士尼对迪士尼乐园内发生的行为准则,与奥兰多街头发生的行为准则不同,认为这些都是好的与有效的。

话虽如此,当你创建内部事务时,当你创建一支负责警务行动的警察部队,很快又负责言论监管时,在某个时候,就会出现这样的问题,比如,你要走多远?这个议程会把你带到哪里?我只是,我认为如果对此有多种观点,那就很好。我认为如果有很多不同选择,那就很好。如果你最终处于一种普遍审查、普遍控制的环境中,我认为你就有真正问题。

李飞飞: 你想尽量减少政府监管,你还想尽量减少警察、自我监督的自治。

马克 . 安德森: 我没有这么说,我只是说了相反的话,我完全支持迪士尼有权决定迪士尼乐园的命运。

李飞飞: 我明白了。即使我不是说迪士尼的指数过高,但也有超越的可能性。

马克 . 安德森: 对。

李飞飞: 你认为治理从何而来?

马克 . 安德森: 它必须来自,从根本上讲必须来自领导层,这始终是一个领导层的问题,它必须在各个机构中。

李飞飞: 那社会呢?

马克 . 安德森: 它必须通过社会,这些都是非常活跃的辩论,从社会层面一直到最高法院,还会有更多这样的辩论,然后看看公司内部。

我会把它描述为我们在这个行业中是赶上公共汽车的狗。我对这些平台上发生的事情负有部分责任,这确实很重要,这些系统中发生的事情真的很重要,这些公司中发生的事情真的很重要。

如果这个行业被精简为两、三、四家大公司,这些公司会获得监管俘获,我认为这是他们正在尝试做的事情。如果他们与政府联合起来,我认为我们必须处理一系列非常有力的社会层面问题。

如果在未来几年存在竞争格局,有大公司,有很多初创公司,有开源,有学术界,这些领域之间存在某种活力与竞争,我认为,就会有更多灵活性,更多不同方法,我希望看到更多。比如说,我希望看到更多风格与方法的多样性,我认为这是非常健康的结果。

李飞飞: 这就是你我完全同意的地方。

你们来到斯坦福,你们整个家庭都是朋友,也是社区的一部分。你对斯坦福高中与斯坦福大学有什么希望与梦想?尤其是我们是世界领先的 AI 跨学科研究院,以人为本的 AI 。你对我们与我们的角色,有什么希望与梦想?

马克 . 安德森: 首先说,就像你提到的那样,感觉就像 AI 时代的曙光。这是一个有趣的概念,众所周知, AI 是有 80 年历史的领域。

李飞飞: 我们已经经历这么多冬天,我们走过一条漫长而曲折的道路,才到达今天位置。

马克 . 安德森:第一篇概述神经网络理论的论文,发表于 1950 年。不,是更早 1943 年。是 Pitt 与另一个人,我忘了他的名字,观众中有大约 80 个人知道答案,最初的神经网络论文是 1943 年。

有一本很棒的书, Thomas Ridd 写了一本很棒的书《机器的崛起》,他在书中回顾,并真正追溯了机器的起源。

20 世纪 30 年代,人们争论过计算机是否应该是冯 · 诺依曼机器,最终被称为冯 · 诺依曼机器,还是应该模仿人脑,这是一个有 80~90 年历史的领域。

20 世纪 80 年代末,我在学校的时候,那是在 AI 之后, 20 世纪 80 年代 AI 蓬勃发展,之后出现一次大萧条,即专家系统浪潮。我觉得,我甚至不知道历史上有先例可以孵化这么长时间。然后,砰的一声,结果证明它成功了。我不知道有多大惊喜,也许你一直有信心。

李飞飞: 我不知道,就像化学与物理学,在现代科学出现之前,就已经酝酿几百年一样,但你是对的,你说得有道理。

马克 . 安德森: 这是 80 年来的一次一夜成名,这真的是一件非常了不起的事情。我之所以提起这件事,只是斯坦福大学在每一步都发挥了作用。

约翰 · 麦卡锡在这里待了很长时间,斯坦福大学 AI 小组、斯坦福大学、麻省理工学院与其他几所机构有着悠久而丰富的历史,它们为实现这一点做出很大贡献,这里的遗产是巨大的,我完全希望在技术方面继续这样做。

我认为, NLP 课程学生,现在是斯坦福大学本科生的 1/4 吗?

李飞飞: NLP 、计算机视觉,我们都有数百名学生。我能问你,你认为当我们甚至没有 GPU 时,我们如何取得如此大的进步?

马克 . 安德森: 第一步,我们要确保有软件可以在 GPU 上运行。

我想说,我希望斯坦福大学能够捍卫知识自由、学术自由、实验自由、创新自由、开发自由与部署自由,我认为这是绝对必要的。如果像斯坦福大学这样的机构不这样做,在这样的领域,我们就会陷入真正的麻烦,这是第一点。

第二点,我认为这是一个政府绝对可以发挥作用的领域,这是我在华盛顿经常与他谈论的话题。

我只想说,我的整个职业生涯,你提到我的互联网浪潮,我整个职业生涯都是政府资助的超级计算机。

对于不知道的人来说, 80 年代有两项大型政府资助法案,一项是资助当时所谓的国家超级计算中心,另一项是资助 NSF 网络,我们现在知道它是将每个人连接到超级计算机的互联网。

我职业生涯之所以存在,是伊利诺伊州 NCSA 是由 NSF 资助,这与我们现在的情况完全类似。当时资金主要用于资助超级计算机,用于物理、化学、生物医学研究。在这里,需要同时资助用于 AI 研究的大型系统。

我认为华盛顿特区对此的接受度相当积极,我认为我们应该对此持乐观态度。同样,这假设我们将生活在一个 AI 研究真正被允许发生的世界。

李飞飞最新 DataBricks 峰会演讲:数字寒武纪到来,空间智能将实现人与机器三维世界互动
时间: 2024 6 15
来源: 有新 Newin
字数: 3,486

2024 Databricks Data + AI 峰会上,美国斯坦福大学 HAI 研究院院长李飞飞,发表关于空间智能最新演讲,介绍空间智能重要性,讨论空间智能发展与应用,如何结合视觉、语言、空间智能等技术,使机器能够理解与执行复杂任务。

演讲全部内容:

今天我不会向你们展示产品或进行现场演示,而是带你们一窥未来。这是一种超越了仅仅理解语言的未来,从看到到行动的未来。

这是我们世界在 5.4 亿年前的样子,纯粹、无尽的黑暗。黑暗是缺乏光线,黑暗是没有视力。阳光在海面下千米处被过滤,只有从海底热泉中渗出的光照亮海底。充满了生命,没有一只眼睛。

这片海洋中没有视网膜、没有角膜、没有晶状体。所有的光,所有的生命都是不可见。有一段时间,看见这个概念不存在,直到它被实现。

出于我们刚开始理解的原因,第一批能够感知光线的生物三叶虫出现了。它们是我们现在都认为理所当然的现实的第一批居民,第一批发现一个超越自我的世界,一个充满许多其他个体的世界。

这种现实,这种看见的能力,被认为帮助引发了寒武纪大爆发时期,期间大量动物物种进入化石记录。最初作为一种被动的体验,简单让光线进入,逐渐变得更加丰富与活跃。

神经系统开始进化,视觉转化为洞察。看见变成理解,理解带来行动,这一切促生了智能。大约 10 亿年后,我们不再满足于大自然赋予的智能。

人类正在探索如何创造出能像我们一样,甚至更智能看见的机器。 9 年前,我在 TED 发表一次演讲,报告计算机视觉领域早期进展,这是 AI 一个分支。

大约 10 年前,三种强大力量首次出现,一种叫做神经网络的算法家族,快速、专门的硬件图形处理单元 GPU ,大数据,比如我实验室花费多年整理的 1,500 万张照片集 ImageNet

这些因素结合在一起时,不仅使计算机视觉能力达到前所未有水平,也开启现代 AI 时代。那时以来,我们已经走了很长的路。

10 年前,仅仅给物体贴标签就是一个突破,就像那些早期三叶虫第一次看到光一样。神经网络算法的速度与准确性迅速提高。年复 1 年,由我实验室领导的年度 ImageNet 挑战评估这些算法性能,每年的提交记录都被打破。

正如你们从这个展示年度进展与一些里程碑模型的图表中所见到的,这些成果令人难以置信,我们并不满足于此。

那时以来,我们在实验室与其他实验室进一步开发模型,这些模型不仅能分割对象,还能识别视频中对象之间动态关系。

这还不是全部,我还记得当我第一次向世界展示第一种能够用自然语言描述图像与照片的计算机视觉算法时,这是一种自动图片标注的方式,与我的杰出学生 AndrejKarpathy 合作。

当时我冒险提出要求 Andrej 反过来操作,即给出一句话,让计算机生成照片。 Andrej 只是笑着说:不可能。但正如你们从他最近一条推文中看到的,仅仅几年之后,不可能的事情变成可能,这归功于最近生成式 AI 中使用的扩散模型发展。

AI 程序现在可以将任何人类输入的句子,转化为全新照片或视频。你们中许多人最近已经看到 OpenAI 与其他公司展示的美丽成果。

即使没有大量 GPU ,我的学生与合作者们也在 Sora 发布之前几个月,创造了生成模型 Wolt ,这里是一些成果。你们可以看到我们还有很多成长空间,也会犯错误。我是说,看那只猫的眼睛,它在水下浸泡却没有湿,我称之为猫灾难。

希望有人能为我写更好的 AI 笑话。但如果过去是序幕,我们将从这些错误中学习并创造我们想象的未来。在那个未来,我们希望充分利用 AI 所有潜力。多年来,我一直说拍照不等于看到与理解。现在我想补充一下,单单看到是不够的,看到是为了行动与学习。当我们在三维空间中行动与输入时,我们学习并学会更好看到与做。

大自然创造了由空间智能驱动的看到与做的良性循环,为了说明空间智能不断在做什么,让我们看看这张照片。如果你觉得这张照片会让你想要做点什么,请举手。

如果这种情况在现实生活中实际发生过,请保持手举起。短短 1 秒钟内,你的大脑看到玻璃杯的几何形状,它在三维空间中位置,它与桌子、猫、周围一切的关系,你预测了接下来会发生什么,你会跳向玻璃杯,拯救地毯。

这种行动的冲动,是拥有空间智能生物与生俱来,它将感知与行动联系起来。为了让 AI 超越今天能力,我们需要更多不仅能看见或说话的 AI ,我们需要能像大自然对我们那样行动的 AI

我们在这里取得令人兴奋的进展,我们在空间智能方面的最新里程碑正在推动这种教计算机看到、做、学习,更好看到与做的良性循环。

进化过程很简单,动物花了数百万年时间进化出空间智能。相比之下,语言进化只花了几千年。这种进化,依赖 AI 使用光将图像投射到视网膜上,大脑将这些图像转化为 3D

谷歌的一组计算机视觉研究人员做到这一点,他们创建一种算法,可以仅通过一组照片将数据转化为 3D 形状或 3D 场景,这里有更多工作示例。

与此同时,我学生与同事们受到斯坦福工作启发,进一步发展出一种算法,只需要一对一的图像,即可生成 3D 形状,就像你在这里看到的那样,这里还有一些最近工作的示例。

回想一下,我们之前用文本输入创建视频,密歇根大学一组研究人员找到将一行文本转化为 3D 房间布局的方法,你们在这里看到一个示例。

我在斯坦福同事与学生开发了一种算法,可以将一张图片转化为无限可能的空间,供观众探索。

这些原型是未来可能性的第一个科学实体,一个人类捕捉我们整个世界数字形式,能够模拟我们世界丰富性与细微差别的未来。

大自然在我们每个人头脑中隐含完成的事情,空间智能 AI 现在希望在我们的集体意识中做到。

当空间智能进展加速时,一个新时代正在我们眼前展开。这种反复,正在催化机器人学习,这是早期具身智能系统的关键组成部分,需要直接理解和与 3D 世界互动。我们有大量基于图像的数据,由包含数百万高质量图像的数据库提供,帮助计算机学习看。

现在,我们正在使用行为与行动数据,来教计算机如何在 3D 世界中行动。与手动创建训练示例不同,我们现在使用 Nvidia Omniverse 提供的模拟环境,这些环境由 3D 空间模型提供无限变化与交互。

现在,你们看到的是在我们实验室领导的行为项目中,模拟环境中训练机器人的一小部分无限可能性示例。我们在结合视觉与空间智能的机器人语言智能方面,也取得令人兴奋的进展,使用基于 LLM 的输入。我与学生、合作者,是第一批展示机器人手臂根据口头指令执行广泛任务的团队之一。

例如,要求机器人打开抽屉,但要小心花瓶,或者让它拔掉手机充电器,这种方式有点不寻常,但还可以。还有一个是让机器人做三明治,通常情况下,我会希望三明治里多放点东西,这已经是一个不错的开始。

540 百万年前原始海洋中,看到与感知周围环境的能力引发与其他生命形式的全面互动爆发。今天,这种光,开始照进数字大脑,就像它照进我们祖先大脑一样。

空间智能技术让机器能够与彼此、人类,以及真实或想象的 3D 世界互动。随着这种未来的成形,我们可以想象它将对许多生活产生深远影响。

以医疗为例,过去 10 年里,我的实验室在应用 AI 技术应对影响患者结果与医疗人员倦怠的挑战方面,迈出第一步。

我们与斯坦福医学院、合作医院的学生与同事们一起,试点智能传感器,可以检测到临床医生在未正确洗手情况下进入病房,手术中跟踪器械,或在患者有跌倒等身体风险时提醒护理团队。我们将这些技术,视为环境智能的形式,这些额外的眼睛可以产生巨大影响。

我希望看到更多互动帮助患者、临床医生与急需额外援手的护理人员。想象一下,自动机器人运输医疗用品,让护理人员能够有更多时间陪伴患者,或者增强现实技术引导外科医生进行更安全、更高效、更少侵入性的手术。

想象一下,重度瘫痪患者通过脑波控制机器人,能够完成你我视为理所的日常任务,你们现在看到的就是这种未来的一瞥。

在我实验室的一个试点研究中,这里有一个机器人手臂在烹饪日本寿喜烧,完全由脑电信号控制,这些信号通过脑电图帽非侵入性采集,没有芯片或电极植入到人脑中,这整个机器人行动是由远程脑控完成的。






请到「今天看啥」查看全文