专栏名称: 投资银行在线

投资银行在线 Investment Bank Online，一个资本与项目对接的平台，一个互联网金融的探索者和实践者。

自动驾驶进入技术采纳加速期？为什么Transformers正在改变自动驾驶领域的游戏规则？！

投资银行在线 · 公众号 · · 2024-07-10 12:06

正文

不断加速的技术采纳周期

与科技股投资的关键

不断加速的技术采纳周期

技术转型可以非常迅速地进行，采纳率从零增长到成熟可能在不到10年的时间内完成。

近年来最好的例子包括智能手机的使用、社交媒体应用和流媒体服务。

回顾历史，技术采纳周期总是不断加速：

source: Visual capitalist

但即便是100多年前，纽约的街道也仅在十年的时间里，就从马车时代迅速转变为挤满了汽车。

当这些技术转型即将起飞时，市场经常严重低估它们的潜力。

一些例子包括特斯拉、英伟达、亚马逊、微软、ASML、Shopify、Netflix、ServiceNow等等，例子的名单很长。

科技股投资的关键

考虑进入壁垒和长期市场份额

考虑进入壁垒和长期市场份额是区分良莠的好工具。

没有足够护城河的公司将无法抓住新机会，因为竞争对手会迅速出现，侵蚀行业回报，尽管增长水平很高。

其次，你想要挑选那些有相当高成功机会的新技术，或者至少相应地调整你的头寸。显然，在长期投资中占有大量权重是愚蠢的。

科技是选股者极其有利可图的领域，尽管不是容易驾驭的，因为通常需要对底层技术和行业有深入的了解。

然而，在过去八年中，自动驾驶出租车和自动驾驶市场是投资者感到失望的领域。在2016年到2018年间，一些最大的科技公司向我们承诺，自动驾驶仪指日可待，自动驾驶出租车不久将推出。

显然，这并没有发生，现在似乎每个人都忘记了这个领域，包括我自己直到去年。我多年来都没有关注这个领域。

但这也是选股的另一个美妙之处，在随后的几年里，暴露于这一主题的大盘科技股的表现非常出色，因为尽管自动驾驶出租车的宏伟目标没有实现，它们的核心业务仍然表现得非常好。

为什么Transformers正在改变

自动驾驶领域的游戏规则

上下文感知与吸收更多数据

对自动驾驶的价值

重新审视这个领域的原因是，自 2016-2018 年以来，AI技术已经取得了显著的进展，我们现在将进行探讨。

首先，随着ChatGPT的崛起，显然在AI世界中，创新仍在以令人印象深刻的速度推进。

ChatGPT背后的算法最初是由谷歌的研究人员在2017年提出的，即Transformers。Transformers拥有一种数学方法论，能够在更广泛的时间跨度上记忆上下文。类似于当你阅读文本时，你会记住你之前阅读过的文本的上下文。

以前的AI算法只利用了它们刚刚读过的句子（RNNs）。因此，仅仅因为2018年基本的卷积神经网络结合了RNNs和手写的C++代码行不足以驾驶汽车。

AI算法仍在迅速发展，特别是，更好的上下文感知方法论的加入显然将提供巨大的帮助。

那么，假设一个行人正在一辆停放的卡车后面过马路，如果汽车的摄像头已经提前检测到了行人，Transformer就可以记住行人仍在卡车后面的路上。对于卷积模型，这是不可能的，因为它纯粹是在分析它所接收到的图像。RNN会做得更好，然而，它的时间跨度是有限的，所以如果你在某个地方被耽搁了较长时间，Transformer仍然能够记住重要的上下文，而RNN则会将其从记忆中丢弃。

另一个优点是Transformer可以吸收更多的数据。

同样，这对于理解上下文非常重要。假设在道路的两侧各有一只狗。如果模型之前已经见过类似的情况，它现在知道这些狗非常有可能开始相互交流，比如一只狗突然跑过马路。车辆可以自动开始减速，准备可能需要的停车。

Transformers如何模拟

周围环境中主体的行为

谷歌自动驾驶团队最近发表的一篇论文阐述了如何使用Transformers来模拟周围环境中行为主体的行为：

“受最近的语言建模方法启发，我们使用掩码策略作为我们模型的查询，使人们能够调用单个模型以多种方式预测代理行为，例如可能根据自动驾驶车辆的目标或完整未来轨迹，或者环境中其他代理的行为进行条件化预测。

我们的模型架构采用注意力机制来结合道路元素、代理交互和时间步骤的特征。我们在自动驾驶数据集上评估我们的方法，用于边际和联合运动预测，并在两个流行的数据集上实现了最先进的性能。

我们展示了我们的模型可以统一各种运动预测任务，从联合运动预测到条件化预测。”

Transformers和自动驾驶 的最新进展

一篇最近在Arxiv上发表的论文总结了Transformers和自动驾驶方面的最新发展。

下面我突出了最相关的段落，这些应该能让你对Transformers的使用有一个良好的了解：

“Transformers已经彻底改变了自然语言处理（NLP），像BERT、GPT和T5这样的模型在语言理解方面树立了新的标准（Alaparthi 20, Radford 18, Raffel 20）。它们的影响不仅限于NLP，因为计算机视觉（CV）社区开始采用Transformers进行视觉数据处理。

这种从传统的卷积神经网络（CNNs）和循环神经网络（RNNs）到计算机视觉中的Transformers的转变标志着它们日益增长的影响力，图像识别和对象检测的早期实现（Dosovitskiy 20, Carion 2020, Zhu 20）显示出了有希望的结果。

在自动驾驶（AD）领域，Transformers正在改变一系列关键任务，包括目标检测（Mao 23）、车道检测（Han 22）和分割（Ando 23, Cakir 22），并且可以与强化学习（Seo, Vecchietti）结合来执行复杂的路径寻找。

它们在处理空间和时间数据方面表现出色，超越了传统的CNNs和RNNs，在复杂功能如场景图生成（Liu 22）和追踪（Zhang 23）方面表现更佳。

Transformers的自注意力机制为动态驾驶环境提供了更全面的理解，这对于自动驾驶车辆的安全导航至关重要。

在自动驾驶中，Transformers作为高级特征提取器发挥作用，与CNNs不同，它们通过整合更大视觉场的信息来实现全局场景理解。它们并行处理数据的能力提供了显著的计算效率，这对于自动驾驶车辆的实时处理至关重要。全局视角和效率使Transformer在自动驾驶技术中具有高度优势，增强了系统能力。

Vision Transformer模型的应用在自动驾驶中的3D和一般感知任务方面取得了显著进展。最初的模型，如DETR（Carion 2020），采用了一种创新的方法来进行目标检测，将其框架化为集合预测问题，使用预定义的框，并利用匈牙利算法来预测对象集合。

这种方法在Deformable DETR（Zhu20）中得到了进一步的改进，它引入了可变形注意力，以提高查询清晰度和更快的收敛速度。DETR3D（wang 2022）将这些原则扩展到了3D目标检测，将激光雷达数据转换为3D体素表示。

此外，像FUTR（Gong 2022）和FUTR3D（Chen 2023）这样的视觉Transformer已经扩大了它们的视野，包括多模态融合，有效地处理来自各种传感器的输入，以增强整体感知能力。

Transformers在自动驾驶中的作用日益关键，尤其是在预测、规划和决策方面。这一进展标志着向端到端深度神经网络模型的重大转变，这些模型整合了整个自动驾驶流程，将感知、规划和控制纳入一个统一的系统。这种全面的方法反映了与传统模型相比的实质性发展，表明自动驾驶车辆技术正朝着更全面和集成的解决方案发展。

在轨迹和行为预测方面，基于Transformer的模型，如VectorNet（Gao 2020）、TNT（Zhao 2021）、DenseTNT（Gu 2021）、mmTransformer（Liu 2021）和AgentFormer（Yuan 2021）已经解决了标准CNN模型的局限性，特别是在远程交互建模和特征提取方面。

VectorNet通过使用分层图神经网络来增强空间关系的描述，这用于高清晰度地图和代理轨迹表示。TNT和DenseTNT改进了轨迹预测，DenseTNT引入了无锚点预测功能。mmTransformer利用堆叠架构进行简化的多模态运动预测。AgentFormer独特地允许代理间状态随时间推移直接影响，保留了关键的时序和交互信息。

WayFormer（Nayakanti 2023）通过其创新的融合策略进一步解决了静态和动态数据处理的复杂性，提高了数据处理的效率和质量。

自动驾驶中的端到端模型已经显著发展，特别是在规划和决策方面。TransFuser（Chitta 2022, Lai 2023）通过使用多个 Transformer 模块进行全面的数据处理和融合来体现这种演变。NEAT（Chitta 2021）引入了一种新颖的BEV坐标映射函数，将2D图像特征压缩成简化的表示。

在此基础上，InterFuser（Shao 2023）提出了一种统一的多模态传感器数据融合架构，提高了安全性和决策准确性。MMFN（Zhang 2022）扩大了数据类型的范围，包括高清地图和雷达，探索了多样化的融合技术。STP3（Hu 2022）和UniAD（Hu 2023）进一步为这一领域做出了贡献，STP3专注于时序数据整合，而UniAD重新组织任务以实现更有效的规划。

这些模型共同标志着朝着集成化、高效和更安全的自动驾驶系统迈出了重要一步，展示了Transformer技术在这一领域变革性的影响。"

显然，这个领域的创新步伐极其活跃，大量的发展仅在过去几年内才被引入。

Transformers如何用于自动驾驶车辆的路线规划，同时预测周围物体的运动的示例：

Transformers如何用于检测自动驾驶车辆周围环境中的关键物体的示例：

自动驾驶中的关键挑战是车辆理解其周围环境的完整上下文的难度。

例如，这条车道仅供有轨电车使用，以及各种复杂的城市环境，如手持路标的街道工人在周围走动，道路上的动物，需要通过的救护车，在路上用手示意指令的代理，汽车后部运输的自行车，或在车辆上展示的人物或动物的图像。

source: MIT Technology Review

边缘情况种类繁多。Transformers在理解这些上下文方面显然会提供很大帮助，尽管它是否足够还有待观察。

自动驾驶进入技术采纳加速期？为什么Transformers正在改变自动驾驶领域的游戏规则？！

正文

请到「今天看啥」查看全文