相对对于多数发展人工智能的公司而言,NVIDIA 是一个很不一样的存在。英伟达从视觉化硬件设计解决方案起家,目前领域上可以说得上来,正在投入人工智能,特别是与演算法、应用相关的巨无霸科技公司,除了Intel、AMD 这样的老牌对手(? )(当然一票FPGA 与ASIC 也是,不过有些公司更忙着做矿机)或Samsung、Apple 这类主要面对消费市场的大厂外,主要多如Amazon、Microsoft、Google、Facebook、Softbank、百度、阿里巴巴、Naver(LINE) 或上周刚发表新产品的猎豹移动,这类以软件、网路服务起家,满手工程师与数据,又很会募资的巨无霸。当然,我们也没忘记钢铁人Elon Musk 的TESLA,一家以能源与移动终端软硬件整合解决方案为目标,但对他们来说,人工智能应用只是其满足市场需求的一个手段而已。
作为GPU 领域的霸主,持续投注在任何可以使用GPU 的领域是必然的营运策略。我们去年就已经说过,一道无心插柳的产品CUDA,加速了机器学习模型训练,进一步带动多年来困着电脑科学家与工程师们,突破机器学习与深度学习门槛。GPU 运算的暴力美学,加上海量数据与云平台、资料中心连串的基础建设,带来了AlphaGO 打败棋王,做到我们曾以为不可能的任务。一夜之间,人工智能仿佛带来了无限可能,从rule based 起家的Apple 的SIRI,到启发式关连图的OK!Google,甚至知道你很多秘密的Alexa;进一步带起人工智能、深度学习、机器学习等领域的学术研究、业界开发应用。黄仁勋在GTC 2018 就提及,从2005 年GPGPU 开始加速卷积神经网络(Convolutional Neural Network, CNN)的运算,到2012 年Imagenet 比赛后开始爆红,这6 年来,学术领域针对各种不同类型的问题,提出了至少500 种类以上的复杂网络框架,多数框架复杂而美丽,负无数的框架或学术猜想,更需要非常大量的运算。
VIDIA 创办人兼CEO 黄仁勋于GTC 2018
这波人工智能热潮,加上学术研究开发、人工智能新创投入、加上大公司跳海进一步带动了运算需求,进一步推动全球对于GPU 的渴望。但除了产品被拿去当矿机,NVIDIA 究竟如何看待人工智能浪潮,由如何耕耘市场?我们应如何看待这家公司?又能学到些什么?
提供或补充各种软件框架,积极满足深度学习开发者需求
对于这些人工智能应用来说,从学界到业界,最缺的就是懂演算法、会开发、会训练、又较好还可以懂专业领域知识的运算人才。整个行业里,开发者的来源除了花大钱挖角,就得自行培养或把各个学校或研究单位的实验室当成农场去找人。GTC的海报论文区就仿佛贴了很多新鲜肝的招聘单,你只要认真在海报论文区现场偷听这些学生或工程师回答读论文者的提问,就不难发现他们开始交换名片。许多求才若渴的单位派人到现场观察,如同棒球场边的球探,到现场来挖绝世宝脏藏。
CUDA作为透过GPU加速各项演算运算的基础设施,在一年内由45万注册使用者增加到82万注册使用者是非常惊人的数字。根据2017年LinkedIn所提供全球关于AI领域的技术人才分布报告,全球AI领域的从业者数量也才约160万人左右,就算CUDA的注册使用者多有重复,或许多仅是一次性下载尝试,不做复杂开发的使用者。这800万的下载总量都意味着捕捉到多数对GPU加速演算法开发有兴趣的人们。作为免费午餐的CUDA ,对现今投入人工智能领域的所有机构而言,就像是演算法开发技术人才的嗅觉标签一样有效。
对开发者来说,一款演算框架容易上手的程度、周遭工具集/爱好者社群的支援程度、容易让模型资料或训练资料跨在不同演算框架之间、容易找到新开发者持续维护演算程式都是选择演算框架的重点。Google 所推的Tensorflow、Amazon 支持开源的MXnet、Facebook 挖角UC Berkley 贾扬清(Yangqing Jia),积极开发的Caffe 2 甚至H2O.ai 等在开发者社群平台StackOverFlow 、Quara 甚至知乎讨论群都各有所好。NVIDIA 推出的TensorRT 直接积极找各家整合框架,透过共同开发较佳化让GPU 足以发挥全效。
NVIDIA 创办人兼CEO 黄仁勋于GTC 2018
一般而言,人工智能应用还分云(资料中心)与端(终端装置,如手机、穿戴式装置或IoT 设备等)两部分。NVIDIA 在这里也积极布局,除推出NVIDIA GPU Cloud,整合主流云计算服务,如AWS、GCP、阿里云等,方便使用者透过简易介面快速布署演算至不同资料中心/云设施外,也与arm达成协议,将自身的人工智能加速演算架构智权开放整合至arm 的IoT 解决方案Project Trellio 中。
但,对软件开发者或商业产品开发者而言,这样就够了吗?NVIDIA一连串的投入与开发替开发者打下了最重要的几个开发门槛,意味着在人工智能开发领域里做了基础的造桥铺路,但桥归桥路归路。整套工作流程仍有许多部分仍待整合。微软才刚推出方便Windows使用者不需要跨平台进行机器学习模型开发的WinML,NVIDIA虽随即做了支援整合,但还得看使用者买不买单。方便不具备高度程式经验的产品开发者,自行训练深度学习模型的流程式软件才刚起步(比较知名的例如Deep Cognition的Deep Learnign Studio与IBM的Waston Studio);更别提整理资料,试算表(例如Microsoft Excel或Google Spreadsheet)等级的工具可无法满足复杂多样的海量数据需求。
黄仁勋在GTC 2018的主题演讲中提及,虽然许多人提到深度学习运算可以以FPGA、ASIC等方式进行加速,但根据NVIDIA经验,他知道要从头到尾整合这些东西从不简单。从一个例如自动驾驶的问题,就算在电脑科学与电机领域里,就需要数个领域专家的整合,才能提出一个堪用的结果,更别提好用了!GPU本身是很耗能没错,但也正随着硬件技术(此指半导体制程)与软件应用(此指指令集与演算加速架构)配合在进化。自驾车用系统的快速迭代演进就是较好的例子。
软带硬,渗透各家分享未来运算市场
所以,看似在每个重要市场或应用领域都提出对应方案的NVIDIA,面对人工智能、机器学习或深度学习的海量运算市场,是否可说是前方晴朗无云?别忘记蓝色运算巨人Intel 仍在全球的资料中心市场与智能财产权布局上具备了无可批敌的本事,近来纵有执行长卖股疑云,Intel 仍在人工智能应用市场积极布局;发展不够快,就用投资或并购的方式积极前进,除了最知名的mobileeye 收购案,眼光雪亮的读者不妨试着研究看看Intel Capital 那手中漂亮的一篮子投资组合。
云计算市场就更有趣了,搜寻、广告巨人Google 不是省油的灯,在AlphaGo 攻克深度学习的圣杯后,除了软件端推出TensorFlow 与AutoML,也在自家的资料中心投资下更多功夫,组织硬件团队自行设计芯片、委托晶圆代工商生产自家的TPU (Tensor 处理器)。Facebook 也宣称和Intel 合作开发自己的芯片放在自家的资料中心,更别提Tesla 与Apple 原本就具备开发终端装置芯片的能力,也都投注资源在研究终端人工智能应用运算芯片。
对端运算市场来说,除部分超大型公司已经有非常具体的应用与出海口(有足够的市场需求量,足以支撑设计开发与生产芯片所需要的成本),因此有能力自行开发芯片。大部分的公司可能都将采行因应产业需求而特化设计过的芯片组,例如NVidia 只针对自动驾驶需求特化设计的Drive 系列,与符合一般综合需求的NVIDIA Jetson TX2 (这块领域有极多厂商,包含开放专案竞争)。
NVIDIA DGX-2 与TESLA V100
但,我们却可见NVIDIA 在硬件的商业策略弹性。除积极与各家云厂商合作,将自身的GPU 解决方案(DGX系列)装到自家资料中心,也协助这些云计算平台针对GPU 运算提供专用的入口、开发者指南、教学资源、甚至跨平台布署的NVIDIA GPU Cloud 工具。帮助这些平台在自家生态系还不健全时拉拢开发者,但又给开发者更大的弹性来避免各家云计算厂商对使用者lock-in。NVIDIA 也同时选择性地在几个人工智能将有巨大突破的市场投注软硬件资源。NVIDIA 选择将自身用于自驾系统的DLA 架构直接与arm 合作开源架构也是一个有趣的决定,透过这个架构,联合市场教育深度学习开发者在推论所选用的TensorRT(一个深度学习演算框架所需推论用的编译器),来面对另一个市场联盟提出RISC-V 对物联网+ 人工智能系统单芯片(IoT + AI SoC, 台湾多称AIoT SoC)市场的挑战。
从黄仁勋的言谈可见,NVIDIA 目前视自动驾驶为人工智能领域的圣杯。他认为一个可以有效运作的系统,足以替代人在任何时候(就算是系统已经过载或错误)都可以有效处理任何驾驶情况,是一个非常困难,但值得NVIDIA 倾全力进攻破解的难题。从传统的电脑科学领域来说,它集结了电脑视觉(Computer Vision)、视觉辨识、自动控制的整套控制链与逻辑设计、机器学习中的模型预测、逻辑判断等超级复杂的各项问题,而且必须能够即时运算处理,保证系统的稳定与安全。Drive Sim 自动驾驶模拟解决方案就是好例子,整合多项不同技术,方法论上可能足以解决一部份自动驾驶测试的问题。
我们可以从黄仁勋身上学到些什么?
作为NVIDIA 的创办人兼CEO,没有超人的热情不可能将公司发展至此。许多与会者就提及,见黄仁勋演讲仿佛一场秀,在秀里黄仁勋就是NVIDIA 的超级业务员,他爱自家产品、爱团队、爱开发者。言谈不断称自家产品内外设计有多漂亮、价格有多便宜划算,在主题演讲上,黄仁勋就不断强调:「买越多(GPU),省越多!(The more you buy, the more you save! )」;边发表产品边直接点名团队成员全名:「啊!爱死你们了!」也是他自始自终的习惯;对美妙的技术赞不绝口,「天啊!这么快!」喜欢任何开发者用绝妙点子更快、更好地解决问题。可见得他花尽所有力气,整合全NVIDIA 的资源,就是要满足终端市场。
在人工智能市场趋势发展上,你可见黄仁勋以高度的活力,全心投入这家公司的转型进展。10 年转型不意味着放弃,但NVIDIA 推动GPU 架构演进的力道已从游戏玩家为主体的电脑视觉市场需求,转至平行运算市场需求。纵然发表会后股价不升反跌,却可见各家研究机构的分析师对其最重要营收来源:游戏给予中立正面评价,多数机构对NVIDIA 所提出在人工智能的深度布局赋予公司的成长方向也给予高度肯定。
围绕着GPU 运算,黄仁勋很清楚地为NVIDIA 擘划了许多支成长引擎,每块垂直领域都有重点发展,但又同时多方布局。成熟市场如游戏(Gaming)平台与仍在成长中的专业视觉应用(设计、建筑或AR/VR 等,称做Provisiualization)是NVIDIA GPU 传统的应用领域。因应人工智能运算市场发展出的高效能运算(HPC)、云计算(Cloud)与资料中心事业,自动驾驶(Automotive)与机器人(Robotics)则仍待成长中,光是资料中心的潜在市场规模就从2020 年将预期有300 亿美金,到2023 年则预计将成长到500 亿美金。
这样的转型不是没有风险。黄仁勋提及,十年前,这4 个市场都相对很小,就算这两年好运,市场因新游戏如大逃杀(Battel Royale)、绝地求生(PUBG)而猛烈成长,更多人希望分享影像,尤其是游戏影像。加上全球约10 万人左右的人工智能学者,选用最普及容易入手的GPU 来组成高效能运算(HPC)设备,加上虚拟货币如不想被ASIC 控制的以太坊等而让GPU 炙手可热;但可见垂直领域的每个市场都持续扩张,NVIDIA 也在每个市场都有斩获,且英伟达在每个领域的市场份额都还不算大,加上摩尔定律(moore's law)在10 年内对GPU依然有效,让黄仁勋对NVIDIA 充满信心。
众多垂直领域中,英伟达长期看好自动驾驶市场
有些人质疑在昨日GTC 2018 主题演讲中所发表的DGX-2 与NVSwitch,认为其比DGX-1 多了一倍GPU,但不是直接在硬件架构上做整合,而是另外做一个NVSwitch 来连结两倍于DGX-1 的设备,此举造成DGX-2 的能源效率是DGX-1 的2.5 倍左右,并不符合黄仁勋自己强调GPU 能够合理使用能源效率的原则。黄仁勋为此做出辩解:「没有人叫我们做NVSwitch,就如同没有人要我们做很多事一般。」他说,「我们很确定人工智能研究需要使用高效能运算,因此研究者会想要很大的GPU,但整个市场有多大还很难说,我们只能确定因为有人需要,所以我们提出这样的解决方案来满足他!」黄仁勋最后还不忘强调:「再者,你用不到10 倍的价格买DGX-2 ,就可以得到超过10 倍DGX-1 的效能!所以还是买越多,省越多啊!」
NVIDIA DGX-2 与TESLA V100
许多人关心Uber 的自驾试验造成第三人死亡事件将成为自驾市场的重大风险,黄仁勋严肃地表示:「老实说,Uber 的自驾系统并没有使用NVIDIA 的任何产品,但根据工程准则,在Uber 事件后不到一天,NVIDIA 自身就全面叫停自驾系统路试。」黄仁勋说:「整个产业都在等Uber 这起事件的报告,也希望从中学到更多经验。但,就他所认知,在NVIDIA合作的300 多个合作伙伴中,每家车厂对自动驾驶的开发都可说是在飞奔!」黄仁勋强调自驾系统要能改变世界的最终要素有三:1. 技术要继续改进,2. 产品也要能继续改进,并且3. 使用者要能接受技术。「第三点是最重中之重!」黄仁勋说。
根据NVIDIA 目前对于自驾系统设计的经验,他们已经知道整个自驾系统不只是一个深度学习演算框架而已。以目前的设计,整个自驾系统已经有超过100 个不同的演算法在其上运行,许多演算法并不是深度学习、机器学习等人工智能领域的产物,整个自驾系统可说是一个软件定义运算的系统(Software Defined Computing)。为此,黄仁勋认为这个系统非常值得一个专为系统设计的ASIC,如NVIDIA Xavier 这样,将一个GPU 加上一个DLA 包在一起,做成一颗SoC(System on Chip),并通过以往都只有低阶汽车电子零件才能通过的ASIL D 认证装置(一个ISO 26262 安全认证标准,读者请不妨想像将一个小型超级电脑通过复杂的环境测试),来保证这个自驾系统的功能安全性。