万雪佼、徐步陆（上海硅知识产权交易中心有限公司，上海 201109）
摘要：作为图形处理器（GPU）技术发展的风向标，报告对全球和中国的GPU技术发展历史、专利发展状况和主要厂商分别进行了分析，包括年度公开趋势、专利公开国分布、专利技术趋势、重点发明人，专利引证排名等分析，可供产业发展和投资决策参考。
关键词：图形处理器；GPU；专利；集成电路产业
基金论文：上海市软件和集成电路产业发展专项资金资助项目（2016160505）
作者简介：万雪佼，上海硅知识产权交易中心有限公司项目经理，研究方向：集成电路知识产权交易与授权。徐步陆，上海硅知识产权交易中心有限公司总经理，研究方向：集成电路知识产权专利交易IP授权。
本文来源：《集成电路应用》第34卷第7期（总第286期）
图形处理器（GPU，Graphic Processor Unit）是CPU、DSP之外的一种高端通用处理器。CPU中计算单元ALU约为25%，逻辑控制为25%，缓存Cache 50%，而GPU中计算单元ALU通常达到95%，缓存Cache为5%。近年，由于图形处理器采用了数量众多的计算单元，具有大规模并行计算能力，在机器视觉和深度学习等人工神经网络、人工智能等领域得到了普遍应用。
1 GPU概述
图形芯片主要的功能就是把CPU计算好的数据转换为显示像素，并产生对应的同步模拟信号到显示器上。早期的代表性产品是3dfx公司于1996年推出的代号Voodoo3D图形加速芯片。NVIDIA于1999年推出GeForce 256产品时提出的GPU技术定义是“集成了变换（transform）、光照（lighting）、三角形设置/剪裁（triangle setup/clipping）和渲染引擎，每秒能处理1000万多边形的单芯片处理器”[1]。目前全球有约10家公司推出商用GPU，包括产品如独立显卡、集成显卡、核芯显卡（集成在CPU中[2]）、嵌入式SoC，以及GPU架构授权。当前GPU的芯片提供商有：
（1）美国处理器芯片公司：Intel，AMD和NVIDIA。Intel，AMD和NVIDIA是国际上仅有的三家桌面PC机GPU提供商。Intel提供桌面和笔记本核芯显卡Gen系列，推出的嵌入式处理器多采用自主设计Gen系列。AMD提供核芯显卡Radeon品牌系列，其嵌入式处理器和GPU采用的也是自主设计GPU核心。AMD集成CPU和GPU的芯片被AMD公司称为APU。NVIDIA提供Geforce品牌系列显卡，还提供移动包含嵌入式GPU的应用芯片Tegra品牌系列。其中Tegra和其他公司嵌入式GPU SoC主要用于手机不同，主要用于汽车领域。
（2）美国系统级SoC芯片公司：Qualcomm。Qualcomm拥有自主GPU品牌Adreno。Qualcomm将Adreno GPU和来自ARM授权的CPU组成SoC芯片产品销售，产品广泛用于移动领域包括手机和平板电脑。Qualcomm在2009年之前采用图形芯片设计公司ATI的Imageon平台。2009年之后Qualcomm使用购自AMD的“向量绘图与3D绘图技术”，并发展为自己的GPU品牌Adreno。
（3）日本芯片公司：DMP和Takumi。DMP的GPU主要用于任天堂游戏机，Takumi的GPU主要用于数码相机。
（4）中国芯片公司：长沙景嘉微电子、上海兆芯。长沙景嘉微电子公司的GPU技术源自国防科大，推出的GPU芯片完全军用，主要客户是中国航空无线电电子研究所。上海兆芯集成电路公司的GPU技术源自威盛电子旗下合资的S3 Graphics，目前推出了包含自主知识产权GPU的Elite系列SoC。
（5）国际IP架构授权公司：ARM（英）、Imagination Tech（英）和Vivante（美）。ARM（2016年被日本软银收购）提供Mali系列GPU，Imagination Tech提供PowerVR系列GPU，Vivante公司（美国公司，2015年被上海芯原收购）提供GC系列GPU。这三家公司的业务是IP核授权模式，不直接提供芯片。客户获得IP核授权后，整合入SoC产品，多用于移动领域。APPLE公司原先使用Imagination Tech的GPU，但今后将自行开发。
2 GPU专利分析
本报告检索了GPU领域相关技术专利，主要是GPU硬件技术，包括GPU架构、管线、着色器、纹理单元、光栅化单元等等，也包含部分处理器通用技术如线程调度、指令缓存等，并且不排除部分和硬件结合紧密或具有相同名称（或关键词）的软件技术[3]。专利检索方法为限定国际专利分类IPC和联合专利分类CPC，以及GPU相关各结构组成并限定“GPU以及其同义词”为关键词，最后剔除噪声。IPC和CPC限定为G06F、G06T、G06N。专利检索截至日期为2015年12月31日前公开（公告）专利。检索时间为2016年9月，分析数据不包含该日期之后检索工具收录的2015年12月31日之前公开（公告）的专利。
本报告专利检索采用法国Questel公司的Orbit系统的专利家族库，即Fampat库[4]。对全球和中国专利数据分析采用Orbit系统的分析功能，专利引证分析排名采用Questel公司Intellixir专利分析系统（分析数据源从Orbit检索结果中导出）。如无特殊说明，本报告中专利分析对象为专利家族的，数量单位为“个”；分析对象为单件专利的，数量单位为“件”。检索分析专利类型包含发明（美国专利含申请和授权专利，中国专利含公开和授权公告）和实用新型，不包含外观专利设计。
GPU技术专利趋势分析结果具体如下：
（1）从专利年度趋势看，截至2015年在GPU技术领域全球共计6522个专利家族，其中1766个家族有中国专利。GPU技术领域全球专利公开有三波增长，特别是2010年以来较快一波增长，复合增长率高达12%；并且自2013年开始每年的公开数量均超过五百专利家族。近三年中国专利公开量较多，每年公开数量都超过二百个家族。
（2）从全球专利公开国看，GPU专利全球布局重心在美国。其中超过总数80%的5459个专利家族有美国专利，剩余世界五大专利局的中日欧韩分布也排名靠前，均有超过10%专利家族有该国专利布局。从各国公开趋势来看，在美国、中国和韩国专利布局比重呈逐年上升趋势。
（3）从专利技术趋势看，全球GPU领域专利IPC排名前三的分别是G06T15/00（三维图像的加工）、G06T1/20（通用图像数据处理的处理器结构；处理器配置，如流水线）和G09G5/00（阴极射线管指示器及其他目标指示器通用的目视指示器的控制装置或电路），并且近三年全球GPU专利在IPC总数排名靠前的两个领域比重有显著增加。
（4）从专利权人分布看，全球GPU技术领域专利数量排名前20的公司占有全球70%的GPU专利，GPU专利技术相对集中。排名靠前的公司以美国居多，其次是英国（ARM和Imagination Tech）。日本游戏公司索尼电脑娱乐公司和任天堂公司也有少量GPU专利。除台湾VIA公司外，排名前100的没有中国专利权人。GPU技术领域全球专利家族持有数量排名前三的分别是NVIDIA，Intel和AMD，它们的GPU技术研发都有二十年，历经整个GPU发展历程。其中NVIDIA最早提出GPU定义，其持有专利数量占全球总量的近20%。微软的多媒体编程接口DirectX被GPU普遍支持，微软持有的GPU相关专利数量也有两百多件，大部分专利为架构、渲染流程以及软硬件接口和资源映射类。截至2015年底，单个中国专利权人仅持有个位级别数量的GPU技术专利家族。例如长沙景嘉持有11个专利家族，上海兆芯有7个专利家族。
（5）从重点发明人看，排名第一的JornNystad自2003年开始有GPU技术专利申请，是ARM推出的ASTC贴图压缩格式的发明人之一，专利大部分和图块存储和压缩相关。排名第二的Michael Mantor是AMD首席架构师。他在1999年进入ATI公司（随后AMD），一直负责GPU架构的研发，其相关GPU产品包括2000年R100以来的所有世代Radeon GPU、Xbox 360里的GPU、Xbox One/PS4里的半定制APU、AMD HSA异构系统架构等。排名第三和第五的Michael FDeering和Michael G Lavelle都是Sun Microsystems公司的架构工程师，3DRAM联合发明人。两人经常合作开发3D图像加速卡，合作时通常MichaelLavelle是主要架构师，Michael FDeering担任顾问架构师。排名第四的John Erik Lindholm在1997年加入NVIDIA，现任NVIDIA资深杰出架构师（Senior Distinguished Architect）[5]。他是NVIDIA系列GPU核心的顶点渲染器和T&L单元的架构师，也是NVIDIA首款统一渲染架构GPU核心G80的shader引擎设计的主要项目工程师（the lead project engineer），是NVIDIA统一渲染器核心架构的核心专利系列发明人之一[6]。
（6）从专利引证排名看，全球GPU领域专利被引用被引用最多的专利是NVIDIA公司的1997年申请的US6697063专利，该专利和渲染管道系统相关。专利发明采用了双重深度机制（doule-z），使用扫描/深度引擎将扫描转换/深度缓存处理从一般的光栅化和渲染处理中隔离出来的。扫描/深度引擎外部表现为片段（fragment）生成器，在内部解决可见性问题，只让管线剩余部分的可见基元（primitives）建立和可见片段渲染，因为节省了光栅化和渲染需求，故能够节省硬件成本。被引用次数排名第二的专利US5594854（3DLAB，已过期）是关于图形渲染硬件中的亚像素校正技术。排名第三的US5886701（微软，已过期）发明了渲染架构中的分块技术，用来解决传统的实时帧缓存。
3 总结和建议
基于以上GPU专利分析，结合相关信息，我们的结论是：
（1）全球GPU技术专利数量保持持续较快增长速度，GPU技术专利近五年的复合年增长率超过12%。
（2）美、英、日、韩专利权人是GPU技术主要来源，尽管这些专利权人重点布局的国家不尽相同，但基本从GPU发展初期就已经开始全球布局。
（3）全球GPU专利技术相对集中在较少专利权人手中，专利数量排名前7的公司持有超过全球50%的GPU专利，排名前20的公司持有全球70%GPU专利。
（4）GPU技术专利持有数量和市场份额并不完全对等，市场份额是由GPU产品架构适合应用的细分领域决定。
（5）我国原生GPU企业，历史短，专利数量极少且布局仅在国内。上海两家GPU企业非原生技术，均为并购所得，所持专利数量少，市场拓展认为艰巨。
鉴于GPU产业发展机遇及其技术在人工智能中的重要性，国内GPU企业积累薄弱的现状，我们对上海下一步GPU技术发展、市场创新的建议如下：
（1）抓住当前新型智能终端对图形计算的刚性需求，组织发挥好国内已有的产业新秀，抢占GPU（及异构计算HSA）技术推广应用高地，并形成专利新集群。GPU的主要用途仍是3D网游中渲染图形，这个领域中国内现有的腾讯、万达等大型网游、影视公司和华为、海康等手机、机顶盒、电视机、安防、计算机终端厂商，给国内外GPU开发者提供与国际同步的参与机会。GPU的另一个主要用途是诸如工业设计软件三维图像生成等工业领域应用。建议组织好行业内的手机、游戏方案公司和软件工具公司等优势企业参与竞争，从而产生新技术点突破和专利布局新机会。
（2）充分利用国际资源，重视GPU全生态链建设，包括GPU设计制造生态链、GPU开发环境生态链和GPU应用创新生态链，适当引导项目支持和投资布局。在GPU设计制造生态链方面，当前重点还是抓住GPU IP在SoC中的集成整合，比如引导华为、展讯、兆芯等SoC公司对GPU IP进行充分消化后的应用提升，同时考虑向苹果公司一样形成自己的GPU力量。在GPU开发环境生态链方面，API接口等各类函数库是支撑和连接GPU、OS与APP的关键结点，当前尤其应发掘培养和引进这方面开发工具库公司，如阿依瓦ALVA System。在GPU应用创新生态链，主要是抓住基于GPU高性能计算，结合图像识别、机器学习等人工智能应用机会，将GPU和/或异构计算的能力发挥出来。
（3）在自身技术提升的同时，扩大技术来源，积极参与国际收购和专利收购，快速提升GPU技术积累水平和客户渠道来源。从GPU发展历史来看，当前几大GPU设计厂商中无一不是采用了收购快速或长期与GPU公司合作而壮大自身实力。NVIDIA从2000年先后收购了3dfx、Exluna、MediaQ、Hybrid Graphics等十数家公司才逐渐发展壮大。Intel通过收购2D显示设计研发领域领先的Chips And Tech公司，获得了研发2D显示核心的能力，之后又收购了REAL3D公司20%股份，逐步夯实自己的GPU设计能力。之前上海的两家公司得益于并购，已经积蓄了一定的能力并用于产品开发。下一步应充分消化吸收已收购的技术，并持续寻找新的技术收购来源，保持技术特色和优势。
参考文献
[1]Nvidia. Graphics Processing Unit (GPU) [EB/OL].http://www.nvidia.com/object/gpu.html,2016-10-10.
[2]AMD发布FirePro W9000GPU和FirePro A300APU以及多款专业图形显卡[J]工业设计，2012（08）.
[3] 常轶松.面积带宽优化的嵌入式GPU可编程着色器体系结构研究[D].天津大学博士论文，2013-06-01.
[4]Theenrichedstrictfamily:allequivalent priorities of the familymustbeidenticalandbasedontheinvention. Orbit, 201101_family_descriotion.pdf[M].法国Questel公司.
[5] Erik Lindholm[EB/OL].https://www.linkedin.com/in/erik-lindholm-b59b223
[6] Arun.NVIDIA CUDA Introduction [EB/OL]. https://www.beyond3d.com/content/articles/12，2007-2-16
