撰 文 | 郭陈韵 中山大学管理学院硕士研究生
朱沆 中山大学管理学院教授
2024年4月26日,南方航空首次正式对外发布中国高等级民航模拟机,由腾讯共同研发的全自研高等级视景系统随之亮相。这套视景系统是国内首套通过民航局CCAR-60最高等级D级鉴定的、基于游戏科技和自研虚像研发的全自研视景系统,标志着它完全符合中国民用航空规章的最高等级要求,已具备正式应用于飞行员训练,并迈向商业化应用的条件。这套新研发出的视景系统能够紧密结合我国的地形地质、气象等实际情况,赋予国内民航更大的自由度去定义和开展训练科目,极大地提升训练的针对性和实效性。同时,该系统基于数十个专利开发形成,也由此开启了广泛的民航应用空间,包括直升机低空训练、无人机操控、eVTOL飞行体验、飞行汽车模拟、无人机快递模拟、通航飞行模拟训练等多个领域,可为我国发展民航新质生产力注入新活力。
全动飞行模拟机是民航飞行员训练的核心装备,视景系统是其中最为重要且难度最高的技术单元之一,它需要在座舱的超过200°视角的虚像上通过多个投影仪精准呈现飞行员飞行过程中眼睛所见的景象。由于视觉信息占据了飞行员获取信息的70%,是其飞行决策的主要依据,视景系统的拟真度和效果对于飞行训练非常关键。然而,视景系统的技术门槛极高,涉及航空科技、信息技术、计算机软件、虚拟现实和自动控制等核心技术,其研发生产长期以来一直由欧美企业主导,然而即便这些欧美企业,面对技术进步和民航业发展越来越高的要求,也开始向外寻求技术合作。
要精准模拟飞行过程中在驾驶舱内可见的机场、城市建筑、周边地形地貌和气象条件等要素,视景系统需要兼顾多重因素,有着较为复杂的技术要求。首先,民航飞行模拟机对视景系统的稳定性、多屏幕同步性、信号传输延迟等有着极高的要求。视景系统的画面需要保持稳定和流畅,每秒更新至少60帧;为了模拟真实的飞行环境,视景系统需要借助复杂的光路系统,通过三台投影机将图像投射到220°的曲面幕布上,为保证驾驶舱内飞行员能够同步获取信息做出判断,多屏呈像的时间误差需要控制在毫秒级,否则会影响飞行员的视觉体验,还可能干扰两位飞行员的飞行训练效果。
其次,为帮助飞行员准确获取信息,及时调整飞行操作,视景系统需要精确呈现物体的位置。由于飞行器速度快,飞行距离远,需要在准确刻画地球自然曲面的立体空间上标示物体的精确坐标。对此传统游戏引擎的平面坐标系统已无能为力,必须采用更为精细的曲面坐标系统(如国际WGS-84和国内GCJ-02标准),由此又导致计算复杂性急剧增加。如果还要有更接近真实的呈现、对景物做更细致的渲染,对软硬件都会有很高的性能要求。早在几十年前,视景系统的行业领军企业CAE就基于开源的OpenGL开发了自己的技术引擎,时至今日发现没有办法运用新显卡的特性。另一家企业柯林斯选择自己开发显卡和引擎,双线作战更是举步维艰。这种状况导致现有的视景系统呈现机场建筑时只能显示其轮廓的几何形状,拟真性低。尽管CAE已通过PC平台的游戏图形显卡实现标准化、自动化地生成模拟场景,依然不具备快速自动化构建机场和城市建筑群的能力。在视景系统中建立一个真实机场的精确模型需要依赖人工操作,花费两到三个月的时间,模型的更新需要花费高额的成本,更不用说建立周边城市建筑群的拟真场景。2024年3月,CAE宣布与游戏公司Epic Games合作,将虚幻引擎集成到其全动飞行模拟机视景系统中并获得D级资质认证。
长久以来,国内民航企业以采购国外的视景产品为主。且不论成本,其功能亦难以满足国内民航业发展速度与个性化需求。现有视景系统在建立飞行模拟场景时,主要依据国外的飞行条件进行建模,但由于我国的地形和气象存在独特性,国际通用的视景系统标准并不能完美适配中国的飞行任务。比如,中国是世界上拥有最多高高原机场(海拔2483米以上)的国家,全球海拔最高的6个高高原机场均在中国境内。在低海拔机场,云层通常漂浮在机场上方,但在高高原机场,云层却可能处在机场下方,机场处在云雾中。针对中国特殊地形、气象条件以及不同机场遭遇的自然挑战进行个性化修改,不仅成本高昂,而且技术难度极大。考虑到当前我国民用机场等基础建设的迅速发展,视景系统中模拟地图的更新速度明显跟不上我国机场和城市建设的速度,飞行员的训练就容易与现实情况产生较多的脱节。
视景系统技术的开发受技术引擎的限制,而引擎的开发与投入的资源量并非直接的线性关系,需要长时间、多项目地打磨才能逐渐形成一个初步可靠的模型。考虑到引擎的开发投入大、耗时长、产出不确定,即便是实力强大的企业也难以在零基础的情况下,单独为自主研发飞行模拟机及其视景系统开发技术引擎。
意料之外的跨界友军
早在2019年,腾讯游戏便踏上了自主研发游戏引擎的征程。一次偶然的机会下,团队发现了飞行模拟机视景系统对自研引擎的潜在需求。游戏引擎团队于2021年12月17日亲赴海口参加飞行模拟机交流会,介绍了游戏引擎在飞行模拟机视景系统的潜在应用机会,并与南航翔翼达成初步合作意向。
在正式启动研发工作之前,游戏自研引擎团队花了近半年的时间,学习飞行模拟机相关的专业知识。正在攻关全动飞行模拟机视景系统的南航翔翼也积极配合,帮助合作伙伴尽可能熟悉这一系统。经过半年时间对视景技术的了解,游戏引擎团队开启了攀登的旅程。
腾讯跨界进入视景系统开发令人意外,但深入了解其行动逻辑,却又感觉到在情理之中。视景系统的技术难题在于如何提高“画质”的真实度以及如何降低传输延迟,关键的技术瓶颈在于缺乏合适且自主可控的引擎。
与传统工业领域相比,游戏引擎在超写实场景建构、大规模资产建模等维度有更为丰富的技术积累。随着游戏市场的持续扩张和玩家基数的迅猛增长,巨大的市场需求驱动游戏开发者紧跟市场脉搏,催生了以GPU为代表的硬件突飞猛进,并刺激了虚拟现实(VR)和增强现实(AR)、人工智能(AI)等前沿技术的突破,以提高游戏品质,满足玩家对画面、交互性和真实感的期待。广阔的商业应用场景也吸引了大量顶尖人才投身游戏开发领域,形成了技术发展的正循环。因此,游戏、电子数码、消费领域孕育着更为丰富的新兴技术。相比之下,工业市场容量较小,相关产品高昂的售价使得技术进展缓慢。同时,工业技术需要完成大量的资格认证,先发式技术垄断使得行业难以迸发更多新的活力,因此工业中技术更新迭代速度远远慢于游戏等消费级行业。
自研引擎需要长期大量的投入,且存在着较大的不确定性。正如腾讯自研游戏引擎技术负责人吴羽在访谈中所说:“现在国内投入去做自研游戏引擎的企业比较少,因为这是一个偏基础型的研究。自研面临的是不仅是投钱、投人,还有时间不确定的问题。”正是由于腾讯在游戏领域有强大的产品开发和商业应用能力,腾讯游戏业务做出了开发自研游戏引擎的决定,并持续多年投入。据吴羽回忆,当时开始开发视景系统的时候,腾讯的自研游戏引擎已经打磨三四年,而且在这前面已经做过非常复杂的项目,如数字长城等。
腾讯自研游戏引擎在当时已能够较为精准还原真实的环境数据,并拥有较强的渲染能力,在打磨技术的过程中积累了“Smart GI全局光照”“物理真实的材质PBR渲染技术”等一系列技术能力,帮助塑造高精度、具备真实立体表面质感、颜色光影与真实世界高度贴近的画面。基于上述技术,团队可以模拟不同的地形、光照和气象条件下的真实动态场景,并呈现恶劣天气,鸟击、火山灰等突发事件,从而极大增强飞行员模拟训练时的真实感。游戏引擎蕴藏着虚拟现实、数字孪生等新兴领域的巨大潜力。在飞行模拟机项目中,腾讯团队在南航翔翼的协助下巧妙地将游戏引擎技术能力与民航训练相结合,并借助游戏中常用的PCG程序化内容生成技术以及AIGC技术有效提升视景系统中地图开发的效率。在技术加持下,视景系统能够实现80%的场景自动化生成,一个机场的高精度建模时间缩短到3人天。
游戏技术的一次外溢
要让自研引擎真正“活”起来,需要在应用项目中持续地打磨它。吴羽谈到:“游戏引擎是非常复杂的系统,只有通过不同的项目去打磨,才能更快地找到较优解让它收敛。同时试炼项目的运行周期要足够长,把大部分共性问题解决后,再去做下一个问题。”实现共性问题收敛后,团队才能找到了适用于大部分游戏和渲染的最优解,并形成模型应用于更多的项目中。因此,自研游戏引擎团队除了面向公司内的游戏产品,也同时将目光聚焦公司之外,希望抓住自研游戏引擎在工业领域的巨大潜力,一方面通过不同场景下的应用不断打磨引擎,另一方面借助飞行模拟机等应用项目,助力实体产业实现迭代和革新。
与此同时,腾讯也鼓励团队将游戏科技应用到生活中的更多领域。腾讯公司高级副总裁马晓轶在公开演讲中表示:“游戏本就不是一个孤立发展的产业,自诞生以来,就始终与前沿科技相互驱动、共生发展,并积累了一系列独特的技术能力。伴随着技术的不断进步和我们认识的升级,游戏一定会融入更多经济发展与社会生活之中,释放更大的科技力量和更为丰富的价值。”在这一战略理念的引领下,腾讯自研游戏引擎团队频频涉足不同行业的交流,积极参与各类研讨会与论坛,在数字文保、工业制造、科学研究等诸多应用领域开启了应用合作。如云游长城项目,团队通过多种游戏技术,对长城进行数字化重建,让公众在线上也能“爬长城”和“修长城”,沉浸式地感受长城背后的历史底蕴和文化魅力。
对腾讯自研游戏引擎而言,参与民航模拟机视景系统项目是不可多得的磨砺机会。面对南航自研视景系统的坚定决心,团队亦深受触动:“很多领域不是必须要做的,他们如果碰到阻力,可能寻找商业级的解决方案了,不一定能坚持得下去,但南航选择自研。”这也给了团队很强的信心。他们着眼于长远,希望携手南航共同将这一技术推向成熟的商业应用,来证明对这一项目持续投入的价值:“我们觉得这个事情有可能商业化,虽然很难。但我们肯定希望这个事情能够以自我持续的方式运转下去。”
跨越游戏到工业的险阻
然而跨界亦非坦途,在视景系统研发的征途上,腾讯团队遭遇了一系列跨界所带来的严峻挑战。“游戏技术毕竟还是服务娱乐为主的技术,而工业是非常严谨的,我们介入到工业领域会遇到很多问题。在游戏里,一切以用户体验为先,对场景的准确性、精确性要求不算特别高。进入工业领域之后,我们遇到了十来个比较严重的技术问题,是现有自研游戏引擎支持不了的。”回顾开发的历程,吴羽谈到。腾讯自研游戏引擎团队需要不断适应飞行模拟机的行业标准和需求,审视与调整思路,研究新技术方案,以跨越视景系统的技术门槛。
面对一系列的挑战,腾讯技术团队积极学习,深入研究了视景系统行业的领军企业的发展动态,并通过阅读前人论文和五代模拟机系统的核心资料,广泛汲取业界的先进经验,融汇多种解决思路,采用了一系列创新性的解决方案,将游戏引擎技术与视景系统中出现的具体问题紧密结合,逐一克服难题。
在虚拟世界中构建坐标。如前所述,为精确表达地球曲面上的标志物,民航行业普遍采用极坐标系或球面坐标系来描述物体的位置。而在游戏行业中,开发者习惯于利用欧几里德平面坐标系进行定位。因此,为了满足高精度需求并确保与工业软件的数值兼容,团队着手将整个引擎中的坐标进行改造,以适应地球的空间结构。然而,团队将坐标改成曲面坐标后,编辑器又出现了越走越歪的情况。对此,团队再次调整,让编辑器横向紧贴地球移动,以此更精准地映射出地球的真实坐标。
翻译游戏与航空工程的语言。在游戏研发中,32位浮点数被视为支撑开发者创造虚拟世界的默认精度。然而,当团队构建贴近真实世界的视景系统时,32位浮点数的局限性逐渐显现。在呈现画面中心以外区域的景象时,距离越远,位置数据的精确度和稳定性就愈发难以保障。为此,团队需要提高整个引擎的计算精度。经过对航空业内顶尖产品的深入剖析,他们发现这些系统大多采用了40位精度的定点数来确保运算的准确与稳定。在权衡软件与硬件的兼容性后,团队选择了双精度浮点数作为解决方案的核心,将浮点数的精度从32位提升至64位,以满足对位置的精确表达。然而,双精度浮点计算量过大又受到显卡结构的限制。经过反复推敲与试验,他们创造性地通过建立局部坐标系,在坐标偏移时进行实时动态调整,确保在硬件性能的边界内完美服务于这一高精度的运算体系。这一突破性的技术使视景系统仅通过3块3090显卡就可以实现12K的分辨率,并凭借24GB的内存与16GB的显存就能流畅运转使用了接近1TB素材的数字场景。
打造精准的图形视觉。在游戏开发中,游戏开发者往往较少使用以斑马线为代表的重复性图案。这是因为,受图形采样技术局限性的影响,此类图案在远距离观察时,极易陷入失真和摩尔纹干扰的困境。因此,游戏开发往往限制使用这类图形。然而,在航空领域这类图案作为标线却发挥举足轻重的作用,为飞行员提供了不可或缺的数值参考。机场跑道上,每一条指示线、每一盏灯的坐标、方向、亮度都需要严格且精准的呈现,不容有丝毫差错。为了攻克这一难题,团队采用了多种尖端技术手段,包括超采样技术和时域和空域相结合的反走样技术,以实现此类图形在渲染中具备准确性和连贯性,避免任何形式的走样。
追求精益求精的环境再现。腾讯游戏引擎团队还通过多种渲染技术,对物体的材质、光影等方面进行了细致的雕琢。主流视景系统中存在的诸多不足,如山脉和云朵的表达平面化,城市建筑形状单一和细节处理粗糙,物体表面难以呈现金属、石头等材质的真实质感,空间光影的呈现生硬,以及缺乏动态光影变化带来的阴影和反射效果失真。对此,团队巧妙地运用AI算法技术,提取了建筑、山体和水域等元素的几何信息,并对卫星图中的云层进行细致的图像校正。更为“神奇”的是,他们基于生成式AI算法补充出建筑材质贴图信息,同时利用PCG程序化内容生成技术,快速在地图中重建出一个更准确的数字世界。此外,又通过Smart GI全局光照技术,视景系统还实现了24小时动态光影的渲染。
团队在开发过程中,还高度重视与使用者的对接,在开发过程中与飞行员深度沟通,充分尊重并采纳了他们的宝贵意见,确保每一项技术革新都能满足实际应用的需求。
视景系统破局之后
在项目启动两年间,团队一度汇聚了超过六十位在自研引擎领域有着深厚造诣的研发人员参与项目。
该视景系统将多屏成像时的时间误差缩短至0.1毫秒以内,并成功将画面更新率维持在每秒更新60帧,极大地提升了画面的稳定性和连贯性,为飞行员提供更为流畅的模拟驾驶体验。借助一系列创新性的技术突破,该系统实现了建模效率的十倍飞跃,大幅度缩短了开发周期。更令人瞩目的是,该视景系统提供1:1世界级的场景图像渲染效果,为飞行员提供更为逼真的沉浸式体验。全新的视景系统不仅能呈现在九寨黄龙等高高原机场起降时群山扑面而来的压迫感,还能高度拟真模拟一天24小时、不同气象条件下起降城市的景象。
腾讯互娱研发效能部总经理李从兵归纳了新视景系统的优势:“半天就能重建2000平方公里城市,3天‘生成’1个机场,数字资产制作效率提升10倍以上,多边形生成与渲染能力提升380倍,大规模视景场景渲染性能提升10倍以上,配合南航研发的高光学性能虚像技术,成像更真实、建模更高效、运行更稳定。”最终,在民航局组织的鉴定中它成为国内首套一次通过CCAR-60最高等级D级鉴定的视景系统。