我在上科大和“索菲亚”有场约会

再次走进 上海科技大学 （以下简称“上科大”），今天小编要和“索菲亚”来场校园约会！

早上九点半，13号线中科路4号口出来，由金科路左转进入中科路，步行393米后，从上科大的东门进入校园，很快就能见到她！

此刻，她正在上科大信息与科学技术学院（以下简称“信息学院”）多学科人工现实工作室(Multi-disciplinary Artificial Reality Studio, MARS实验室) 。

Let's go!

一见面，她为我演唱了一首歌曲

见到了！见到了！

你听，她为我演唱了一首歌曲。

在 上科大信息学院MARS实验室 巨型球状的穹顶光场中央，万千灯光笼罩下，“索菲亚”高歌一曲，声情并茂。

不仅能自主对话，还能模拟人类面部超62种表情…… “索菲亚”是高智能机器人模型 ，不仅拥有自主语言对话模型，而且由橡胶制作而成的皮肤使她看上去也更像人类。

上科大信息学院博士生导师、MARS实验室主任许岚教授介绍：“如果你站在‘索菲亚’面前，你会发现她的眼睛会追随你而动，会模拟人的表情与寒暄方式，非常逼真。你可以和她对话，让她做出开心、生气、惊讶等不同表情。”

现场，这神奇的一幕发生了！ “索菲亚”实时地一比一还原了人类表情！

通过使用与“索菲亚”关联的平板系统，与“索菲亚”并肩而立的朋友转头、说话、转动眼睛、微笑等一系列动作神情均被“索菲亚”完美地同步复制。

人机实时互动是更长远的学科布局

“索菲亚”之所以能够完美复制人类的动作、神情，得益于她所置身的这个穹顶光场。据悉，穹顶光场由上科大信息学院的五位本科生，利用寒假时间搭建而成，是一套用于面部几何还原和材质采集的系统。

这套穹顶光场系统能够以超高速度和精度动态扫描面部材质，捕捉表情变化肌肉运动。所得数据结合人工智能、计算摄影学、图形学等技术，能够精准地识别人的极其细微的面部结构变化，甚至皮肤材质、细致到毛孔、纹理都可以纳入数据模型中，制作出逼真的数字替身。

“这个酷炫的光影球体 拥有2000多个灯珠和60多台相机，可仿真模拟现实世界的所有光景 ，简单来说，就是用不同灯光去模拟不同光线照在不同物体表面的凹凸变化。”许岚介绍，“这套穹顶光场系统最早是用来拍电影的，为电影特效的高精度三维重建、重打光提供强有力的数据支持。目前它已经走出我们学校的实验室，在北京、青岛等影视基地服务电影行业。”

通常影视中数字角色需要影视后期手工制作，不仅人力成本高昂，制作周期也长达3-5个月。如果是要求比较高的项目，就得安排相关人员远赴好莱坞进行扫描。如今使用“穹顶光场”，2-3天内就可以生成好莱坞级别的数字人头部动态与静态资产，相比传统技术，同时实现了时间与成本上的飞跃。

事实上，除了影视行业，这项技术在教育、文旅、沉浸式演出和虚拟社交等领域都有广阔的前景。“近两年，生成式AI很火爆，穹顶光场不仅可以生成人和物体的数字资产，还可以训练机器人，实现人机实时互动，这也是我们更长远的学科布局。”许岚透露。

全球首款生产级3D AI生成工具Rodin

偷偷告诉你，这所 MARS实验室的“宝贝”很多，已经帮助产业界生成了很多宝贵的数字资产。

MARS实验室是以研究人工智能、增强现实等技术在各领域应用为重点的综合性实验室，旨在将人工智能、计算成像，增强现实、定制化芯片等技术融合实践应用，实现在交叉领域探索科技创新。

MARS实验室建设了增强现实与人工智能研究实验平台，以此开展前沿技术研究。该实验室通过穹顶光场系统这一拥有自主知识产权、具有国际领先水平的动态扫描设备，结合先进的光场成像算法，可以重建小到蛋白质结构、大到城市物的3D数据模型。

基于智能成像技术，MARS实验室孵化了大量人工智能方面的应用案例。在 智能医学领域 ，实现多尺度人体成像用于智能诊断和治疗；在 智慧城市领域 ，将实时三维重建和数据分析融入城市交通及安防管理，用于首届进博会；在 影视娱乐领域 ，将极其细微的表情变化，精准的动作捕捉以及高度还原的环境光重建等与影视特效深度结合。

孵化于MARS实验室的 影眸科技（上海）有限公司 （以下简称“影眸科技”）专注于三维生成领域的前沿技术探索，创始团队便是穹顶光场系统的研发团队。如今，影眸科技正引领着3D内容生产力革命！在2024 ChinaJoy，影眸科技正式推出 全球首款生产级3D AI生成工具——三维原生大模型Rodin。

Rodin由影眸科技和上科大MARS实验室联合开发训练，主要针对国内三维资产生成模型核心算法缺失以及自动化三维设计需求，不仅能够生成符合CG流程标准的3D模型，还能生成PBR材质并进行高质量的渲染，从而实现从文本、图片等介质到三维模型的大规模快速高效重建。

Rodin拥有15亿参数，性能上远超如meta等国际大厂的同期工作，上线几个月便已拥有数十万用户，而且大部分是海外用户。可以说，这是目前市面上唯一一个Production Ready的泛3D生成大模型。

现场，许岚展示了Rodin的预告demo，让人眼前一亮。无论你是否接触过建模，都可以快速上手，只需要跟随引导确认几何与贴图，便可以在一分钟内轻松实现3D创意。

这也是Rodin研发的意义——为每一个人提供三维内容生产力,让每一个人都能以最简单的方式生成高质量三维创作内容。未来，Rodin将为游戏制作人、3D打印爱好者等三维内容创作者打开更广阔的创意空间,成为推动游戏、文娱、XR等行业持续创新发展的重要驱动力。

值得一提的是，Rodin这一项目论文《CLAY: A Controllable Large-scale Generative Model for Creating High-quality 3D Assets》被 SIGGRAPH 2024收录并获Best Paper提名 。

此外，上科大信息学院的多项工作还获得SIGGRAPH，CVPR，DAC，VIS，MICCAI，AAMAS等顶级会议的最佳论文奖或最佳论文提名奖。

其中，获 得SIGGRAPH最佳论文荣誉提名 的是以本科四年级学生何开为第一作者完成的dresscode，展示了一种专为3D服装设计的生成式AI大模型。根据你输入的文字，它可以生成穿着状态下真实的衣物模型，还能给出所有裁片等工艺参数。

获得 CVPR最佳学生论文 的成果发现了可方便高效解决3D高斯渲染技术中“伪影”问题的新方法，解决了任意比例下“无锯齿渲染”这个行业难题；拿下 DAC最佳论文提名 的则是刚直博不久的邬一闻、陈禹阳的论文《大模型在光刻热点纠错上的应用》。

这些年轻人能够获得国际顶级学术会议最佳论文或提名 ，与MARS实验室开设学科内相关课程和应用研究息息相关。据悉，MARS实验室面向学校全体本、硕学生提供增强现实、虚拟现实等技术学习；同时结合虚拟现实与增强现实等技术特色，展开跨学科、跨学院的应用研究，为生命科学及物质科学的教学及研究工作提供支持。

作为一所小规模、高水平、国际化的研究型、创新型大学，上科大的学科和专业设置服务于国家战略和经济社会发展需求，着重培育从事科学发现、高技术创新与新兴产业创业的拔尖人才。 本科生 培养遵循“宽口径、厚基础、小规模、国际化”原则，突出通识教育、专业教育、创新创业教育。 研究生 培养注重结合重大科学设施和重大科研项目。

如今，这所“双一流”建设高校，每年只招收500名本科生！可见，能够进入上科大的学生都是拔尖人才啊！