引言
笔者前几天参加了交大闵行校区旁边的CCF CAD/CG 2023学术会议,并不是成果介绍,只是组里报销报名费去开开眼界而已(
主要内容包括业界大佬的vision演讲和顶会顶刊(主要tog、siggraph asia等)成果介绍,简单记录一下这几天的见闻、收获和感想。
---分割线---
第一天开幕式后是几位行业大佬的特邀介绍,院士主要讲学术界的宏观视野,企业代表主要讲应用、企业成果与遇到的挑战。印象比较深刻的是一位院士的这样PPT:
可能也是历史和场合的原因吧,笔者听下来感觉图形学在中文圈最主要的应用还是赋能生产、智能工业化等等。更高质量是渲染是为了展现更漂亮的产品演示与交互、更真实的模拟是为了更精确自动化控制与建模....至于电子游戏,得和教育放在一起才有资格略微在摆在元宇宙后面。笔者自己作为还算半个游戏圈的人忍不住戏谑一句,这对于图形学和显卡硬件是否算一种忘记初心(
大概也能从这些发言中多少窥见一些工业学术界大佬的立场态度,可能在他们看来图形学就是一种可以和电子游戏划清界线的生产力工具,而我们游戏人则对此难以苟同。这次大会的成果在背景介绍也大多面向工业生产等,偶尔有提到一下娱乐算是不失客观性的勉为其难(
---分割线---
第二点说说笔者观摩到牛人组研究工作的一些特点,举个例子,北大刘利斌老师的演讲标题是“多模态和物理驱动的数字人动画”,笔者期初以为是比较底层通用的系统性工作,实际内容是根据真人说话音频(应该是录音,非实时)+prompt(文字/图片/视频)为虚拟角色生成演讲手势,比如像川普演讲时喜欢做拉手风琴的那种。
具体内容包括语音节奏与含义的解耦与识别,对模糊的手势含义归类区分,构建隐空间,实现对应关系,生成流畅的手势,以及之后加上prompt的风格化,比如同样一段语音加上愤怒的、失落的、快活的描述词,或使用瑜伽视频甚至动物图片为手势赋予风格。
笔者这几天看下来发现很多厉害的组的成果,特别是tog和siggraph,多数面向一个比较细的任务需求,比如例子讲到的通过录音生成演讲协同手势,相对于演讲标题“多模态和物理驱动的数字人动画”细化了非常多。个人认为,从出成果的角度来讲越细分竞争者相对越少,更容易做出novelty,虽然相关工作也会少一些,但总体利大于弊。其次是大多cg顶级成果工程量非常大,比如例子里粗浅地就能分为音频处理、手势建模、对应关系与迁移、多模态风格化四个模块,每个单拎出来在技术和开发上工作量都不小。
笔者得到的启发是在cg(可能不止cg)想提高发文章效率,可能一开始也选相对细一些的任务会比较好,不至于像上文例子那么高大上,但在一些小地方也许还是有文章可做,比如针对自己的任务整个新数据集,多加限定词让研究避开硬碰硬的对比等等。拿cv的目标检测举例,在经典任务上硬刚cifar imagenet coco这类经典数据集,如果不是能做出革命性成果,显然发文难度要大于研究xx场景中xx条件下针对xx类物体的xx特征检测,做个数据集,sota方法泛化性不好,自己的好,思路就打开了。
---分割线---
某场物理模拟专题刚开始:“嗯?这个声音和名字好像有点熟悉?”
寄,几天前还在看老师的课来着:
讲下整体感受,可能和个人选择场次有关(有的分会场同步进行)。
首先做渲染的工作很少,主要在探索光追和神经渲染,包括去噪算法减少采样提高光追性能、在神经渲染管线构建类似光栅化gbuffer的机制(浙大鲍虎军老师团队)、较大神经场景的反射、透明物体的辐射场等。这基本符合目前的认知,经典光栅管线学术上进展空间比较有限了,可能更多在引擎和工程上的创新,于是简中学术圈为数不多的渲染工作集中在神经渲染和优化光追。
鲍老师的工作给人印象深刻,他们尝试探索一种完全基于光追和神经几何的管线,这种做法的优势是由于基于光追,可以更自然地实现全局光照,但也存在许多需要解决的问题,比如神经几何编辑困难(具体表达形式五花八门)、没有成熟的光照建模(最显著表现是连续帧之间光照闪烁不稳定)、硬件支持不充分(性能低)等等,有机会整理整理再仔细讨论好了。
做几何的很多,包括特殊用途的几何(比如拟合展开不变形曲面)、不同数据类型转换(比如点云转线面体)、几何生成和处理(比如街区扫描图生成标准模型、切开mesh)等。
和CV结合的有一些,比如结合视觉感知的工作,包括图片理解,三维重建,姿态估计等,一个感想是transformer真是在cg大杀特杀,各种工作中都有出现,卷积反而不常见了。
物理模拟方向感觉有点少,除了王老师做的布料模拟,流体和空气动力这些经典应用没有看到,可能是应用场景相对较小以及研究难度较高(个人觉得物理模拟较难做到上一节提到的“找细分任务”,数学性质较强的特点容易一不小心变成拼数学硬实力),有一些加入物理模拟作为辅助模块的,比如基于物理的虚拟角色动画生成。
---分割线---
最后讲点不那么严肃的,参会不论老师学生都发了一个牌子,笔者估摸着这次会议大概把简中图形学圈一网打尽了,无论哪里都被浙大同学包围,然后是清北中科大,剩下学校同学加起来可能没有前面几个多,除了985有几个学校成果也很多,比如长春理工,杭电等,立即想到知乎“在图形学弱校读书是什么体验”的问题。笔者学校一般,个人水平很菜,说句实话开会几天挺自卑的,不过还是有不少收获,希望再好好努力吧(