腾讯两个多月前刚开源了可能是最好的开源 3D 生成模型 Hunyuan3D-1,首次支持从文本直接生成 3D 模型。
本来以为都要过年了,结果他们又整了两个大活,再次提现了游戏开发大户的 3D 流程积累。
首先是发布了混元 3D 创作引擎平台,基本上将 3D 模型处理和生成的上下游路径都照顾到了,你不仅可以在里面生成 3D 模型也可以利用 AI 对 3D 模型进行非常多的处理。
比如支持
AI 骨骼绑定、PBR贴图生成、草图生成、3D 动画生成、3D 人物生成、纹理生成等超多功能
。
另外模型层面也有发力,发布了 Hunyuan3D-2 升级版 3D 生成模型,从模型能力和精细度都有更好的表现。
混元3D创作引擎
我们以往看到的 3D 生成产品很多都是只管生成,只能上传图片生成 3D 模型之后其他的就不管了,但整个 3D 工作流是极其复杂的。
在获得了3D 模型之后针对不同的用处也会有不同的后处理要做,比如人物要动起来需要谷歌绑定,基础的白模根据不同的用处需要更换不同的贴图适应不同环境,以往这些都需要将模型放到专业工具手工处理。
有了混元 3D 创作引擎之后,3D 模型的复杂后处理效率可以变得非常高,同时对于 3D 模型不同层级的可控性也会变得很高。
文生图生3D
图生和文生是最基础的 3D 生成功能,混元 3D 创作引擎也都支持,但是比较强的是他支持直接生成低多边形和 PBR 贴图的版本。
低多边形在游戏领域非常有帮助,面数越多对硬件的计算压力也就越大,原来可能需要自己去处理,现在可以直接生成。
生成 PBR 贴图生成功能也很强大和基础的颜色贴图不同的是,PBR贴图系统相比基础颜色贴图能够创造出更加真实和丰富的视觉效果,比如它包括金属度贴图、粗糙度贴图等其他贴图。
在生成结束后混元 3D 生成引擎也提供了丰富的后处理功能,如果是人形或者动物的 3D 模型可以选择绑定骨骼,绑定结束后可以直接生成对应的动画预览,这个对于观察模型效果来说就太方便了,他们还贴心的增加了显示骨骼的能力。
如果你在前面没有选择低多边形或者像素这种低面效果,在这里也可以帮你进行后处理,而且可以自主选择后处理的强度,自由度非常高。
另外他们还提供了自定义渲染打光的能力,能够自定义光线的颜色和位置,连射灯和平面光强度都可以自定义,太强了。
3D实验室
除了基础的 3D 生成能力他们还上线了一个实验室,里面有很多新的 AI 3D 能力。
3D 动画生成:上传模型自动绑定骨骼生成预设的动画
草图生 3D:从黑白线条草图生成 3D 模型,这个的优势是可以通过文字生成不同的风格贴图
3D 纹理生成:为白模生成不同风格的贴图,比如更换颜色和材质
3D 人物生成:从人像照片生成 3D 人物,这个在元宝里面也有
这个3D 小游戏创作很好玩,而且潜力很大,可以上传你的头像照片,然后选择一个 3D 场景之后,就能
生成一个专属于你的 3D 角色在场景中交互的游戏视频
,期望以后可以有更多能够自定义的地方,比如具体更场景的交互或者用户来操控等,来看一下藏师傅生成的视频。
工作流
这个是最能体现他们这个工具野心的地方,你
可以在这里创建类似 Comfyui 的 3D 生成工作流
,能够添加不同的节点构建符合自己需求的 3D 生成流程。
比如内置的文生角色工作流,就是从输入提示词开始到生成图片然后在进行分割,然后比例标准化,每一步你都能控制,如果是物品的话就不需要比例标准化,如果需要指定动作动画就可以在后面加一个动作节点。
可以极大的提高 3D 生成自由度和效率,期待后面这个功能的发展。
Hunyuan3D-2 开源
除了产品外腾讯还开源了 Hunyuan3D 的 2.0 版本模型,
首个开源的高质3D-DiT生成大模型
。同时支持文生3D和图生3D功能。而且开源的非常完整模型算法、模型权重和推理代码等完整资源都开源了。
相较于 1.0,2.0 会先生成裸网格,再为网格合成纹理贴图。这种策略有效地将形状和纹理的生成难度分离,并提供了灵活性,以便对生成的或手工制作的网格进行纹理化。