专栏名称: 将门创投

将门是一家专注于发掘及加速技术创新激活商业价值的创业公司的创投机构。将门旗下设有将门创新服务、将门技术社群以及将门投资基金。关注领域包括机器智能、物联网、自然人机交互、企业计算。

Talk预告｜无问芯穹算法研究员袁之航：高效视觉生成 - 减少冗余计算的探索研究

将门创投 · 公众号 · 科技创业 · 2024-12-03 08:22

正文

本期为TechBeat人工智能社区第645期线上Talk。

北京时间12月4日(周三)20:00，无问芯穹算法研究员袁之航的Talk将准时在TechBeat人工智能社区开播！

他与大家分享的主题是: “高效视觉生成 - 减少冗余计算的探索研究”，届时他将探讨如何通过压缩方法和架构设计，显著减少生成过程中的冗余计算，提升推理效率。

Talk·信息

▼

主题：高效视觉生成 - 减少冗余计算的探索研究

嘉宾：无问芯穹 · 算法研究员 - 袁之航

时间：北京时间 12月4日(周三)20:00

地点：TechBeat人工智能社区

http://www.techbeat.net/

长按识别二维码，一键预约TALK！

Talk·介绍

▼

近年来，视觉生成模型的表现令人瞩目，但高质量生成通常伴随高昂的计算代价。本次talk聚焦于两大主题：后训练加速和高效模型设计。研究发现当前生成模型中存在大量冗余计算，我们将探讨如何通过压缩方法和架构设计，显著减少生成过程中的冗余计算，提升推理效率。

Talk大纲

1.背景 - 视觉生成模型在图像、视频生成领域的快速发展；扩散模型和Transformer（如DiT）在生成任务中的优势与面临的效率瓶颈；高质量生成的计算复杂度和时间成本问题。

2. 动机与问题 - 已训练模型中的冗余计算（空间、时间、条件冗余）；扩散模型逐步去噪过程中的系统性冗余；如何在不损失生成质量的前提下提升推理效率。

3. 解决方案 - 后训练加速方法（DiTFastAttn），包括Window Attention with Residual Sharing减少空间冗余、Attention Sharing across Timesteps利用时间步相似性、Attention Sharing across CFG跳过条件生成冗余（后训练加速方法实现1.8x加速比）；高效模型设计（ECAR），通过多阶段连续token生成策略与多阶段流分布建模降低计算复杂度；实验结果展示了在高分辨率生成任务中的显著加速效果（如FLOPs减少10倍，速度提升5倍）。

4. 总结 - 讨论后训练加速与高效设计的下一步研究重点；展望未来在更大规模生成任务中的应用与优化方向。

Talk·预习资料

▼

论文链接：
https://arxiv.org/abs/2406.08552

论文链接：
https://arxiv.org/abs/2406.11838
项目主页：
https://github.com/LTH14/mar

Talk·提问交流

▼

在Talk界面下的【交流区】参与互动！留下你的打call🤟和问题🙋，和更多小伙伴们共同讨论，被讲者直接翻牌解答！

你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！

Talk·嘉宾介绍

▼

袁之航‍‍‍‍‍‍‍‍‍

无问芯穹 · 算法研究员

袁之航本博毕业于北京大学，是一位专注于高效人工智能（Efficient AI）的算法研究员。他在多个国际会议和期刊上发表了论文，包括CVPR、NeurIPS、ICLR、ECCV、ISSCC、DATE、HPCA、TPAMI和TCAD等，被引用次数超过1000次。目前，袁之航在清华大学的NICS-EffAlg团队以及创业公司无问芯穹进行高效人工智能相关的研究。