专栏名称: AI算法与图像处理
考研逆袭985,非科班跨行AI,目前从事计算机视觉的工业和商业相关应用的工作。分享最新最前沿的科技,共同分享宝贵的资源资料,这里有机器学习,计算机视觉,Python等技术实战分享,也有考研,转行IT经验交流心得
目录
相关文章推荐
青年文摘  ·  他可不是一夜爆红。 ·  2 天前  
冯唐  ·  一个人最顶级的教养,就是从不拆穿 ·  3 天前  
51好读  ›  专栏  ›  AI算法与图像处理

ICLR 惊现[10,10,10,10]满分论文,ControlNet 作者新作,Github 5.8k 颗星

AI算法与图像处理  · 公众号  ·  · 2024-12-02 22:34

正文

来源丨机器之心
编辑丨极市平台

导读

四个 10 分!罕见的一幕出现了。

您正在收看的,不是中国梦之队的跳水比赛,而是 ICLR 2025 的评审现场。

虽说满分论文不是前无古人,后无来者,但放在平均分才 4.76 的 ICLR,怎么不算是相当炸裂的存在呢。

https://papercopilot.com/statistics/iclr-statistics/iclr-2025-statistics/

这篇征服了列位审稿人的论文,正是 ControlNet 作者张吕敏的新作 IC-Light。我们很少看到一篇论文,能够让四位审稿人给出高度一致的「Rating: 10: strong accept, should be highlighted at the conference」。

早在向 ICLR 投稿之前,IC-Light 就已经在 Github 上开源半年了,收获了 5.8k 的星标,足见其效果之优秀。

最初版本是基于 SD 1.5 和 SDXL 实现的,而就在前几天,团队又推出了 V2 版本,适配了 Flux,效果也更上一层楼。

感兴趣的朋友们,可以直接试玩。

  • Github 项目: https://github.com/lllyasviel/IC-Light?tab=readme-ov-file

  • V2 版本: https://github.com/lllyasviel/IC-Light/discussions/98

  • 试玩链接: https://huggingface.co/spaces/lllyasviel/IC-Light

IC-Light 是一个基于扩散模型的照明编辑模型,可以通过文本精准控制图像的光照效果。

也就是说,要放在 PS 里打开蒙版、打开 alpha 通道,调试明暗分离才能搞定的光影效果,用上 IC-Light,就变成了「动动嘴皮子的事」。

输入 prompt,要让光从窗户里打进来,于是就能看到阳光透过雨后的窗户,在人物侧脸打出柔和的轮廓光。

IC-Light 不仅精准地还原了光线的方向,还精准地呈现了光透过玻璃的漫射效果。

对霓虹灯这样的人工光源,IC-Light 的效果同样出色。

根据提示词,原本在教室里的场景立马爆改赛博朋克风格:霓虹灯的红蓝双色打在人物身上,营造出深夜都市特有的科技感和未来感。

模型不仅准确还原了霓虹灯的色彩渗透效果,还保持了人物的一致性。

IC-Light 还支持上传背景图片,来改变原图的光照。

而说到 ControlNet,大家应该都不陌生,它可是解决了 AI 绘画界一个老大难问题。

Github 项目:https://github.com/lllyasviel/ControlNet

之前,Stable Diffusion 最让人头疼的就是无法精确控制图像细节。不管是构图、动作、面部特征还是空间关系,即便提示词已经做了很详细的规定,但 SD 生成的结果,依然要坚持 AI 独特的想法。

但 ControlNet 的出现就好像是给 SD 装上了「方向盘」,许多商业化的工作流也因此催生。

学术应用两开花,ControlNet 在 ICCV 2023 摘下了马尔奖(最佳论文奖)的桂冠。

虽然很多业内人士表示在卷得飞起的图片生成领域,真正的突破越来越难。但张吕敏似乎总能另辟蹊径,每次出手都能精准命中用户需求。这一次也不例外。

在现实世界中,光照和物体表面的材质是紧密关联的。比如你看到一个物体时,很难分清楚是光线还是材质,让物体呈现出是我们眼中样子。因此,在让 AI 编辑光线时,也很难做到不改变物体本身的材质。

以前的研究想通过构建特定的数据集来解决这个问题,但收效甚微。而 IC-Light 的作者发现用 AI 合成生成的数据加上一些人工处理,能达到不错的效果。这个发现对整个研究领域都有启发意义。

ICLR 2025 刚放榜之时,IC-Light 就凭借「10-10-8-8」稳坐最高分论文的宝座。

审稿人们在审稿意见里也不乏赞美之词:

「这是一篇精彩论文的典范!」

「我认为所提出的方法和由此产生的工具将立即对许多用户有用!」

在 rebuttal 结束,补了一些参考文献和实验之后。那两位给 8 分的审稿人也欣然改成了满分。







请到「今天看啥」查看全文