专栏名称: 小白学视觉
本公众号主要介绍机器视觉基础知识和新闻,以及在学习机器视觉时遇到的各种纠结和坑的心路历程。
目录
相关文章推荐
进出口银行  ·  奋进的春天丨不负春时农桑忙 ·  14 小时前  
银行家杂志  ·  再论信托公司的业务本源 ·  2 天前  
进出口银行  ·  助民企 赋新能 | ... ·  2 天前  
51好读  ›  专栏  ›  小白学视觉

聊聊diffusion和AIGC

小白学视觉  · 公众号  ·  · 2023-03-02 10:05

正文

AI绘画属于AIGC分支之一, 热潮与争议之中,2022年 甚至 冠以 “AIGC元年”。而 随着 AI 绘 的火 ,其背后用到的核心技术之一 Diffusion Model(扩散模型) 在图像生成领域大红大紫,甚至风头已经隐隐有开始超过 GAN的趋势了 。

原理图可以看出,输入的文本首先经过编码, 由一个文字转图像的扩散模型转化为64*64的小图, 从而 利用超分辨率扩散模型对小图进行处理,在进一步的迭代过程中提升图像的分辨率,得到最后的生成结果——一张1024*1024的最终图像。

扫码领diffusion必读论文

预约AIGC大咖公开课

Diffusion model最大的优势是 训练简单。 它借助图像分割领域的UNet,训练loss稳定,模型效果非常好。相比于GAN需要和判别器对抗训练或者VAE需要变分后验,diffusion model的loss真的是太简单了。diffusion model只需要“模仿”一个非常简单的前向过程对应的逆过程即可。这样简单高效的训练也使得diffusion model在许多任务中的表现都非常好,甚至超过了GAN。

整体上来看,diffusion model领域正处于一个 百花齐放 的状态,这个领域有一点像GAN刚提出来的时候,但目前的训练技术让diffusion model直接跨越了GAN领域调模型的阶段,而是直接可以用来做下游任务。这个领域有一些核心的理论问题还需要研究,这就给科研从业者提供个很有价值的研究内容,有很多idea都可以被激发出来,同时由于这个模型已经很work了,它和下游任务的结合也才刚刚起步,有很多地方都可以赶紧占坑。而未来随着diffusion model中存在的问题的解决,diffusion model将逐渐占据深度生成模型的主导。

3月8日, 我们邀请顶会论文大佬、顶会审稿人Nick老师,来和大家聊一聊3D AIGC的方方面面,作为未来最有潜力,落地应用最广的研究方向之一,AIGC真的吸足了眼球,而Nick老师也将从AIGC出发,讲解它的落地场景,研究方向以及可能的创新点

扫码免费预约定顶会大佬直播课

限前一百名粉丝

文末领福利

要高效做科研 掌握方法、 合理利用自身可用资源 很关键! 结合身边学弟学妹以及自己的科研成长经历 ,发现大家 普遍缺乏系统的科研知识体系, 很难写出一篇合格的文章。 更别提发现好的创新点和 idea

做科研发论文从结果上,其实可以分为以下三类:

  1. 发现一个新方法,并将其运用在一个已知的问题之上 (老问题新方法)

  2. 发现一个新问题,并将一个已知的研究拓展到这个问题之上 (新问题老方法)

  3. 发现一个新问题,并且提出一个新方法用以对其进行分析研究 (新问题新方法)

以难以程度来考量的话, 新问题老方法<老问题新方法<新问题新方法。

所以,大家都头疼的创新点和idea,其实也有方法论,掌握了之后,就会比较容易找到一个idea~

想“idea”,有两宝——模型+算法

模型,可以理解成system model中的部分,可以是现有问题模型的拓展延伸, 其实,这就叫创新,只要你做的是别人还没研究或者研究很少的,就已经可以算创新了。

当你提出了一个模型,就要选择一个合适的算法来解决模型中的问题。 可以是寻找合适的算法根据自己的场景合理地进行改进,就已经是一个很棒的想法了。

对于科研新手来讲,如何踏出科研的第一步至关重要,确定一个研究方向,确定选题,然后找到创新点,获取 idea ,写出论文,这条打怪升级的道路,可以有简单模式,也可以有复杂模式, anyway ,无论是哪种模式,有大神的指点都会轻松许多。

扫码免费预约定顶会大佬直播课

限前一百名粉丝

文末领福利

文末福利






请到「今天看啥」查看全文