对于从事设计工作,尤其是在乙方做设计的朋友,最大的痛苦莫过于甲方的那一句“我想要五彩斑斓的黑”。
这是设计相关的段子,设计师们在工作中面临的处境会更复杂些。老板/甲方往往无法清楚表达设计需求,就算发来了案例图,自己终于理解了他们的要求,但忙活到最后却只能换来他们的一句“我要的不是这种效果”。
老板和设计师的艺术素养、艺术审美有所不同,无法相互理解从而大大增加沟通成本、降低工作效率。
说多了都是泪,打工人绝不为难打工人🙈今天小编给大家带来了无界AI 全新上线的两个功能——风格参考和结构参考,可以说是设计师朋友的福音!
只需要上传一张图,就能实现风格的完美复刻,此外,还可以根据原图的角色、构图绘制新图。
设计师可以根据甲
方的案例图批量出图,通过调整提示词和参数的权重“交作业”,不用再加班加点。
就算你不是设计行业从业者,也能通过此功能自制心仪风格的图片。
按以往的做法,如果想要按照某个艺术风格稳定地出产作品,就要训练特定的风格LoRA,一方面是需要足量的图片数据用于训练,另一方面过程也相对繁琐。
除了以上做法,在无界AI,元素融合同样可以做到风格的复制,但功能也仅仅止步于此。(点击
《元素融合 | 如果设计师用上了AI:给我1件衣服,还你100+花样设计,只要半天!》
查看详情)
此外,
使用之前的一些方法进行风格的复制,很容易发生“内容泄露”的问题,即原本只是想学习风格,但是新生成的图像会带有原图的部分画面。
无界AI此次上线的风格参考很好地解决了这一问题。
它利用了两个关键的方法:
内容与风格分离和只往特定的风格块注入特征。
先是通过一个步骤对提示词的内容进行提取,再通过另一个步骤提取图片的风格。这样,就能够清晰地区分并独立处理“内容”和“风格”,使得风格的应用更精准。在深度网络里,有些特定的层特别擅长处理风格信息。于是,就只把风格相关的信息放入这些层,保证风格信息的准确传达,不会影响到图片的内容,从而避免内容与风格的混淆。
在无界AI普通版,“风格参考”、“角色参考”、“结构参考”可以在“高级设置”中找到。之后,在专业版的“元素融合(IP-Adapter)”下也可以找到。
“风格”是一张图片给予观者的整体感觉,囊括众多元素,比如色彩、氛围、材质等。使用“风格参考”,在同一段提示词下,上传不同的风格图,会产生截然不同的效果。
以下所有生成图的提示词均是“一个漂亮的女孩”,参考强度1.0。
参考强度可选范围是0~4,从以上实例可以看出,当强度为1时,其实就可以做到风格复制了。那么,风格强度的选择对画面会产生怎样的影响呢?
模型:NJXL V5
参考强度:1.0
提示词:一个小男孩
模型:NJXL V5
参考强度:4.0
提示词:一个小男孩
模型:NJXL V5
参考强度:1.0
提示词:一只猫
模型:NJXL V5
参考强度:4.0
提示词:一只猫
即使提示词是“小男孩”,但如果强度过大,原图的动物脸就会发生泄露。当参考强度较低,提示词是“一只猫”时,画出的猫不会具备拟人化“直立”的特征。
当强度小于2时,模型在画图时只会学习参考图的风格,一般不会有内容泄露问题。当强度在2~4之间时,模型会学习更多参考图的元素,比如画面主体的部分物理属性,就像示例中动物直立这一点。
“结构参考”会学习参考图的画面构图和空间结构。这和条件生图(边缘检测、轮廓识别、线稿提取、深度检测等)有所不同。使用条件生图功能,模型在画图过程中会受到更多约束;“结构参考”让模型在绘制画面内容时更加自由,不会和参考图完全一样,但是参考图的整体内容可以得到迁移,大量元素会被保留下来。
模型:家居设计
提示词:客厅,白色沙发,木地板
参考强度:1.0
可以看到,在不使用“结构参考”的情况下,模型只会根据训练的数据集随机地出一张客厅图。一旦上传参考图,模型就会学习参考图的画面元素,比如客厅的空间感。即使提示词中没有餐厅这个空间,模型也依然会根据参考图画出来。
同样的道理,用在人物身上,结构参考可以很好地学习参考图中人物的动作。下图是使用NJXL V5生成的图片——
提示词中没有舞台、吉他,但是模型会在参考图的提示下生成这些元素。
有朋友可能会想,既然风格参考可以复制风格,结构参考可以学习构图,那如果两者结合起来,是不是可以画出梵高笔下的蒙娜丽莎?