前言

最近SD又火了一把,原来sd的打光,在contrnet里需要几个光的图像一起配合才能生成差不多的光效,而现在不需要那么麻烦啦!ControlNet作者推出控制图像光照的新项目,目前已经发布在Github上,该项目有两种类型的模型,分别是:

No.1 文本条件重新光照模型:

从原图分离主体之后通过提示词生成符合光照要求的背景同时主体除了光照之外和原主体一致。

Lighting Preference只是初始潜在值。例如,如果照明首选项为“左”,则初始潜在值是左白右黑。

提示:美丽的女人,细致的脸,温暖的气氛,在家,卧室

照明偏好:左

提示:美丽的女人,细致的脸,窗外的阳光

照明偏好:左

提示:美女、细致的脸庞、阳光、户外、温馨的氛围

照明偏好:右

该 IC-Light 光效插件已备好,请看下方扫描获取哦

提示:美丽的女人,细致的脸,窗外的影子

照明偏好:左

提示:美丽的女人,细致的脸,海上的日落

照明偏好:右

No.2 背景条件模型:

给定背景图片和前景主体,会自动生成环境光,保证背景和前景的融合。背景条件模型不需要仔细提示。只需使用“帅哥、电影灯光”等简单提示即可。

给指定一致的光

在 HDR 空间中,照明具有所有光传输都是独立的属性。

因此,不同光源的外观混合相当于混合光源的外观:

以上面的灯光阶段为例,来自“外观混合”和“光源混合”的两个图像是一致的(理想情况下,在 HDR 空间中数学上是等效的)。

在训练重新照明模型时,我们强加了这种一致性(在潜在空间中使用 MLP)。

因此,该模型能够产生高度一致的重新光照 -如此一致,甚至可以将不同的重新光照合并为法线贴图!尽管事实上这些模型是潜在扩散的。

从左到右依次是输入、模型输出、重新照明、分割的阴影图像和合并的法线贴图。请注意,该模型未使用任何法线贴图数据进行训练。这个正常的估计来自于重新点亮的一致性。

您可以使用此按钮重现此实验(速度慢 4 倍,因为它重新点亮图像 4 次)

以下是更大的图像(请随意尝试以获得更多结果!)

最后需要注意的几点

iclight_sd15_fc.safetensors - 默认的重新照明模型,以文本和前景为条件。您可以使用初始潜伏来影响重新照明。 iclight_sd15_fcon.safetensors - 与“iclight_sd15_fc.safetensors”相同,但使用偏移噪声进行训练。请注意,在用户研究中,默认的“iclight_sd15_fc.safetensors”稍微优于此模型。这就是为什么默认模型是没有偏移噪声的模型的原因。 iclight_sd15_fbc.safetensors - 以文本、前景和背景为条件的重新照明模型。

目前项目地址已经在GitHub上发布

插件获取请看下方扫描获取哦

写在最后

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。  

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

若有侵权,请联系删除

推荐链接

评论可见,请评论后查看内容,谢谢!!!
 您阅读本篇文章共花了: