FLUX“官方版 ControlNet”来了:景深轮廓更精准控制,共四款官方工具一齐上线
不可思议的绘图工具FLUX近日进行了深夜更新,推出了四款全新工具!
FLUX官方称,这次更新为FLUX带来了更多控制方式和可操作性。官方简短的描述并不足以展示这次更新的惊人效果。
FLUX能够通过相同的轮廓转变成各种不同风格的作品:
另外,只需一张图片,无需提示词,FLUX即可让人物展现各种动作,保持人物角色一致:
此外,还可以对现有图像进行扩展,延伸画面内容:
此次更新共包含四款创意工具:
编辑工具 fill,用于修改画面细节或扩展画面;
轮廓控制工具 Canny,类似 ControlNet;
景深控制工具 Depth,类似 ControlNet;
变换工具 Redux,可改变人物动作、画面视角 / 风格。
这些工具分为dev和pro两个版本,dev版本的代码和模型权重已开放下载,pro版本可通过API提供。同时支持ComfyUI,轻松整合至绘画工作流。
有评论指出,对于FLUX开发团队BFL来说,这是一件重大的事情,因为他们终于拥有了自己的ControlNet。
其他人表示,这些工具提升了AI绘图的可操作性,是创意绘图的一个重大突破。
四款工具一齐上线
首先是fill,它可以编辑或修复图像中的任何元素,包括文字、人物服饰等,也可加入新元素。
此外,还支持outpainting,能将图像扩展到原始画面之外。
在评估过程中,FLUX官方工具和第三方FLUX工具Alimama Creative表现出色。
同时,也赢过了先前的Ideogram,相比于SD 1.5的类似功能,优势更为明显。
以文字编辑任务为例,圈选"Beers"并更改为"Spaghetti"。
可见,官方Fill工具效果最自然,Ideogram也不错,但FLUX的字体更符合画面整体风格。
第三方插件未能匹配原始字体,SD 1.5的表现令人失望。
Canny是第二款工具,类似轮廓ControlNet,通过边缘检测精准控制图像结构转换。
对比对象包括第三方工具InstantX,SD 1.5和SDXL,结果显示FLUX.1 Canny领先。
此次测试直接提供轮廓,相比让模型自行提取轮廓难度较小。
通过提供一个轮廓,每个模型或工具需生成6张不同的图像(每个prompt两张)。
FLUX.1 Canny(Pro)的作品质感最佳,质量稳定性优秀。SD 1.5再次成为焦点。
接下来是Depth,与Canny类似,是景深控制工具。
此次对比两款第三方插件和MidJourney,FLUX.1 Depth表现最忠实,没有画面割裂情况。
在一项测试中,景深关系表现如下:
FLUX.1 Depth(Pro)对于控制景深关系最忠实,表现稳定,不像MidJourney那样有画面割裂。
这次测试结果详见FLUX.1 Depth,Jasper和Shakker两款工具,以及MidJourney。
最后是Redux,使用输入图像,FLUX能够进行各种变换,调整背景、角度、风格,并保持角色一致。
及时没有灵感,也可只输入图像让模型发挥转换无需提示词。
相较于SD 1.5和SDXL,FLUX表现卓越。
举例,测试中输入一张小猫抱着鱼奔跑的图像,无需提示词。
各模型生成的三张图,从上至下依次是FLUX.1 Redux(Pro)、SD 1.5和SDXL。
FLUX作品中,鱼和猫与原图相符,细节动作有所变化;SD 1.5生成的图像,猫和鱼完全变样;SDXL中,猫和鱼都消失了。
总体对比发现,FLUX发布的四款官方工具无论是与第三方工具还是其他模型相比,表现出色。
四款工具支持pro和dev两个版本(Canny和Depth还有完整版和LoRA版),dev版本代码和模型权重已开放下载,pro版本需通过BFL API使用。
此外,这四个工具将通过五家FLUX合作的模型平台提供,分别是fal.ai、Replicate、Together.ai、Freepik和krea.ai。
公告地址(含代码 / 权重 / 测试集下载):
https://blackforestlabs.ai/flux-1-tools/
参考链接:
[1]https://www.marktechpost.com/2024/11/21/black-forest-labs-release-flux-1-tools-a-suite-of-ai-models-designed-to-add-control-and-steerability-to-the-base-text-to-image-model-flux-1/
[2]https://x.com/fofrAI/status/1859621532550480342
[3]https://x.com/fofrAI/status/1859618518863323591
广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考。
1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。