FLUX“官方版 ControlNet”来了:景深轮廓更精准控制,共四款官方工具一齐上线

xxn 阅读:56565 2024-11-22 14:03:00 评论:0

不可思议的绘图工具FLUX近日进行了深夜更新,推出了四款全新工具!

FLUX官方称,这次更新为FLUX带来了更多控制方式和可操作性。官方简短的描述并不足以展示这次更新的惊人效果。

FLUX能够通过相同的轮廓转变成各种不同风格的作品:

另外,只需一张图片,无需提示词,FLUX即可让人物展现各种动作,保持人物角色一致:

此外,还可以对现有图像进行扩展,延伸画面内容:

此次更新共包含四款创意工具:

  • 编辑工具 fill,用于修改画面细节或扩展画面;

  • 轮廓控制工具 Canny,类似 ControlNet;

  • 景深控制工具 Depth,类似 ControlNet;

  • 变换工具 Redux,可改变人物动作、画面视角 / 风格。

这些工具分为dev和pro两个版本,dev版本的代码和模型权重已开放下载,pro版本可通过API提供。同时支持ComfyUI,轻松整合至绘画工作流。

有评论指出,对于FLUX开发团队BFL来说,这是一件重大的事情,因为他们终于拥有了自己的ControlNet。

其他人表示,这些工具提升了AI绘图的可操作性,是创意绘图的一个重大突破。

四款工具一齐上线

首先是fill,它可以编辑或修复图像中的任何元素,包括文字、人物服饰等,也可加入新元素。

此外,还支持outpainting,能将图像扩展到原始画面之外。

在评估过程中,FLUX官方工具和第三方FLUX工具Alimama Creative表现出色。

同时,也赢过了先前的Ideogram,相比于SD 1.5的类似功能,优势更为明显。

以文字编辑任务为例,圈选"Beers"并更改为"Spaghetti"。

可见,官方Fill工具效果最自然,Ideogram也不错,但FLUX的字体更符合画面整体风格。

第三方插件未能匹配原始字体,SD 1.5的表现令人失望。

Canny是第二款工具,类似轮廓ControlNet,通过边缘检测精准控制图像结构转换。

对比对象包括第三方工具InstantX,SD 1.5和SDXL,结果显示FLUX.1 Canny领先。

此次测试直接提供轮廓,相比让模型自行提取轮廓难度较小。

通过提供一个轮廓,每个模型或工具需生成6张不同的图像(每个prompt两张)。

FLUX.1 Canny(Pro)的作品质感最佳,质量稳定性优秀。SD 1.5再次成为焦点。

接下来是Depth,与Canny类似,是景深控制工具。

此次对比两款第三方插件和MidJourney,FLUX.1 Depth表现最忠实,没有画面割裂情况。

在一项测试中,景深关系表现如下:

FLUX.1 Depth(Pro)对于控制景深关系最忠实,表现稳定,不像MidJourney那样有画面割裂。

这次测试结果详见FLUX.1 Depth,Jasper和Shakker两款工具,以及MidJourney。

最后是Redux,使用输入图像,FLUX能够进行各种变换,调整背景、角度、风格,并保持角色一致。

及时没有灵感,也可只输入图像让模型发挥转换无需提示词。

相较于SD 1.5和SDXL,FLUX表现卓越。

举例,测试中输入一张小猫抱着鱼奔跑的图像,无需提示词。

各模型生成的三张图,从上至下依次是FLUX.1 Redux(Pro)、SD 1.5和SDXL。

FLUX作品中,鱼和猫与原图相符,细节动作有所变化;SD 1.5生成的图像,猫和鱼完全变样;SDXL中,猫和鱼都消失了。

总体对比发现,FLUX发布的四款官方工具无论是与第三方工具还是其他模型相比,表现出色。

四款工具支持pro和dev两个版本(Canny和Depth还有完整版和LoRA版),dev版本代码和模型权重已开放下载,pro版本需通过BFL API使用。

此外,这四个工具将通过五家FLUX合作的模型平台提供,分别是fal.ai、Replicate、Together.ai、Freepik和krea.ai。

公告地址(含代码 / 权重 / 测试集下载):

  • https://blackforestlabs.ai/flux-1-tools/

参考链接:

  • [1]https://www.marktechpost.com/2024/11/21/black-forest-labs-release-flux-1-tools-a-suite-of-ai-models-designed-to-add-control-and-steerability-to-the-base-text-to-image-model-flux-1/

  • [2]https://x.com/fofrAI/status/1859621532550480342

  • [3]https://x.com/fofrAI/status/1859618518863323591

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考。

声明

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

搜索
排行榜
关注我们

扫一扫关注我们,了解最新精彩内容