在人工智能领域，每一天都可能发生颠覆性的变革。就在Midjourney刚刚进行大更新的第二天，开源图像生成领域就迎来了一匹令人瞩目的黑马——FLUX.1。这个突如其来的新玩家不仅在性能上声称大幅超越了DALL·E3、Midjourney V6等闭源模型，还将开源的SD3系列全线秒杀，瞬间引爆了AI圈。
出道即巅峰专找最硬的打，有点乔峰横扫聚贤庄的意思。原来刚成立的FLUX.1的创始人是大名鼎鼎的Robin Rombach。Robin是扩散模型领域的权威之一，其代表作有VQGAN、Taming Transformers和Latent Diffusion。
后来，Stability AI收购了Robin的Latent Diffusion模型，并聘请他成为首席科学家，期间他领导了全球著名文生图开源项目Stable Diffusion系列，这也是全球下载最多、使用最广的开源大模型之一。
今年3月，由于Stability AI内部出现动荡，Robin选择离开。经过四个月的沉淀，他带着新的开源大模型平台FLUX.1重磅回归。更令人惊讶的是，FLUX.1一亮相就获得了由著名风投机构Andreessen Horowitz领投的3200万美元种子轮融资。这无疑为FLUX.1的未来发展注入了强心剂。
那么，FLUX.1到底有什么过人之处?
擅长生成文字、人手三种模型规模秒级生成
FLUX.1在视觉质量、图像细节和输出多样性等方面性能优越，其具有三大特点：文字生成、复杂构图、人手描绘。 文字的生成在图像、视频生成中非常重要，许多模型容易混淆看起来相似的字母。FLUX.1可以处理重复字母的棘手单词，例如生成一个黑森林Flux Schnell蛋糕：
而在构图方面，FLUX.1则表现出来非常擅长遵循复杂的指令，确定图像中事物的位置的能力。
例如，FLUX.1完美地演绎了这段提示词：三个魔法巫师站在一张黄色桌子上，每个巫师都拿着一个标志。左边，一个穿着黑色长袍的巫师拿着一个写着“AI”的标志；中间，一个穿着红色长袍的女巫拿着一个写着“is”的标志；在右边，一个穿着蓝色长袍的巫师拿着一个写着“cool”的标志。
人手一直是多模态生成模型的重灾区。FLUX.1生成的人手图像虽然还称不上是完美，但实现了很大的进步。
FLUX.1共有专业版、开发者版、快速版三种版本。
其中，FLUX.1[pro]是最先进的一个版本，具有顶级的即时跟踪、视觉质量、图像细节和输出多样性，面向专业用户提供定制的企业解决方案。
FLUX.1[dev]面向非商业应用，它从FLUX.1[pro]提炼而来，具有相似的质量和能力，同时比相同尺寸的标准模型更高效。
FLUX.1[schnell]是三款模型中最快的，专为本地开发和个人使用而定制，并根据Apache 2.0标准许可公开提供。
击败MJ V6、DALL·E 3，技术报告即将发布
性能方面，FLUX.1经过特别微调，在预训练中保留了整个输出多样性，在指令遵守、视觉质量、尺寸/长宽变化等多个方面树立了新标准。
其中FLUX.1[pro]和[dev]两款模型，在5项测评标准中都超过了Midjourney v6.0、DALL·E 3和SD3-Ultra等热门模型。 FLUX.1[schnell]作为轻量级模型，不仅优于同类竞争对手，还优于Midjourney v6.0、DALL·E 3等强大的非蒸馏模型。
此外，所有FLUX.1模型均支持0.1和2.0百万像素的多种宽高比和分辨率。以下是一些实例作品：
而如此强大的性能是怎么做到的？
在模型架构上，FLUX.1采用基于多模态和并行扩散Transformer模块的混合架构，并将其扩展到12B参数。
团队通过建立流匹配（Flow Matching）来改进最先进的扩散模型，并通过结合旋转位置嵌入（Rotary Position Embedding）和并行注意力层，来提高模型性能和硬件效率。
根据FLUX.1团队的测试数据，即便是开源的Schnell版本，在文本语义还原、图片质量、动作一致性、连贯性和多样性等方面，也超越了Midjourney v6.0、DALL·E3（HD）和SD3-Ultra等主流模型。特别是在文本嵌入图片方面，FLUX.1展现出了明显的优势。
SD原班人马，即将发布SOTA视频模型
Flux.1由Stable Diffusion的创始团队成立，该团队此前的工作还包括高质量图像生成模型VQGAN、视频生成模型Stable Video Diffusion等。
Stable Diffusion最初的5位作者中，4位曾加入Stability AI并持续开发SD后续版本的成员，包括Robin Rombach、Andreas Blattmann、Dominik Lorenz以及Patrick Esser，都在该项目创始团队中。
该团队称，其核心信念是开发广泛可访问的模型，促进研究界和学术界的创新和协作，并提高模型透明度。 在下一步的工作上，工作室预告将发布一款SOTA文生视频模型，“让所有人都能将文本转为视频”。该模型将建立在FLUX.1的基础上，“以高清和前所未有的速度实现精确创作和编辑”。
结语：多模态大模型领域值得关注的黑马
在众多大厂、创企狂卷文生视频之际，文生图领域突然迎来黑马。
“横空出世”的FLUX.1的不仅展现出卓越的性能，在文字生成、复杂构图、人手描绘等方面突破难关，还以多样化的版本满足不同用户的需求。
对于开发者和AI爱好者来说，FLUX.1的出现无疑是一个重大利好。Schnell版本已经完全开源，并获得了Comfyui的支持。
如果你有36G以上的显存，甚至可以运行t5的fp16版本。FLUX.1的横空出世，不仅为开源AI图像生成领域带来了新的希望，也为整个AI行业注入了新的活力。它的强大性能和开源特性，很可能会加速AI图像生成技术的普及和创新。对于普通用户来说，这意味着我们可能很快就能在家用电脑上运行媲美甚至超越Midjourney的AI图像生成模型。 作者：AI研习所 https://www.bilibili.com/read/cv36617978/?from=search&spm_id_from=333.337.0.0 出处：bilibili
评论留言