GitHub地址:https://github.com/black-forest-labs/flux
ComfyUI地址:https://github.com/comfyanonymous/ComfyUI
版本介绍
- FLUX.1 [dev]:用于 Text to Image。开发版,功能完整,但可能包含未完全优化或实验性质的功能。
- FLUX.1 [schnell]:用于 Text to Image。意为“快速”,表示这是 Flux 模型的一个轻量级或优化版本,生成速度上有显著提升
- FLUX.1 Fill [dev]:用于 In/Out-painting。这是带有“Fill”功能的开发版模型,适用于缺失内容补全或图像填充。
- FLUX.1 Canny [dev]:用于 Structural Conditioning。输入图像可能先通过 Canny 算法生成边缘图,然后用作模型的条件输入,有助于基于边缘信息生成图像或图像的变体。
- FLUX.1 Canny [dev] LoRA:在 Canny 版本的基础上集成了 LoRA 技术。通常用于减少模型的参数量,提高模型的适配能力,适合快速迁移学习或小规模数据调整。
- FLUX.1 Depth [dev]:用于 Structural Conditioning。通过输入图像的深度图,模型可以生成具有透视感或更精确结构的图像,适用于需要精确空间信息的生成场景。
- FLUX.1 Depth [dev] LoRA:略。
- FLUX.1 Redux [dev]:用于 Image variation。“Redux” 表示简化或改进版,对原始开发版本进行了修改,可能优化了生成效率、模型效果或内存占用。
FLUX.1 [dev] 和 FLUX.1 [schnell]两个版本官方原配模型大小为 23.8GB,需要至少 24GB 的显卡才能顺利运行。不过得益于FP8的支持,经过优化之后模型体积可缩减至 11.9GB,不过跑起来也至少需要 16GB 显存的显卡。
SDXL使用Lightning模型生图只要15秒,Flux Dev-fp8版则为133秒。但SDXL手部有问题、脖子比例过长,文字显示也不如Flux正确。Flux模型对显示卡要求极高,加快Flux生成速度,是目前的重点。
由于使用fp16生图不太实际,很快地就出现了Dev与Schnell的fp8版本。Dev fp8版本图像细腻,15步生成时间需要133秒。Schnell fp8 只要4步、生成时间72秒就有不错效果,但图像过于鲜明锐利,层次感较少。如果有12GB以上的VRAM,Dev-FP8版本是一个可以考虑的选项,虽然耗时但效果很好。Dev-FP8版本→ 建议12-18步。
目前还不考虑将Flux导入工作流程,主要有几点疑虑:生图时间过久:虽然有各种优化方式,但Flux生成图片比起SDXL慢很多,SDXL有不少快速生图技术如Turbo或Lightning,出图效率好很多,只是SDXL要另外花时间去修手脚。
GGUF,全称GPT-Generated Unified Format,可显著提升了模型文件的存储效率和加载性能。在Github上,XLabs-AI官方也推荐在低内存环境下使用GGUF格式。
demo
- demo_gr.py 是用 gradio 构建交互式的 Web 应用。
- demo_st.py 是用 Streamlit 构建交互式的 Web 应用。st 全称 Streamlit,用于构建交互式的 Web 应用。
- demo_st_fill.py 应该包含了扩图功能。