Nunchaku FLUX.1-dev开源可部署:支持国产昇腾/寒武纪平台适配路线

想体验媲美Midjourney的顶级文生图效果,又不想被高昂的API费用和网络限制所困扰?今天,我们带来一个重磅好消息:Nunchaku FLUX.1-dev模型现已开源,并且可以直接在本地部署运行!

更令人兴奋的是,这个强大的模型不仅支持主流的NVIDIA显卡,还明确规划了对国产昇腾(Ascend)和寒武纪(Cambricon)AI芯片平台的适配路线。这意味着,无论你使用的是国际大厂的显卡,还是国产自主的AI硬件,未来都能流畅运行这个顶级的文生图模型。

本文将手把手带你,在ComfyUI这个强大的可视化工作流工具中,完成Nunchaku FLUX.1-dev模型的完整部署与使用。从环境准备到生成第一张惊艳的图片,全程只需10分钟。

1. 环境准备:搭建你的AI画室

在开始挥洒创意之前,我们需要先准备好“画室”的基础设施。别担心,步骤很简单。

1.1 硬件与软件要求

首先,确认你的电脑是否满足以下条件:

  • 显卡:这是最重要的部分。你需要一块支持CUDA的NVIDIA显卡。为了获得最佳体验,建议显存在24GB或以上。如果你的显卡显存较小(比如8GB或12GB),也不用担心,后续我们会介绍量化版模型,它们对显存的要求会低很多。
  • 操作系统:Windows 10/11,或者Linux发行版(如Ubuntu 20.04+)均可。
  • Python:需要安装Python 3.10或更高版本。这是运行所有AI模型的基础环境。
  • Git:用于从代码仓库下载必要的软件和插件。

1.2 基础环境安装

打开你的命令行终端(Windows用户可以用PowerShell或CMD,Linux/macOS用户用Terminal),我们开始安装基础工具。

首先,确保Python和pip(Python的包管理工具)已经正确安装。然后,安装一个关键工具:huggingface_hub。这个工具能帮助我们快速、稳定地从Hugging Face平台下载模型文件。

pip install --upgrade huggingface_hub

安装过程通常很快。完成后,你的基础画室就搭建好了。接下来,我们要安装最重要的“画板”和“画笔”。

2. 安装部署:引入强大的ComfyUI与Nunchaku插件

我们将使用ComfyUI作为我们的创作界面。它就像一个模块化的视觉编程工具,通过连接不同的“节点”来构建AI图像生成流程,功能强大且灵活。Nunchaku则是专门为FLUX系列模型优化的插件。

2.1 安装ComfyUI-nunchaku插件

安装插件有两种方法,你可以选择最顺手的一种。

方法一:使用Comfy-CLI(最简单,推荐新手)

这个方法通过一个命令行工具自动完成所有步骤,非常省心。

# 第一步:安装ComfyUI的官方命令行工具
pip install comfy-cli

# 第二步:安装ComfyUI本体(如果你已经安装过,可以跳过)
comfy install

# 第三步:安装Nunchaku插件
comfy noderegistry-install ComfyUI-nunchaku

# 第四步:将插件移动到ComfyUI的正确目录
# 这行命令的意思是,把刚下载的插件文件夹改个名,并放到ComfyUI能识别的位置
mv ComfyUI-nunchaku ComfyUI/custom_nodes/nunchaku_nodes
方法二:手动安装(适合喜欢自己掌控一切的用户)

如果你已经有一个ComfyUI环境,或者想指定安装路径,可以用这个方法。

# 第一步:下载ComfyUI的代码
git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI

# 第二步:安装ComfyUI运行所需的所有Python库
pip install -r requirements.txt

# 第三步:进入ComfyUI存放插件的目录
cd custom_nodes

# 第四步:下载Nunchaku插件
git clone https://github.com/mit-han-lab/ComfyUI-nunchaku nunchaku_nodes

无论用哪种方法,看到安装成功的提示后,插件的安装就完成了。

2.2 安装Nunchaku后端引擎

插件是“操作界面”,我们还需要一个“计算引擎”。从Nunchaku v0.3.2版本开始,安装变得异常简单。插件安装好后,首次运行ComfyUI时,它会自动检测并引导你安装或更新这个后端引擎,通常只需点击确认即可。

至此,我们的“画板”(ComfyUI)和“专用画笔工具”(Nunchaku插件)都已就位。接下来,需要准备最核心的“颜料”——模型文件。

3. 模型准备:获取你的AI颜料库

Nunchaku FLUX.1-dev模型之所以强大,是因为它站在了“巨人”的肩膀上。我们需要准备两部分模型:基础的FLUX模型骨架,和Nunchaku优化后的核心模型。

3.1 配置工作流模板

为了省去从零搭建流程的麻烦,Nunchaku插件提供了现成的工作流模板。我们只需要把它复制到ComfyUI能读取的位置。

在你的ComfyUI安装目录下,执行以下命令:

# 进入ComfyUI的根目录(如果你还在custom_nodes目录,需要先返回)
cd ComfyUI

# 创建一个目录用来存放用户的工作流模板(如果不存在的话)
mkdir -p user/default/example_workflows

# 将Nunchaku插件自带的示例工作流复制过去
cp custom_nodes/nunchaku_nodes/example_workflows/* user/default/example_workflows/

这样,启动ComfyUI后,你就能在网页界面里直接加载这些预设好的工作流了。

3.2 下载模型文件

这是最关键的一步。我们需要下载几种模型文件,并放到正确的文件夹里。请严格按照下面的目录结构来存放,否则ComfyUI会找不到它们。

核心目录结构:

ComfyUI/
├── models/
│   ├── unet/              # 存放Nunchaku FLUX.1-dev主模型
│   ├── loras/             # 存放LoRA模型(风格微调器)
│   ├── text_encoders/     # 存放文本编码器模型(理解你的文字描述)
│   └── vae/               # 存放VAE模型(将AI的“想象”解码成图片)
3.2.1 下载基础FLUX模型(必装)

这些是FLUX模型家族的通用组件,负责理解文字和生成图片的基础框架。

使用我们之前安装的huggingface_hub工具来下载,它会自动处理缓存和路径。

# 下载文本编码器模型,它们能理解你输入的文字提示
# 这个模型负责理解常见的视觉概念
hf download comfyanonymous/flux_text_encoders clip_l.safetensors --local-dir models/text_encoders
# 这个模型负责理解更复杂、更长的文字描述
hf download comfyanonymous/flux_text_encoders t5xxl_fp16.safetensors --local-dir models/text_encoders

# 下载VAE模型,它负责将AI内部的“潜空间”数据解码成我们能看到的图片
hf download black-forest-labs/FLUX.1-schnell ae.safetensors --local-dir models/vae

小提示:如果下载速度慢,可以考虑使用国内镜像源,或者手动从Hugging Face网站下载后,放入对应的models/子目录中。

3.2.2 下载Nunchaku FLUX.1-dev核心模型(必装)

这是本文的主角,经过Nunchaku团队优化和量化后的FLUX.1-dev模型。你需要根据你的显卡型号来选择对应的版本:

  • INT4模型:适用于大多数NVIDIA显卡(RTX 20/30/40系列),在保持高质量的同时显著降低显存占用。
  • FP4模型:专为新一代Blackwell架构的NVIDIA显卡(如未来的RTX 50系列)优化。
  • FP8模型:如果你显卡显存比较紧张(比如只有8GB-12GB),可以选择这个版本,画质略有妥协,但能跑起来。

这里我们以最通用的INT4模型为例进行下载:

# 下载Nunchaku FLUX.1-dev主模型(INT4量化版)
# 这个文件比较大(约几个GB),请耐心等待下载完成
hf download nunchaku-tech/nunchaku-flux.1-dev svdq-int4_r32-flux.1-dev.safetensors --local-dir models/unet/
3.2.3 下载可选LoRA模型(推荐)

LoRA可以理解为“风格滤镜”或“技能插件”。加载不同的LoRA,可以让你的模型获得特定的画风或能力增强。Nunchaku工作流预置了一些好用的LoRA,比如:

  • FLUX.1-Turbo-Alpha:能显著加快生成速度,在少量步数下就能产出不错的效果。
  • Ghibsky Illustration:可以为图像添加吉卜力(宫崎骏)动画风格的渲染效果。

你可以从Hugging Face的 nunchaku-tech 主页或其他模型社区找到这些LoRA文件,下载后放入 models/loras/ 目录即可。

恭喜! 所有“颜料”都已准备就绪。现在,让我们启动画板,开始创作吧!

4. 启动与创作:生成你的第一幅AI画作

4.1 启动ComfyUI

打开命令行,进入你的ComfyUI根目录,运行启动命令:

python main.py

稍等片刻,你会看到类似下面的输出,说明启动成功:

[2025-02-25 10:00:00] [INFO] ComfyUI started successfully.
[2025-02-25 10:00:00] [INFO] Serving at http://127.0.0.1:8188

打开你的浏览器,访问 http://127.0.0.1:8188,就能看到ComfyUI的界面了。

4.2 加载Nunchaku工作流

ComfyUI的界面初看可能有些复杂,但别担心,我们已经准备好了“一键配方”。

  1. 在网页界面右侧,找到 “Load” (加载)按钮。
  2. 点击下拉菜单,选择 “Default”,然后你应该能看到一个名为 nunchaku-flux.1-dev.json 的文件。这就是我们之前复制过来的模板工作流。
  3. 点击它,工作流就会加载到主画布中。

这个 nunchaku-flux.1-dev.json 工作流是功能最全的版本,支持加载多个LoRA,能发挥出模型的最佳文生图效果。

4.3 输入提示词并生成图片

现在来到了最有意思的环节——用文字描述你的画面。

  1. 找到输入框:在工作流中,找到一个标有 “Positive Prompt” 的节点,里面有一个大的文本框。
  2. 输入英文描述:FLUX模型对英文提示词的理解通常更好。你可以发挥想象力,例如:
    • A majestic dragon soaring through neon-lit cyberpunk city, hyper detailed, cinematic lighting, 8k
    • A serene Japanese garden in autumn, koi pond, maple leaves, watercolor painting style, peaceful
    • Portrait of an elegant elf queen with intricate silver armor and glowing blue eyes, fantasy art, digital painting
  3. 调整参数(可选)
    • 推理步数(Steps):一般20-50步。步数越多,细节越丰富,耗时也越长。如果使用了FLUX.1-Turbo-Alpha LoRA,可以适当减少步数。
    • 分辨率(Width/Height):默认可能是1024x1024。显存不足时,可以降低到768x768或512x512。
    • LoRA权重:如果你加载了LoRA,可以调整这里的数值(通常0.5-1.0)来控制风格影响的强度。
  4. 点击生成:找到画布上方或下方的 “Queue Prompt” 按钮,点击它!
  5. 等待与欣赏:右侧的预览区域会显示生成过程。完成后,你就能看到AI根据你的描述绘制的图片了。右键图片可以保存到本地。

5. 关键注意事项与技巧

为了让你的创作过程更顺利,这里有一些重要的提示和技巧:

  1. 模型存放位置绝对不能错:这是最常见的问题。请再次核对:

    • 主模型(svdq-int4_r32-flux.1-dev.safetensors)必须在 models/unet/
    • LoRA模型在 models/loras/
    • 文本编码器在 models/text_encoders/
    • VAE在 models/vae/
  2. 显存不够怎么办?

    • 首选:使用我们教程中下载的INT4量化版模型,它比原版FP16模型(约33GB显存)节省了大量空间。
    • 备选:如果INT4版依然显存不足,可以去下载FP8量化版模型,显存占用更低(约17GB)。
    • 临时调整:在生成时,降低输出图片的分辨率(如从1024x1024降到768x768)。
  3. 关于推理步数:如果你没有使用 FLUX.1-Turbo-Alpha 这个加速LoRA,那么推理步数建议设置在20步以上,否则生成的图片质量可能不理想。如果使用了该LoRA,10-15步就能得到不错的效果。

  4. 节点缺失警告:如果加载工作流时提示缺少某个节点,不用担心。ComfyUI有一个强大的插件管理器 ComfyUI-Manager。你可以通过它搜索并安装缺失的自定义节点,绝大多数问题都能这样解决。

  5. 国产芯片适配路线:本文开头提到的对昇腾(Ascend)、寒武纪(Cambricon)等国产AI平台的支持,是Nunchaku团队公开的研发路线图。这意味着未来,这些平台的用户也可以通过类似的流程,在国产硬件上运行此模型,对于推动AI技术国产化生态具有重要意义。我们可以保持关注其官方GitHub仓库的更新。

6. 总结

通过以上步骤,你已经成功在本地部署了顶尖的Nunchaku FLUX.1-dev文生图模型,并利用ComfyUI的可视化界面生成了第一张AI画作。我们来简单回顾一下:

  • 环境准备:确认显卡和Python环境,安装必备工具。
  • 安装部署:用两种方法之一安装ComfyUI和Nunchaku插件,过程自动化程度很高。
  • 模型准备:下载基础FLUX模型和核心的Nunchaku量化模型,并按目录正确存放。
  • 启动创作:加载预设工作流,输入英文提示词,调整参数,点击生成,即可收获惊喜。

这个开源方案的优势在于完全本地运行,没有使用次数限制,没有网络延迟,并且保护了隐私。更重要的是,它展现了前沿AI模型与国产硬件生态结合的可能性。

现在,创意的大门已经为你打开。无论是构思奇幻场景、设计产品概念图,还是进行艺术创作,Nunchaku FLUX.1-dev都能成为你得力的助手。多尝试不同的提示词组合和LoRA风格,你会发现AI绘画的无限乐趣。


获取更多AI镜像

想探索更多AI镜像和应用场景?访问 CSDN星图镜像广场,提供丰富的预置镜像,覆盖大模型推理、图像生成、视频生成、模型微调等多个领域,支持一键部署。

Logo

昇腾计算产业是基于昇腾系列(HUAWEI Ascend)处理器和基础软件构建的全栈 AI计算基础设施、行业应用及服务,https://devpress.csdn.net/organization/setting/general/146749包括昇腾系列处理器、系列硬件、CANN、AI计算框架、应用使能、开发工具链、管理运维工具、行业应用及服务等全产业链

更多推荐