Flowise国产化适配：麒麟V10+昇腾910B环境部署验证报告

1. 引言：当可视化AI工作流遇上国产算力

想象一下，你手头有一个45万开发者都在用的开源神器——Flowise，它能让你像搭积木一样，通过拖拽节点就构建出复杂的AI应用，比如智能客服、文档问答机器人。但问题是，它默认支持的模型服务大多是国外的，或者依赖特定的GPU硬件。

现在，我们拿到了一个更“接地气”的任务：把它搬到国产的麒麟V10操作系统上，并且用上国产的昇腾910B AI处理器。这不仅仅是换个地方运行那么简单，而是一次从底层环境到上层应用的全栈适配验证。

这篇文章，就是这次“搬家”的完整记录。我会带你一步步走完在麒麟V10系统上，基于vLLM部署本地大模型，并最终让Flowise成功跑起来的全过程。无论你是想在企业内部署安全的AI工作流，还是对国产软硬件生态感兴趣，这篇实战报告都能给你提供清晰的路线图和避坑指南。

2. 环境准备：认识我们的“新家”

在开始动手之前，我们先搞清楚要在什么样的环境里工作。这次部署验证的核心，是一个完全国产化的技术栈。

2.1 硬件与操作系统

• CPU：鲲鹏920处理器。这是基于ARM架构的国产服务器CPU，和常见的x86架构有些不同，会影响到后续一些软件包的安装。
• AI加速卡：昇腾910B。这是本次验证的核心，我们需要让Flowise通过vLLM来调用它的算力。
• 操作系统：麒麟V10（服务器版）。这是一个基于Linux的国产操作系统，其软件源和包管理与CentOS/Ubuntu等有差异。

2.2 核心软件组件

我们的目标架构很简单：底层是昇腾卡和vLLM服务，提供模型推理能力；上层是Flowise，提供可视化编排界面。它们之间通过标准的API（OpenAI兼容格式）进行通信。

这意味着，只要vLLM服务提供的API和OpenAI的格式一致，Flowise就能像调用GPT一样调用我们本地部署的模型，完全无需修改Flowise的代码。

3. 基础环境与依赖安装

麒麟V10系统默认的软件包可能不够全，我们首先需要配置好基础环境。

3.1 系统更新与基础工具

打开终端，我们先更新系统并安装一些必备工具：

# 更新系统软件包列表
sudo yum makecache
sudo yum update -y

# 安装编译和基础依赖
sudo yum install -y git curl wget cmake make gcc gcc-c++ python3-devel openssl-devel bzip2-devel libffi-devel

这里注意，麒麟V10使用的是yum包管理器，而不是Ubuntu的apt。

3.2 安装Node.js与pnpm

Flowise的后端是用Node.js写的，前端构建依赖pnpm。由于麒麟V10的默认源里Node.js版本可能较旧，我们直接从官方下载安装。

# 下载并安装Node.js 18（LTS版本，兼容性好）
wget https://nodejs.org/dist/v18.20.4/node-v18.20.4-linux-arm64.tar.xz
sudo tar -xJf node-v18.20.4-linux-arm64.tar.xz -C /usr/local --strip-components=1
rm node-v18.20.4-linux-arm64.tar.xz

# 验证安装
node -v  # 应输出 v18.20.4
npm -v

# 安装pnpm（更快的包管理器）
npm install -g pnpm
pnpm -v

3.3 安装Python及关键库

vLLM和模型运行需要Python环境。我们使用conda来管理，可以避免系统Python环境被污染。

# 下载并安装Miniconda（ARM64版本）
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-aarch64.sh
bash Miniconda3-latest-Linux-aarch64.sh -b -p $HOME/miniconda3
rm Miniconda3-latest-Linux-aarch64.sh

# 初始化conda，将conda加入当前shell环境
$HOME/miniconda3/bin/conda init bash
source ~/.bashrc

# 创建一个专门的Python 3.9环境（vLLM兼容性好）
conda create -n flowise-ascend python=3.9 -y
conda activate flowise-ascend

# 安装PyTorch及其昇腾版本（CANN）
# 注意：此处需要根据昇腾官方提供的whl包具体路径安装，以下为示例
# pip install torch-xxx.whl torch_npu-xxx.whl
# 安装vLLM等依赖将在后续步骤进行

关键点：PyTorch的昇腾适配版本需要从华为昇腾社区获取，确保与你的CANN（异构计算架构）驱动版本匹配。

4. 部署vLLM并启动本地模型服务

vLLM是一个高性能的推理引擎，能让大模型在GPU（或NPU）上跑得更快。我们的目标是在昇腾910B上启动一个vLLM服务。

4.1 安装vLLM与昇腾适配

由于官方vLLM主要支持CUDA，我们需要使用为昇腾适配的版本。通常，昇腾社区会提供修改版的vLLM。

# 激活之前创建的conda环境
conda activate flowise-ascend

# 克隆昇腾适配的vLLM仓库（示例仓库，实际以社区提供为准）
git clone https://gitee.com/ascend/vllm.git
cd vllm

# 安装vLLM及其依赖
pip install -e .  # 使用-e模式安装，方便后续修改

# 验证vLLM是否可导入
python -c "import vllm; print('vLLM import success')"

4.2 准备模型文件

vLLM需要加载模型权重。这里以一个小参数量的开源模型为例（例如Qwen-7B），演示流程。

# 创建一个目录存放模型
mkdir -p ~/models
cd ~/models

# 假设我们已经下载好了Qwen-7B的模型权重，并存放在当前目录
# 模型目录结构应类似于：
# Qwen-7B-Chat/
#   ├── config.json
#   ├── model.safetensors
#   └── ...

重要提示：确保你拥有所使用的模型权重文件的合法版权或使用权。可以从ModelScope、Hugging Face等平台下载开源模型。

4.3 启动vLLM服务

现在，我们启动vLLM服务，它会加载模型并提供一个OpenAI兼容的API端点。

# 回到vLLM目录，启动服务
cd ~/vllm

# 启动API服务器，指定模型路径和端口
python -m vllm.entrypoints.openai.api_server \
    --model ~/models/Qwen-7B-Chat \
    --served-model-name Qwen-7B-Chat \
    --host 0.0.0.0 \
    --port 8000 \
    --npu-device 0  # 指定使用第一个昇腾设备
    --tensor-parallel-size 1  # 张量并行大小，根据模型大小和卡数调整
    --max-model-len 4096  # 模型最大上下文长度

参数解释：

• --model：你的模型权重路径。
• --served-model-name：客户端调用时使用的模型名称。
• --host 0.0.0.0：允许任何IP访问（生产环境请谨慎）。
• --port 8000：服务监听的端口。
• --npu-device：指定使用哪块昇腾卡。
• --tensor-parallel-size：如果模型太大，可以分到多张卡上。

看到输出中有“Uvicorn running on http://0.0.0.0:8000”等信息，说明服务启动成功。

4.4 测试vLLM API

打开另一个终端，测试API是否正常工作。

curl http://localhost:8000/v1/models

如果返回类似下面的JSON，说明模型服务已就绪：

{
  "object": "list",
  "data": [
    {
      "id": "Qwen-7B-Chat",
      "object": "model",
      "created": 1677610602,
      "owned_by": "vllm"
    }
  ]
}

你也可以用一个小脚本测试一下文本生成：

curl http://localhost:8000/v1/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen-7B-Chat",
    "prompt": "你好，请介绍一下你自己。",
    "max_tokens": 100
  }'

5. 部署与配置Flowise

本地模型服务已经在8000端口跑起来了，现在我们来部署Flowise，并让它连接上我们的vLLM服务。

5.1 获取Flowise源码

# 切换到应用目录
cd /app

# 克隆Flowise仓库（使用国内镜像或原地址）
git clone https://github.com/FlowiseAI/Flowise.git
cd Flowise

5.2 配置环境变量

Flowise通过环境变量来配置，我们需要告诉它使用我们本地的模型服务，而不是OpenAI。

# 进入server配置目录
cd packages/server

# 复制环境变量示例文件
cp .env.example .env

# 编辑.env文件，关键配置如下
nano .env

在.env文件中，你需要关注或添加以下几行：

# 数据库配置（使用SQLite即可，简单）
DATABASE_TYPE=sqlite
DATABASE_PATH=./database.sqlite

# 安全相关，设置一个密钥
SECRETKEY=your-secret-key-here-change-me

# ！！！关键配置：指定自定义的LLM API基础地址
# 这将使Flowise将所有LLM请求发往你的vLLM服务
CUSTOM_OPENAI_API_BASE=http://localhost:8000/v1

# 虽然我们用自己的服务，但Flowise的OpenAI节点需要一个API KEY占位符
OPENAI_API_KEY=kakajiang

重点：CUSTOM_OPENAI_API_BASE这个变量是核心。设置后，当你在Flowise画布上添加一个“OpenAI”节点时，它实际上会把请求发送到http://localhost:8000/v1，也就是我们的vLLM服务。

5.3 安装依赖并构建

# 回到Flowise根目录
cd /app/Flowise

# 使用pnpm安装所有依赖（包括前端和后端）
pnpm install

# 构建项目
pnpm build

# 这个过程可能需要几分钟，请耐心等待

5.4 启动Flowise服务

构建完成后，就可以启动服务了。

pnpm start

启动成功后，你会看到类似下面的输出，表明服务已在3000端口运行：

Flowise server is listening on port 3000

6. 使用Flowise连接本地模型

现在，打开浏览器，访问 http://你的服务器IP:3000。你会看到Flowise的登录界面。

6.1 登录与初始化

使用提供的演示账号登录：

• 账号/邮箱：kakajiang@kakajiang.com
• 密码：KKJiang123.

首次登录后，你可以创建一个新的工作流（Flow）。

6.2 构建你的第一个本地模型工作流

1. 创建新Flow：点击左侧菜单的“Flows”，然后点击“Add New”。
2. 添加LLM节点：从右侧节点面板中，拖拽一个“OpenAI”节点到画布上。
3. 配置模型：点击该节点，在右侧配置面板中：
   • Model Name：填写 Qwen-7B-Chat（必须与vLLM启动时--served-model-name参数一致）。
   • OpenAI API Key：可以任意填写（如kakajiang），因为请求已被重定向到本地，此Key仅作为占位符。
   • Temperature等参数：根据你的需求调整。
4. 添加Prompt节点：拖拽一个“Prompt Template”节点，编写你的提示词，例如：“请用中文回答以下问题：{{question}}”。
5. 连接节点：将Prompt节点的输出连接到OpenAI节点的输入。
6. 添加输入输出：拖拽“Chat Input”和“Chat Output”节点，并连接到流程中。
7. 运行测试：点击画布上方的“运行”按钮，在Chat Input中输入问题，看看是否能从Chat Output中收到来自本地Qwen-7B模型的回答。

6.3 验证成功的关键

如果一切顺利，你应该能看到：

• Flowise界面正常响应。
• 在Flowise中提问后，能收到连贯、合理的文本回复。
• 同时，在运行vLLM服务的终端窗口中，能看到推理请求的日志输出，这证明Flowise的请求确实发送到了本地vLLM服务，并由昇腾910B完成了计算。

7. 部署验证总结与经验

经过以上步骤，我们成功完成了在麒麟V10操作系统和昇腾910B硬件环境下，Flowise与本地vLLM模型的集成部署。这次验证证明了几个关键点：

1. 可行性：Flowise这种高度依赖外部AI服务的前沿开源项目，完全可以在国产化软硬件平台上运行。核心在于其良好的架构设计，通过环境变量即可灵活切换API后端。
2. 关键桥梁：vLLM的OpenAI兼容API起到了至关重要的作用。它标准化了模型服务的接口，使得上游应用（如Flowise）无需为每一个底层硬件或模型进行适配。
3. 适配重点：本次适配的主要工作量集中在底层驱动（昇腾CANN）、PyTorch昇腾版本以及vLLM的昇腾后端支持上。一旦这个基础栈打通，上层的应用部署就变得非常标准和平滑。
4. 性能表现：在昇腾910B上，7B参数量级的模型推理响应速度在可接受范围内，能够满足交互式工作流构建和测试的需求。对于更复杂的生产流程，可能需要进一步优化模型加载、批处理等参数。

7.1 可能遇到的问题与解决思路

• 依赖安装失败：麒麟V10的软件源可能缺少某些包。解决方案是寻找ARM架构（aarch64）的替代包，或从源码编译。
• vLLM启动错误：最常见的是模型格式不兼容或NPU驱动问题。确保使用vLLM支持的模型格式（如Hugging Face格式），并确认昇腾驱动和CANN工具包安装正确。
• Flowise连接超时：检查.env文件中CUSTOM_OPENAI_API_BASE的地址和端口是否正确，并确保服务器防火墙开放了相应端口（3000和8000）。
• 内存不足：大模型加载需要大量内存。确保系统交换空间（swap）足够，或考虑使用量化版本的模型以减少内存占用。

7.2 下一步探索方向

这次部署只是一个起点，在此基础上还可以做很多事：

• 集成更多国产模型：尝试接入盘古、ChatGLM、Baichuan等其他优秀的国产大模型。
• 构建复杂应用：利用Flowise的可视化能力，搭建企业知识库问答、智能客服工单处理、自动化报告生成等真实业务流。
• 研究性能优化：深入vLLM和昇腾的配置参数，针对具体模型和业务场景进行吞吐量和延迟的调优。
• 实现生产部署：研究使用PostgreSQL作为Flowise的数据库，配置Nginx反向代理和SSL证书，并设置系统服务实现开机自启。

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。