Qwen1.5-1.8B-Chat-GPTQ-Int4部署教程：vLLM动态批处理（dynamic batching）配置详解

想快速部署一个轻量级但功能强大的中文对话模型吗？今天我们来聊聊如何用vLLM部署通义千问的1.8B-Chat-GPTQ-Int4版本，并重点配置它的动态批处理功能，让模型服务更高效。

你可能听说过vLLM，它是个专门为大型语言模型推理优化的服务框架，最大的特点就是快。而动态批处理（dynamic batching）是vLLM的核心魔法之一，它能智能地把多个用户的请求打包在一起处理，显著提升GPU的利用率和整体吞吐量。对于Qwen1.5-1.8B-Chat这样经过量化、体积小巧的模型，配合vLLM的动态批处理，完全可以在消费级显卡上实现流畅、高并发的对话服务。

这篇文章，我会手把手带你完成从模型部署到动态批处理配置的全过程，并用Chainlit搭建一个简单直观的前端来验证效果。无论你是想搭建个人AI助手，还是为小团队提供内部问答服务，这套方案都值得一试。

1. 环境准备与模型简介

在开始动手之前，我们先快速了解一下今天的主角，并准备好运行环境。

1.1 认识Qwen1.5-1.8B-Chat-GPTQ-Int4

通义千问1.5（Qwen1.5）是一个包含多种参数规模的语言模型系列。我们今天要部署的是其中最小的1.8B参数的聊天对齐版本，并且经过了GPTQ量化到INT4精度。

简单来说，这意味着：

• 1.8B参数：模型相对较小，对硬件要求友好，适合快速部署和测试。
• Chat对齐：模型专门针对对话场景进行了优化，理解和生成对话内容的能力更强。
• GPTQ-Int4量化：通过一种名为GPTQ的后训练量化技术，将模型权重从通常的FP16精度压缩到INT4精度。这能大幅减少模型占用的显存（大约减少70%），让你用更小的显卡跑起来，或者在同一张卡上服务更多用户，代价是精度有微小的损失，但在对话任务上通常感知不明显。

1.2 为什么选择vLLM？

vLLM的核心优势在于其PagedAttention算法和动态批处理。

• PagedAttention：像操作系统管理内存一样管理注意力机制的KV缓存，极大减少了内存碎片，从而能同时处理更长的序列或更多的请求。
• 动态批处理：这是今天的重点。传统的静态批处理需要等一批请求都到齐了再一起处理。而vLLM的动态批处理可以实时地将新到达的请求加入正在运行的批次中，只要GPU还有计算余量。这特别适合线上服务中请求随机到达的场景，能最大化GPU利用率。

准备好你的Linux服务器或云主机，确保有Python环境（建议3.8以上）和一张至少4GB显存的NVIDIA显卡（INT4量化后的模型本身很小，显存主要留给KV缓存和批处理）。

2. 使用vLLM部署模型服务

我们现在开始部署模型。vLLM提供了非常简洁的API和命令行工具。

2.1 安装vLLM

首先，安装vLLM。推荐使用pip安装，它会自动处理相关的依赖。

pip install vllm

如果你的CUDA版本比较新或比较旧，可能需要指定对应的版本，例如pip install vllm --extra-index-url https://download.pytorch.org/whl/cu121来匹配CUDA 12.1。

2.2 启动模型服务（基础命令）

最基础的启动命令如下。这里假设你已经下载好了Qwen1.5-1.8B-Chat-GPTQ-Int4的模型文件，并放在了/path/to/your/model目录下。

python -m vllm.entrypoints.api_server \
    --model /path/to/your/model \
    --served-model-name Qwen1.5-1.8B-Chat \
    --port 8000

这个命令会启动一个HTTP API服务器，监听在8000端口。你可以用curl或其他HTTP客户端来调用它。但此时，我们还没有显式配置动态批处理，vLLM会使用其默认的优化策略。

2.3 验证服务是否启动

服务启动后，你可以通过查看日志或直接发送一个测试请求来验证。

打开一个新的终端，使用curl命令测试：

curl http://localhost:8000/v1/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "Qwen1.5-1.8B-Chat",
        "prompt": "你好，请介绍一下你自己。",
        "max_tokens": 100
    }'

如果看到返回了包含生成文本的JSON响应，说明模型服务已经成功运行。

更直观的方法是像我们提供的资料里那样，通过查看日志文件来确认。例如，如果你的启动日志重定向到了llm.log，可以用cat或tail命令查看：

cat /root/workspace/llm.log

你应该能看到类似“Uvicorn running on...”以及模型加载成功的提示信息。

3. 配置动态批处理（Dynamic Batching）

现在进入核心环节。vLLM的动态批处理行为主要由几个关键参数控制，我们可以在启动API服务器时通过命令行参数进行配置。

3.1 关键参数详解

以下是与动态批处理最相关的几个参数，我们将其加入到启动命令中：

python -m vllm.entrypoints.api_server \
    --model /path/to/your/model \
    --served-model-name Qwen1.5-1.8B-Chat \
    --port 8000 \
    --max-num-batched-tokens 2048 \
    --max-num-seqs 16 \
    --scheduler-policy fcfs

我们来详细解释一下这几个参数：

• --max-num-batched-tokens 2048：这是最重要的参数之一。它限制了单个批处理步骤中，所有请求的输入token总数上限。设置得太小，无法充分利用GPU；设置得太大，可能导致显存溢出或延迟增加。对于1.8B的小模型，从2048开始调整是个不错的选择。你需要根据你的GPU显存和期望的并发度来调整这个值。
• --max-num-seqs 16：限制引擎中同时活跃（正在处理或等待处理）的请求序列最大数量。这防止了在请求激增时系统过载。
• --scheduler-policy fcfs：指定调度策略为“先到先服务”（First-Come, First-Served）。vLLM也支持其他策略，但FCFS是最常用且公平的。动态批处理会在FCFS的框架下，尽可能将可同时计算的请求打包。

3.2 根据硬件调整参数

如何找到适合自己机器的参数？这里有个简单的思路：

1. 观察显存占用：在模型加载后、处理请求前，使用nvidia-smi命令查看显存使用情况。这是模型权重和初始缓存占用的基础显存。
2. 压力测试：使用工具（如locust）模拟多个并发请求，同时用nvidia-smi监控显存和GPU利用率。
3. 调整max-num-batched-tokens：
   • 如果GPU利用率一直很低（例如<30%），且显存还有大量剩余，可以尝试增大这个值（如改为4096），让一个批次处理更多token。
   • 如果请求频繁失败或日志中出现显存不足（OOM）错误，则需要减小这个值。
4. 权衡延迟与吞吐：max-num-batched-tokens调大，吞吐量（每秒处理的token数）一般会上升，但单个请求的延迟可能因为要等待组批而增加。你需要根据应用场景（是重吞吐还是重实时响应）来权衡。

对于Qwen1.5-1.8B-Chat-GPTQ-Int4，在8GB显存的GPU上，--max-num-batched-tokens 4096和--max-num-seqs 32通常是一个可以尝试的激进配置；在4GB显存上，则建议从2048和16开始。

4. 使用Chainlit构建前端进行验证

服务配置好后，我们可以用一个更友好的前端来和它对话，而不是一直用curl。Chainlit是一个可以快速构建类似ChatGPT界面的Python库，非常适合用来验证模型服务。

4.1 编写Chainlit应用

创建一个名为app.py的Python文件，内容如下：

import chainlit as cl
import aiohttp
import json

# 配置你的vLLM服务器地址
VLLM_SERVER_URL = "http://localhost:8000/v1/chat/completions"
MODEL_NAME = "Qwen1.5-1.8B-Chat"

@cl.on_message
async def main(message: cl.Message):
    """
    每当用户发送一条消息时，这个函数就会被调用。
    """
    # 构建发送给vLLM API的请求数据
    # 注意：我们使用与OpenAI兼容的`/v1/chat/completions`端点
    request_data = {
        "model": MODEL_NAME,
        "messages": [
            {"role": "user", "content": message.content}
        ],
        "max_tokens": 512,
        "temperature": 0.7,
        "stream": True  # 启用流式输出，体验更好
    }

    # 创建一个异步HTTP会话
    async with aiohttp.ClientSession() as session:
        # 准备一个空字符串来累积流式响应
        full_response = ""
        msg = cl.Message(content="")  # 创建一个空的Chainlit消息对象用于流式显示

        async with session.post(VLLM_SERVER_URL, json=request_data) as resp:
            # 检查响应状态
            if resp.status != 200:
                error_text = await resp.text()
                await cl.Message(content=f"请求失败: {resp.status}\n{error_text}").send()
                return

            # 处理流式响应
            async for line in resp.content:
                line_text = line.decode('utf-8').strip()
                if not line_text or line_text == "data: [DONE]":
                    continue
                if line_text.startswith("data: "):
                    json_str = line_text[6:]  # 去掉"data: "前缀
                    try:
                        data = json.loads(json_str)
                        delta = data["choices"][0]["delta"]
                        if "content" in delta:
                            token = delta["content"]
                            full_response += token
                            await msg.stream_token(token)  # 流式输出每个token
                    except json.JSONDecodeError:
                        pass  # 忽略非JSON行

        # 流式结束，更新最终消息
        await msg.send()

4.2 启动Chainlit前端

首先，安装Chainlit：

pip install chainlit

然后，在包含app.py的目录下，运行以下命令启动Chainlit应用：

chainlit run app.py

命令执行后，它会输出一个本地URL（通常是 http://localhost:8000），注意这里可能和vLLM的端口冲突，如果vLLM已经占用了8000端口，Chainlit会自动选择另一个端口，比如8001，请以终端输出为准。

打开浏览器，访问Chainlit提供的地址，你就能看到一个简洁的聊天界面了。在输入框里提问，比如“你好，请介绍一下你自己。”，就能看到模型通过我们配置好的vLLM服务返回的流式回答。

这个前端不仅验证了服务是通的，还能直观地感受到模型的对话能力和响应速度。

5. 总结与进阶建议

通过以上步骤，我们成功部署了量化版的Qwen1.5-1.8B-Chat模型，并使用vLLM的动态批处理功能对其进行了服务化封装，最后用Chainlit搭建了一个验证前端。

回顾一下关键点：

1. 模型选择：Qwen1.5-1.8B-Chat-GPTQ-Int4是平衡了能力、速度和资源消耗的轻量级选择。
2. 部署核心：使用vLLM的api_server，并通过--max-num-batched-tokens等参数精细控制动态批处理行为，这是提升服务效率的关键。
3. 前端验证：Chainlit让我们能快速构建交互界面，直观验证服务效果。

如果你想进一步优化：

• 性能监控：可以集成Prometheus和Grafana来监控vLLM服务的吞吐量、延迟、显存使用等指标，以便更科学地调整批处理参数。
• 启用Tensor并行：如果你的显卡有多张，可以在vLLM启动命令中添加--tensor-parallel-size 2来利用多卡计算，进一步提升性能。
• 探索vLLM高级特性：vLLM还支持前缀缓存、连续批处理等更高级的优化，适合更复杂的生产场景。

希望这篇教程能帮助你顺利搭建起自己的轻量级AI对话服务。动手试试吧，从调整批处理参数开始，亲眼看看它对性能的影响。

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。