1. 下载模型权重

下载DeepSeek-V2-Lite模型权重（魔塔社区）：

pip install modelscope
modelscope download --model deepseek-ai/DeepSeek-V2-Lite

下载好的模型权重如下所示：

2. 推理模型及性能精度查看

配置推理环境变量：

# 配置CANN环境，默认安装在/usr/local目录下
source /usr/local/Ascend/ascend-toolkit/set_env.sh
# 配置加速库环境
source /usr/local/Ascend/nnal/atb/set_env.sh
# 配置模型仓环境变量
source /usr/local/Ascend/llm_model/set_env.sh

开启Benchmark，查看推理性能精度，统计模型首Token、增量Token及端到端推理时延：

 # 环境变量开启方式
export ATB_LLM_BENCHMARK_ENABLE=1

打开ATB Models的目录，找到DeepSeek-V2的模型推理文件：

cd /usr/local/Ascend/llm-model/examples/models

ATB Model中的DeepSeek-V2模型推理文件

启动推理脚本，执行推理（自动输入文本“What's deep learning?”）：

bash run_pa.sh /home/qhl/Deepseek-V2-Lite/

修改文本内容、输入和输出再次进行推理并查看性能精度：

回到examples目录，执行如下指令（修改了input_texts、max_input_length、max_output_length）

torchrun --nproc_per_node 8 --master_port 20030 -m run_pa.py --model_path /home/qhl/Deepseek-V2-Lite/ --input_texts "What's deep learning?" "Hello World." --max_batch_size 2 --max_input_length 1024 --max_output_length 32