AISbench测试步骤过程

1. 安装步骤如下所示

git clone https://gitee.com/aisbench/benchmark.git

2. ***下载好benchmark之后创建容器进入容器后运行！！！：yum install gcc g++ make cmake

3. 如果是python3.10那就不需要此操作： 

如果使用Python3.11及以上进行安装，需先对依赖中的pyext-0.7进行手动源码安装，下载pyext-0.7源码，修改pyext-0.7/pyext.py文件如下，再用pip3 install -e ./进行安装。

import inspect

if not hasattr(inspect, 'getargspec'):

inspect.getargspec = inspect.getfullargspec

4. cd benchmark/

pip3 install -e ./

5. 安装完之后拉起服务化，不需要source set_env.sh，但是设置环境变量

6. 服务化拉起后测试

7. 

8. 遇到如上问题解决：测试一下单个请求是否可以发出（用openai接口） 

curl -H "Accept: application/json" -H "Content-type: application/json" -X POST -d '{

"model": "改成要用的模型",

"messages": [{

"role": "user",

"content": "You are a helpful assistant."

}],

"max_tokens": 20,

"presence_penalty": 1.03,

"frequency_penalty": 1.0,

"seed": null,

"temperature": 0.5,

"top_p": 0.95,

"stream": false

}' https://127.0.0.1:1025/v1/chat/completions

9. 请求发送不出去就说明要unset http_proxy，完了之后就可以测试