MindNLP ChatGLM-6B StreamChat

终于要开始进行一些大语言模型的实验了。大模型才是比较火的。

实验环境已经预装了mindspore==2.2.14，如需更换mindspore版本，可更改下面mindspore的版本号

!pip uninstall mindspore -y
!pip install -i https://pypi.mirrors.ustc.edu.cn/simple mindspore==2.2.14
其实即使按照实验里面的脚本仍然不能够运行，因为它少了两个东西，所以你需要安装下面两个包。
!pip install mindnlp mdtex2html -Uq
这个就是如果你要从哈根上面下载模型，你就需要加速。需要设置这样的环境变量。但是实验里面的脚本是从摩达社区下载的。这就意味着你并不需要设置这个环境变量。

这就是下载这个模型和准备运行它的方法。这里面可以看到使用的精度是fp16。

准备和这个模型聊天，你可以给他说你好。然后它就会输出来。你好，我是人工智能助手。

我可以再问他一些别的问题。他依然可以跟继续跟我聊天。
借助于这个模型的方法设计，所以他会把聊天历史返回出来。我们只需要把这个返回出来的聊天历史又塞回去给到他的输入。然后他就能够记得整个你跟他聊天的历史，从而实现有上下文，有记忆的聊天。，
聊天的历史是这个变量但是这个变量里面是一个，但是这个变量里面是一个数组。每一个元素都是一轮你跟他聊天的记录。前面一个是你的记录，后面一个是AI输出的记录。这样就可以组织成一个聊天的完整记录。