问题描述

在llama-factory执行lora微调时，按照手册安装了依赖，微调还是遇到错误

File "/usr/local/python3.10.2/lib/python3.10/site-packages/datasets/utils/extract.py", line 1, in <module>
    import bz2
  File "/usr/local/python3.10.2/lib/python3.10/bz2.py", line 17, in <module>
    from _bz2 import BZ2Compressor, BZ2Decompressor
ModuleNotFoundError: No module named '_bz2'

可以看到我出错的代码位于/usr/local/python3.10.2

我搜素了下系统上是不是有这个库：

# find / -name "_bz2*"
/usr/lib/python3.10/lib-dynload/_bz2.cpython-310-aarch64-linux-gnu.so

这个库是有的，但是位置是/usr/lib/python3.10/

解决办法

cp /usr/lib/python3.10/lib-dynload/_bz2.cpython-310-aarch64-linux-gnu.so  /usr/local/python3.10.2/lib/python3.10/lib-dynload/

cp /usr/lib/python3.10/lib-dynload/_lzma.cpython-310-aarch64-linux-gnu.so  /usr/local/python3.10.2/lib/python3.10/lib-dynload/

后面又报了一次No module named '_lzma'，我用类似的方法一并解决了。

环境说明

我是在华为昇腾训练服务器的docker内遇到的。