model_path="demo.model.bin"
word="csdn"
import fasttext
model= fasttext.load_model(model_path)

python 使用fasttext 加载 已经训练好的模型,结果出现异常,代码如上

“Exception: fastText: Cannot load demo.model.bin due to C++ extension failed to allocate the memory”

主要原因是 c++ 版本训练的fasttext 的bin文件的问题,后面重新使用java 版本的fasttext.jar 训练后不存在上面模型加载的问题

基本命令如下

FTDATA='data/ft_data'
FTMODEL='data/ft_model'
#文本分类
function train(){
 class_id=${1}
 input=${FTDATA}/${class_id}.data
 output=${FTMODEL}/${class_id}.model
 java -cp jar/fasttext.jar fasttext.Main supervised -input ${input} -output ${output} -dim 50 -wordNgrams 2 -ws 5 -minCount 2 -ep
och 10 -thread 10

}
# 词向量训练
function train_unsupervised(){
 class_id=${1}
 input=${FTDATA}/${class_id}.data
 output=${FTMODEL}/${class_id}.model
 java -cp jar/fasttext.jar fasttext.Main skipgram -input ${input} -output ${output} -dim 50 -wordNgrams 2 -ws 5 -minCount 2 -epoc
h 10 -thread 10
}

jar 包地址:https://download.csdn.net/download/renyuanfang/10782326

Logo

昇腾计算产业是基于昇腾系列(HUAWEI Ascend)处理器和基础软件构建的全栈 AI计算基础设施、行业应用及服务,https://devpress.csdn.net/organization/setting/general/146749包括昇腾系列处理器、系列硬件、CANN、AI计算框架、应用使能、开发工具链、管理运维工具、行业应用及服务等全产业链

更多推荐