V1.2 增加如下功能

1. 未登录词识别的开关，可以允许关闭未登录词识别功能

在搜索应用中，打开未登录词识别功能将会产生大量的新词，有些新词其实不是一个真正的词，这样将增加倒排索引的负担，所以盘古分词V1.2版本提供了这个选项，让用户可以关闭未登录词识别，关闭后，未登录词将转换为单字输出。


2. 英文忽略大小写功能

这个功能在处理英文时还是很有用的。

 

3. 过滤掉大于指定长度的英文的功能

有时候我们不想输出英文，这是只要打开这个开关，并将过滤长度设置为0，就可以了。有时候我们只想输出小于某个长度的英文，这个功能就可以用上。

 

4. 过滤掉大于指定长度的数字的功能

同上。

 

下载地址

http://pangusegment.codeplex.com/

 

Logo
昇腾开源生态专区

昇腾计算产业是基于昇腾系列（HUAWEI Ascend）处理器和基础软件构建的全栈 AI计算基础设施、行业应用及服务，https://devpress.csdn.net/organization/setting/general/146749包括昇腾系列处理器、系列硬件、CANN、AI计算框架、应用使能、开发工具链、管理运维工具、行业应用及服务等全产业链

更多推荐

cover

DeepSeek 崩了 13 小时，不是故障，是 V4 在换引擎

avatar 昇腾开源生态专区

体系结构论文（107）：AscendOptimizer: Episodic Agent for Ascend NPU Operator Optimization

摘要：本文提出AscendOptimizer系统，针对华为Ascend NPU的AscendC算子优化难题，通过双阶段交替优化方法实现性能提升。系统将算子拆分为host侧tiling program和device侧kernel program：Stage I采用进化搜索优化tiling策略，利用硬件反馈探索可行解空间；Stage II通过"优化回退"机制从优质kernel反向构

avatar 昇腾开源生态专区

AtomGit模型托管与实验管理全指南

AtomGit模型托管指南：AI开发者的版本控制利器 摘要：本文介绍AtomGit平台针对AI开发者推出的模型托管与实验管理功能，解决传统Git无法有效管理大模型文件、实验参数分散等问题。AtomGit通过Git LFS大文件存储、模型卡片元数据记录、代码与模型版本关联等创新功能，实现AI项目的一体化管理。文章详细演示了如何创建模型仓库、配置Git LFS管理大文件、编写结构化模型卡片，并特别介绍

avatar 昇腾开源生态专区