登录社区云,与社区用户共同成长
邀请您加入社区
暂无图片
以下内容转载自微信公众号“图灵人工智能”,仅作学术分享。
本文系统梳理了大模型本地部署工具生态,从推理引擎、图形化前端到专用场景工具,提供了全景分类和选型指南。核心选型五步法建议:1)明确隐私/性能/成本等优先级;2)根据硬件选择适配方案(CPU选Ollama/llama.cpp,GPU选vLLM/TGI);3)考虑工程化需求;4)团队规模匹配工具复杂度;5)典型场景组合方案。文章提供了快速上手命令示例,并指出常见避坑要点:格式匹配、显存优化、并发策略及
2025 年,vLLM Ascend 项目正式创建,并在一年内完成了 25 次快速迭代,与社区共同打磨代码、测试、文档与反馈。项目的使命是为昇腾(Ascend)用户提供易用、高性能、低成本的推理服务,并推动从 0 到 1 到生产落地的持续演进,聚焦分布式推理与强化学习等关键场景。全年发布了 3 个正式版本和 22 个尝鲜版本,重要里程碑包括 v0.7.1rc1、v0.7.3、v0.9.1、v0.1
本文介绍了使用XTuner工具在GSM8K数学推理数据集上训练InternLM模型的流程。重点讲解了GRPO强化学习算法在大模型训练中的应用,包括数据预处理、模型评估等关键环节。文章详细说明了环境配置、XTuner安装步骤,以及如何将GSM8K数据集转换为适合GRPO训练的格式。同时提供了基于vLLM的评估脚本,通过数学准确率评估器对模型输出进行验证。整个过程涵盖了从数据准备、模型训练到性能评估的
摘要:STM32F4系列出现「Cannot halt the core」报错时,表明芯片内核和调试口被双重锁死。根本原因是调试接口被禁用、内核进入死循环、Flash写保护同时触发。解决方案的核心是利用上电300ms窗口期强制擦除:1)Keil中配置全片擦除选项;2)同时按住BOOT0和复位键上电;3)松开复位键后立即点击擦除按钮。该方法通过时序操作在错误程序运行前强制解锁,成功率极高,可使芯片恢复
摘要: Java内存马凭借无文件落地、动态注入等高隐蔽特性,成为APT攻击的核心载体,传统防御手段难以应对。本文提出跨平台通用检测工具的构建方案,通过五层架构(跨平台基础层、JVM数据采集层、特征检测层、行为分析层、可视化报告层)实现多环境适配。工具采用无侵入式检测技术,结合静态特征匹配与动态行为分析,兼容Windows/Linux/macOS系统及主流应用服务器,并支持JDK 8+版本。以Mem
本文针对Python导入错误ImportError: cannot import name 'Network' from 'fmm'提供了系统解决方案。首先指出该错误通常由版本迭代、安装不完整或路径冲突导致。解决方案分为四个步骤:1)确认新版fmm库的正确接口(如用NetworkGraph替代Network);2)完整重装官方版fmm库;3)排查路径冲突;4)必要时回退到兼容旧版。文章还对比了新旧
《HCIP-AIEIDeveloper认证通关指南(四)》聚焦MindSpore框架在HCIP考试中的核心考点。
《HCIP-AIEIDeveloper认证备考指南》摘要:本文深度解析华为HCIP-AI(H13-331)认证考试要点,涵盖考试大纲、评分标准及备考策略。重点剖析昇腾AI全栈架构,包括达芬奇架构核心计算单元(Cube/Vector/Scalar Unit)和四大层级关系(芯片-CANN-框架-应用)。针对无硬件资源的开发者,提供MindSpore CPU版、ModelArts免费算力和沙箱实验室三
算子的最佳性能收到各种调优参数的影响,为了找到特定场景下最优的参数,实机暴力搜索得到的最优性能结果最为可靠。本文档主要记录了对matmul_reduce_scatter进行参数搜索的过程,方便后续对其他算子进行调优搜索工作。