背景

提供免费算力支持，MindSpore学习训练营，打卡第12天，前几天打卡完成了入门的学习，后续有时间对入门的内容，再次整理一下。本次学习的内容为基于MindSpore的GPT2文本摘要。记录学习的过程。记录实验系统中的步骤，对一些内容进行记录和归纳。

数据集加载与处理

  1. 数据集加载

    本次实验使用的是nlpcc2017摘要数据，内容为新闻正文及其摘要，总计50000个样本。

  2. 数据预处理

    原始数据格式：

    article: [CLS] article_context [SEP]
summary: [CLS] summary_context [SEP]

    预处理后的数据格式：

    [CLS] article_context [SEP] summary_context [SEP]

模型构建

  1. 构建GPT2ForSummarization模型，注意shift right的操作。
  2. 动态学习率

模型训练

模型推理

数据处理，将向量数据变为中文数据

# 学习
Logo
昇腾开源生态专区

昇腾计算产业是基于昇腾系列（HUAWEI Ascend）处理器和基础软件构建的全栈 AI计算基础设施、行业应用及服务，https://devpress.csdn.net/organization/setting/general/146749包括昇腾系列处理器、系列硬件、CANN、AI计算框架、应用使能、开发工具链、管理运维工具、行业应用及服务等全产业链

更多推荐

cover

DeepSeek 崩了 13 小时，不是故障，是 V4 在换引擎

avatar 昇腾开源生态专区

体系结构论文（107）：AscendOptimizer: Episodic Agent for Ascend NPU Operator Optimization

摘要：本文提出AscendOptimizer系统，针对华为Ascend NPU的AscendC算子优化难题，通过双阶段交替优化方法实现性能提升。系统将算子拆分为host侧tiling program和device侧kernel program：Stage I采用进化搜索优化tiling策略，利用硬件反馈探索可行解空间；Stage II通过"优化回退"机制从优质kernel反向构

avatar 昇腾开源生态专区

【GPT-4级模型轻量化权威指南】：基于华为昇腾+NVIDIA Triton的混合剪枝框架，推理延迟直降63%

面向大模型工程化中的模型剪枝技术，提供可落地的轻量化方案。基于华为昇腾+NVIDIA Triton构建混合剪枝框架，支持LLM推理加速，在A100/Ascend 910场景下延迟直降63%。涵盖结构化剪枝、知识蒸馏与动态稀疏推理，兼顾精度与吞吐。值得收藏

avatar 昇腾开源生态专区