昇思25天学习打卡营第12天|文本解码原理
·
这次是使用MindNLP库和GPT-2模型,进行文本生成，涵盖了多种文本解码策略
贪心搜索（Greedy search）
在每个时间步𝑡都简单地选择概率最高的词作为当前输出词:,缺点是会省略低概率词后面的高概率词
束搜索（Beam search）
通过在每个时间步保留最可能的 num_beams 个词，并从中最终选择出概率最高的序列来降低丢失潜在的高概率序列的风险。一定程度保留最优路径 缺点 无法解决重复问题； 开放域生成效果差
最后是采样（Sampling）
能根据当前条件概率分布随机选择输出词𝑤_𝑡,文本生成多样性高,但是不连续
最后课程结合通过TopK和TopP采样的优点，提供更平衡的文本生成结果
昇腾计算产业是基于昇腾系列（HUAWEI Ascend）处理器和基础软件构建的全栈 AI计算基础设施、行业应用及服务，https://devpress.csdn.net/organization/setting/general/146749包括昇腾系列处理器、系列硬件、CANN、AI计算框架、应用使能、开发工具链、管理运维工具、行业应用及服务等全产业链
更多推荐
2
0- 0
已为社区贡献25条内容
所有评论(0)