1、学习总结

1.1Prompt-based fine-tuning

• Pre-Train, Fine-tune的挑战

• • 两个训练阶段存在gap，导致少样本学习能力差，容易过拟合
  • 如果为了一个任务就要去finetune一个模型，开销是非常大的

• NLP任务的第四范式：Pretrain-Finetune-Propmt-Predict

基于prompt的分类任务

1.2Prompting

Workflow of prompting

2、学习心得

我认为这门课程对于自然语言处理领域的学生和从业者来说是非常有价值的。通过学习Prompt Tuning，我不仅掌握了提示技术的核心原理和方法，还学会了如何在实际项目中应用这些知识。这门课程让我对自然语言处理领域有了更深入的了解，也为我未来的学习和工作提供了有力的支持。

3、经验分享

MindPrompt是一个强大的工具，它简化了自然语言处理模型的开发过程。通过MindPrompt，开发人员可以方便地制定模板（Template）、定义变体（Verbalizer），然后执行提示学习（Prompt Learning）的整个流程。

4、课程反馈

Prompt Tuning课程是一门深入探讨如何利用提示（Prompt）来调整和优化自然语言处理（NLP）模型的课程。课程涵盖了从基础知识到高级应用的所有方面，包括模板设计、变体管理、提示学习等方面的内容。收获颇丰！

5、未来展望

1、试用ChatGLM

2、基于BERT/GPT完成一个使用prompt fine-tuning的作业