北京治疗白癜风的好医院 http://wapyyk.39.net/bj/zhuanke/89ac7.html?PaperWeekly原创·作者｜苏剑林单位｜追一科技研究方向｜NLP、神经网络在之前的文章必须要GPT-3吗？不，BERT的MLM模型也能小样本学习中，我们介绍了一种名为Pattern-ExploitingTraining（PET）的方法，它通过人工构建的模版与BERT的MLM模型结合，能够起到非常好的零样本、小样本乃至半监督学习效果，而且该思路比较优雅漂亮，因为它将预训练任务和下游任务统一起来了。然而，人工构建这样的模版有时候也是比较困难的，而且不同的模版效果差别也很大，如果能够通过少量样本来自动构建模版，也是非常有价值的。
最近Arxiv上的论文《GPTUnderstands,Too》提出了名为P-tuning的方法，成功地实现了模版的自动构建。不仅如此，借助P-tuning，GPT在SuperGLUE上的成绩首次超过了同等级别的BERT模型，这颠覆了一直以来“GPT不擅长NLU”的结论，也是该论文命名的缘由。
论文标题：GPTUnderstands,Too论文链接：