|
|
|
|
|
fcs 文章精要 | 复旦大学邱锡鹏教授团队：y-tuning: 面向大规模预训练模型的一种基于标签表示学习的高效微调范式 |
|
|
论文标题：
期刊：
作者：yitao liu, chenxin an, xipeng qiu
发表时间：23 apr 2023
doi：
导读
伴随着当下大规模预训练模型的成功应用，如何高效地将预训练模型应用到自然语言的下游任务上也成为了广受关注的问题，尤其是当模型的参数量达到数以亿计的规模的时候。以往的工作主要关注于设计参数高效的微调范式，但仍然需要保存和计算整个计算图的梯度。本文提出了一种名为y-tuning的高效微调范式，从而将冻结的预训练模型适用于特定的下游任务上。y-tuning学习任务的特定标签表示y的稠密表示，并与固定的特征表示进行对齐，在训练阶段无需计算文本编码器的梯度，不仅参数高效且训练高效。实验结果表明对于有16亿参数的debertaxxl模型，y-tuning能够仅利用2%的可微调参数就在glue基准测试上达到了全量微调96%的性能表现，且能够节省大量训练开销。
文章信息
相关内容推荐：
frontiers of computer science
frontiers of computer science （fcs）是由教育部主管、高等教育出版社和北京航空航天大学共同主办、springernature 公司海外发行的英文学术期刊。本刊于 2007 年创刊，双月刊，全球发行。主要刊登计算机科学领域具有创新性的综述论文、研究论文等。本刊主编为周志华教授，共同主编为熊璋教授。编委会及青年 ae 团队由国内外知名学者及优秀青年学者组成。本刊被 sci、ei、dblp、inspec、scopus 和中国科学引文数据库（cscd）核心库等收录，为 ccf 推荐期刊；两次入选“中国科技期刊国际影响力提升计划”；入选“第4届中国国际化精品科技期刊”；入选“中国科技期刊卓越行动计划项目”。
《前沿》系列英文学术期刊
由教育部主管、高等教育出版社主办的《前沿》（frontiers）系列英文学术期刊，于2006年正式创刊，以网络版和印刷版向全球发行。系列期刊包括基础科学、生命科学、工程技术和人文社会科学四个主题，是我国覆盖学科最广泛的英文学术期刊群，其中12种被sci收录，其他也被a&hci、ei、medline或相应学科国际权威检索系统收录，具有一定的国际学术影响力。系列期刊采用在线优先出版方式，保证文章以最快速度发表。
中国学术前沿期刊网
特别声明：本文转载仅仅是出于传播信息的需要，并不意味着代表本网站观点或证实其内容的真实性；如其他媒体、网站或个人从本网站转载使用，须保留本网站注明的“来源”，并自负米乐app官网下载的版权等法律责任；作者如果不希望被转载或者联系转载稿费等事宜，请与我们接洽。
