公开(公告)号：CN117574961A

公开(公告)日：2024-02-20

申请号：CN202410051188.6

申请日：2024-01-15

Applicant: 成都信息工程大学

Inventor： 栗荣成 ,  冯翱 ,  高正杰 ,  吴锡 ,  雷超 ,  李林襁

IPC: G06N3/0455 ,  G06N3/084 ,  G06F16/35 ,  G06N3/048

Abstract: 本发明涉及一种将适配器注入预训练模型的参数高效化方法和装置，通过将一个可以用于适配各种下游任务的适配器模块注入预训练模型，所述适配器模块设置在靠近输出端，由于在训练过程中，除适配器层外的所有参数会被冻结，而适配器模块的参数靠近输出端，这样使得反向传播的距离大大减小，不仅使得计算梯度的时间大大减小，而且用于存储梯度信息所消耗的显存也会大大减小。从而使得本发明方法能够以极低的成本去适配下游任务，解决以往参数高效化方法虽然可以极大地减少参数，但其训练的时间和硬件成本并没有大幅度减小的问题。

公开(公告)号：CN117574961B

公开(公告)日：2024-03-22

申请号：CN202410051188.6

申请日：2024-01-15

Applicant: 成都信息工程大学

Inventor： 栗荣成 ,  冯翱 ,  高正杰 ,  吴锡 ,  雷超 ,  李林襁

IPC: G06N3/0455 ,  G06N3/084 ,  G06F16/35 ,  G06N3/048

Abstract: 本发明涉及一种将适配器注入预训练模型的参数高效化方法和装置，通过将一个可以用于适配各种下游任务的适配器模块注入预训练模型，所述适配器模块设置在靠近输出端，由于在训练过程中，除适配器层外的所有参数会被冻结，而适配器模块的参数靠近输出端，这样使得反向传播的距离大大减小，不仅使得计算梯度的时间大大减小，而且用于存储梯度信息所消耗的显存也会大大减小。从而使得本发明方法能够以极低的成本去适配下游任务，解决以往参数高效化方法虽然可以极大地减少参数，但其训练的时间和硬件成本并没有大幅度减小的问题。