公开(公告)号：CN113673242A

公开(公告)日：2021-11-19

申请号：CN202110960433.1

申请日：2021-08-20

Applicant: 之江实验室 ,  复旦大学

Inventor： 邱锡鹏 ,  宋德敏 ,  李林阳 ,  傅家庆 ,  杨非

IPC: G06F40/289 ,  G06F40/211 ,  G06K9/62 ,  G06N3/08

Abstract: 本发明公开了一种基于K邻近结点算法和对比学习的文本分类方法，该方法在训练阶段使用对比学习拉进类内距离，拉远类间距离，并且结合交叉熵损失，辅助对比学习进行联合训练，在推理过程中，通过联合训练好的模型，结合最邻近结点算法，进行联合预测，计算待推断文本的分类；本发明不仅能够在文本分类的准确率上取得比目前业内使用的文本分类方式更高的结果，而且在模型的鲁棒性上也取得了极大的提升。

公开(公告)号：CN113673242B

公开(公告)日：2024-10-15

申请号：CN202110960433.1

申请日：2021-08-20

Applicant: 之江实验室 ,  复旦大学

Inventor： 邱锡鹏 ,  宋德敏 ,  李林阳 ,  傅家庆 ,  杨非

IPC: G06F40/289 ,  G06F40/211 ,  G06F18/2415 ,  G06F18/23 ,  G06N3/084 ,  G06N3/0895

Abstract: 本发明公开了一种基于K邻近结点算法和对比学习的文本分类方法，该方法在训练阶段使用对比学习拉进类内距离，拉远类间距离，并且结合交叉熵损失，辅助对比学习进行联合训练，在推理过程中，通过联合训练好的模型，结合最邻近结点算法，进行联合预测，计算待推断文本的分类；本发明不仅能够在文本分类的准确率上取得比目前业内使用的文本分类方式更高的结果，而且在模型的鲁棒性上也取得了极大的提升。

公开(公告)号：CN119149662A

公开(公告)日：2024-12-17

申请号：CN202310709647.0

申请日：2023-06-15

Applicant: 复旦大学

Inventor： 邱锡鹏 ,  程沁源 ,  杨小珪 ,  孙天祥 ,  李林阳

IPC: G06F16/33 ,  G06F40/211 ,  G06F40/30 ,  G06N20/00 ,  G06F40/284

Abstract: 本发明提供了一种使用人工智能反馈的句子表示对比学习方法，用于根据待识别句子得到对应的句子表示，具有这样的特征，包括以下步骤：步骤S1，根据大语言模型LLMs和现有数据构建训练集；步骤S2，根据训练集训练现有的语言模型，并根据损失函数更新语言模型，将训练完成的语言模型作为句子编码器；步骤S3，将待识别句子输入句子编码器，得到对应的句子表示。总之，本方法能够生成高质量的句子表示。

公开(公告)号：CN115409078A

公开(公告)日：2022-11-29

申请号：CN202110591329.X

申请日：2021-05-28

Applicant: 复旦大学

Inventor： 邱锡鹏 ,  李林阳

IPC: G06K9/62 ,  G06F40/30 ,  G06N3/08 ,  G06N5/04

Abstract: 本发明提供了一种基于集成重建机制的对抗样本攻击的防御方法，用于语言模型防御对抗样本攻击，包括以下步骤：步骤1，在语言模型的训练过程中，同时加入三个预定的损失函数来保持语言模型对于带噪声样本的重建能力；步骤2，对语言模型的输入样本注入不同的噪声，重建得到多个不同的重建样本，并对重建样本进行集成推理完成一次样本重建，并得到一个取平均值的模型置信度的打分，通过多次样本重建来防御对抗样本攻击，其中，损失函数包括模型下游任务的微调损失函数、预训练采用的MASK掩码预测损失以及基于梯度回传的重建原有字词的损失。