-
公开(公告)号：CN119441870A
公开(公告)日：2025-02-14
申请号：CN202411461152.1
申请日：2024-10-18
Applicant: 苏州大学
IPC: G06F18/214
Abstract: 本发明提供一种BERT模型的训练方法、系统、计算机设备、存储介质及程序产品，属于自然语言处理技术领域。其中方法包括利用预先构建的BERT模型以多个解码路径分别生成多个序列；将多个序列划分为正样本和负样本；利用参考模型对正样本和负样本进行采样，以构建偏好学习损失函数；构建正则惩罚项损失函数；构建掩码预测损失函数；根据偏好学习损失函数、正则惩罚项损失函数和掩码预测损失函数确定BERT模型的总损失，得到训练好的BERT模型。采用上述方案指导BERT模型学习不同解码路径对输出的影响，增强BERT模型在复杂解码空间中选择路径并生成更高质量序列的能力。
Search Results
1
records
(took 0.029 seconds)
筛选
AND
AND
过滤
NOT
NOT
Scan to Join
