公开(公告)号：CN116502654B

公开(公告)日：2024-11-01

申请号：CN202310321437.4

申请日：2023-03-29

Applicant: 苏州大学

Inventor： 郭沛 ,  肖义胜 ,  李俊涛 ,  尤王杰 ,  张民

IPC: G06F40/58 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明涉及一种非自回归机器翻译系统、方法和电子设备，系统包括：对源序列X依次进行序列化和编码，得到编码序列；以序列化后的源序列X为基准，对所述编码序列进行解码，得到带有噪声的序列Ypot；对所述带有噪声的序列Ypot中的错误信息进行掩码，得到掩码序列；将所述编码序列作为注意力机制，对所述掩码序列中被掩码的错误信息进行预测，得到预测结果；将所述预测结果与所述带有噪声的序列Ypot中未被掩码的信息进行组合，得到翻译结果。本发明能够对待翻译的文本进行有效翻译，且翻译效率较高。

公开(公告)号：CN116502654A

公开(公告)日：2023-07-28

申请号：CN202310321437.4

申请日：2023-03-29

Applicant: 苏州大学

Inventor： 郭沛 ,  肖义胜 ,  李俊涛 ,  尤王杰 ,  张民

IPC: G06F40/58 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明涉及一种非自回归机器翻译系统、方法和电子设备，系统包括：对源序列X依次进行序列化和编码，得到编码序列；以序列化后的源序列X为基准，对所述编码序列进行解码，得到带有噪声的序列Ypot；对所述带有噪声的序列Ypot中的错误信息进行掩码，得到掩码序列；将所述编码序列作为注意力机制，对所述掩码序列中被掩码的错误信息进行预测，得到预测结果；将所述预测结果与所述带有噪声的序列Ypot中未被掩码的信息进行组合，得到翻译结果。本发明能够对待翻译的文本进行有效翻译，且翻译效率较高。

公开(公告)号：CN119443059A

公开(公告)日：2025-02-14

申请号：CN202411537890.X

申请日：2024-10-31

Applicant: 苏州大学

Inventor： 王品正 ,  汤泽成 ,  周柯言 ,  王新瑞 ,  李俊涛 ,  张民

IPC: G06F40/166 ,  G06N3/045 ,  G06N3/0985 ,  G06N5/022

Abstract: 本发明提供一种基于注意力漂移约束的稳定知识编辑方法及系统，涉及自然语言处理技术领域，该方法包括大型语言模型的知识编辑过程中，引入选择性注意力漂移限制策略；通过比较编辑前后的模型注意力输出，定位出现严重注意力漂移现象的注意力头；基于新的优化目标目标函数，对模型进行训练，得到最优的模型参数，实现稳定知识编辑。本发明显著提升编辑准确性并降低错误答案概率，实验验证表明该方法有效改进了特异性任务性能，为大型语言模型的知识编辑提供了理论支持和实践指导。

公开(公告)号：CN119476479A

公开(公告)日：2025-02-18

申请号：CN202411481668.2

申请日：2024-10-23

Applicant: 苏州大学

Inventor： 丁誉洋 ,  施欣宇 ,  李俊涛 ,  张民

IPC: G06N5/04 ,  G06N5/045 ,  G06N3/0455 ,  G06N3/0475 ,  G06N3/096 ,  G06F16/3329

Abstract: 本发明涉及一种推理数据合成方法和系统，其中，方法包括：获取数学大语言模型，在模型训练过程中，通过问题微调方法在数学大语言模型利用预设数据集进行问题微调，得到经过问题微调方法处理后的数学大语言模型；通过经过问题微调方法处理后的数学大语言模型生成样本问题；通过问题偏好优化方法对样本问题进行优化，再将优化后的样本问题再对经过问题微调方法处理后的数学大语言模型进行训练；将经过问题微调方法和问题偏好优化方法处理后的数学大语言模型作为问题生成器，并对所述问题生成器生成的问题进行过滤；对每个过滤后的问题生成相应的回答以合成推理数据。本发明的推理数据合成方法不仅能保证数据质量，还能降低生成成本、提高生成效率。

公开(公告)号：CN119441870A

公开(公告)日：2025-02-14

申请号：CN202411461152.1

申请日：2024-10-18

Applicant: 苏州大学

Inventor： 肖义胜 ,  梁小波 ,  贾科航 ,  李俊涛 ,  张民

IPC: G06F18/214

Abstract: 本发明提供一种BERT模型的训练方法、系统、计算机设备、存储介质及程序产品，属于自然语言处理技术领域。其中方法包括利用预先构建的BERT模型以多个解码路径分别生成多个序列；将多个序列划分为正样本和负样本；利用参考模型对正样本和负样本进行采样，以构建偏好学习损失函数；构建正则惩罚项损失函数；构建掩码预测损失函数；根据偏好学习损失函数、正则惩罚项损失函数和掩码预测损失函数确定BERT模型的总损失，得到训练好的BERT模型。采用上述方案指导BERT模型学习不同解码路径对输出的影响，增强BERT模型在复杂解码空间中选择路径并生成更高质量序列的能力。

公开(公告)号：CN116451708B

公开(公告)日：2024-10-18

申请号：CN202310253751.3

申请日：2023-03-16

Applicant: 苏州大学

Inventor： 肖义胜 ,  李俊涛 ,  张民

IPC: G06F40/58 ,  G06F8/30 ,  G06F18/214

Abstract: 本发明涉及一种基于自适应掩码策略的文本预测方法、系统及电子设备，方法包括：对文本对中的目标序列进行掩码，根据目标序列的掩码比例计算文本对中的源序列的初始掩码比例，再对待训练的模型进行当前训练；将待训练的模型当前训练的预测结果和目标序列中未被掩码部分组成新的目标序列，并计算待训练的模型当前训练的预测结果的正确率；根据正确率对新的目标序列进行掩码，根据新的目标序列的掩码比例计算源序列的再次掩码比例，再对待训练的模型再次进行训练；将待训练的模型再次训练的预测结果与所述目标序列进行对比判断是否需要再次进行训练；根据训练好的模型对待预测的文本进行预测。本发明能够对用于文本预测的模型进行有效训练。

公开(公告)号：CN116741020A

公开(公告)日：2023-09-12

申请号：CN202310508640.2

申请日：2023-05-08

Applicant: 苏州大学

Inventor： 苏肇辰 ,  李俊涛 ,  李嘉贤 ,  张民

IPC: G09B17/00 ,  A61B3/113 ,  G09B17/04 ,  G06F16/332 ,  G06F40/242 ,  G06F40/284 ,  G06N3/0455 ,  G06N3/084

Abstract: 本发明涉及一种基于人工智能和眼动捕捉技术的语文阅读训练系统，包括：检测系统，检测系统收集用户的眼球轨迹和热点图；收集系统，收集系统用于收集注视数据和眼跳数据；建议系统，建议系统根据检测系统和收集系统收集的数据和自然语言处理技术分析得到的数据进行比较，基于阅读速度、阅读技巧、关键信息提取、记忆力和注意力给出建议和阅读提升计划安排；其中，通过眼动仪记录读者阅读文本时关注的词，通过自然语言处理技术获得文本的关键词，将读者阅读文本时关注的词与自然语言处理技术获得文本的关键词比较，获得阅读时存在的问题。其应用了自然语言处理技术并结合眼动技术为学生的语文阅读提供辅助训练，有助于老师进行更加准确地教学指导。

公开(公告)号：CN116451708A

公开(公告)日：2023-07-18

申请号：CN202310253751.3

申请日：2023-03-16

Applicant: 苏州大学

Inventor： 肖义胜 ,  李俊涛 ,  张民

IPC: G06F40/58 ,  G06F8/30 ,  G06F18/214

Abstract: 本发明涉及一种基于自适应掩码策略的文本预测方法、系统及电子设备，方法包括：对文本对中的目标序列进行掩码，根据目标序列的掩码比例计算文本对中的源序列的初始掩码比例，再对待训练的模型进行当前训练；将待训练的模型当前训练的预测结果和目标序列中未被掩码部分组成新的目标序列，并计算待训练的模型当前训练的预测结果的正确率；根据正确率对新的目标序列进行掩码，根据新的目标序列的掩码比例计算源序列的再次掩码比例，再对待训练的模型再次进行训练；将待训练的模型再次训练的预测结果与所述目标序列进行对比判断是否需要再次进行训练；根据训练好的模型对待预测的文本进行预测。本发明能够对用于文本预测的模型进行有效训练。