公开(公告)号：CN119272759A

公开(公告)日：2025-01-07

申请号：CN202411116497.3

申请日：2024-08-15

Applicant: 昆明理工大学

Inventor： 李英 ,  刘枵 ,  余正涛 ,  高盛祥

IPC: G06F40/232 ,  G06F40/295 ,  G06F40/242 ,  G06F18/214 ,  G06F18/21 ,  G06N3/045 ,  G06N3/08

Abstract: 本发明提出基于实体信息增强的中文拼写纠错方法、装置、计算机可读存储介质。本发明收集了公开的实体词典，并对其进一步扩展；利用扩展后的实体词典和搜集的无标注语料，构建了一个专注实体的中文拼写语料，并利用三种不同的掩码策略来隐藏语料中的实体信息；使用所构建的语料对预训练语言模型微调，以增强模型对浅层实体信息的关注，并进一步增强模型中的实体表征，从而使得模型更加适应于中文拼写纠错场景；本发明通过模型集成技术融合不同模型中的实体信息，以进一步提升模型在中文拼写纠错任务中的性能表现。本发明在保持中文拼写纠错效能的同时，显著提升了对于实体信息的关注度，有效纠错错误句子中的实体错误，从而验证了该方法的有效性。

公开(公告)号：CN119849482A

公开(公告)日：2025-04-18

申请号：CN202411964598.6

申请日：2024-12-30

Applicant: 昆明理工大学

Inventor： 李英 ,  李哲 ,  刘枵 ,  王丹 ,  余正涛 ,  杨晶婷

IPC: G06F40/253 ,  G06F40/216 ,  G06F40/279 ,  G06F18/22 ,  G06N20/00

Abstract: 本发明涉及一种基于大模型微调的中文语法纠错方法、系统。该方法使用Qwen2‑7B模型生成纠错指令数据集；依据复杂度、质量和多样性对指令数据集进行筛选；采用LORA方法对Qwen2‑7B模型进行监督式微调，重点优化自注意力层和前馈网络层，以增强模型对长距离依赖和上下文信息的处理能力；然后使用Qwen2‑72B模型对纠错数据集进行评分，生成偏好标签，并利用这些标签进一步优化Qwen2‑7B模型，从而提升其响应质量；使用直接偏好优化方法，结合偏好数据集对模型进行训练，调整参数以最小化损失函数，从而增强模型对偏好响应的倾向性。该方法通过多层次的优化策略，有效提高了中文语法纠错的准确性。

公开(公告)号：CN117272984A

公开(公告)日：2023-12-22

申请号：CN202311215527.1

申请日：2023-09-20

Applicant: 昆明理工大学

Inventor： 李英 ,  刘枵 ,  余正涛

IPC: G06F40/253 ,  G06F40/247 ,  G06F40/216 ,  G06N3/0455

Abstract: 本发明涉及基于类ChatGPT开源大模型的中文语法纠错语料构建方法。本发明首先通过提示模板机制引导类ChatGPT开源大模型自动生成候选中文语法纠错语料，并对生成的中文语法纠错语料进行后处理；接着尝试利用类ChatGPT开源大模型来自动对生成的候选中文语法纠错语料进行评估，从而进一步提高中文语法纠错语料的质量；最后利用类ChatGPT开源大模型生成的数据和公开的中文语法纠错语料构建混合语料来提高纠错模型的纠错能力。本发明通过有效利用类ChatGPT开源大模型对自然语言进行高度理解和处理的特性来自动生成中文语法纠错语料，在中文语法纠错任务上取得了较好的实验结果。