公开(公告)号：CN119740572A

公开(公告)日：2025-04-01

申请号：CN202411847838.4

申请日：2024-12-16

Applicant: 北京信息科技大学

Inventor： 张仰森 ,  黄改娟 ,  畅冠光

IPC: G06F40/232 ,  G06F40/126 ,  G06F18/25 ,  G06N3/045 ,  G06N3/0464 ,  G10L25/30 ,  G10L25/51

Abstract: 本发明公开了一种多模态特征的并行交叉注意力融合方法及系统，该方法包括：S100：对错误检测模块检测的错误汉字，分别提取音频特征和字形特征；S200：使用双线性池化和非线性激活的方法获取音频特征和字形特征的联合表征特征；S300：利用并行交叉注意力融合网络对错误汉字的音频特征和字形特征分别进行融合；S400：将融合后的音频特征和字形特征与错误汉字对应的嵌入特征串接，再经线性变化与非线性融合，得到错误汉字的多模态特征。本申请利用并行交叉注意力融合网络对音频特征和字形特征进行融合，更关注形声字不同模态间的关联性，将本申请方法及系统应用于中文拼写纠错模型中，可进一步提高纠错准确率。

公开(公告)号：CN119721012A

公开(公告)日：2025-03-28

申请号：CN202411847836.5

申请日：2024-12-16

Applicant: 北京信息科技大学

Inventor： 张仰森 ,  黄改娟 ,  畅冠光

IPC: G06F40/232 ,  G06F40/126 ,  G06F18/2415 ,  G06F18/25 ,  G06N3/0442 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/084 ,  G10L13/08 ,  G10L19/16 ,  G10L25/03

Abstract: 本发明公开了一种多模态动态残差中文文本拼写纠错方法及系统，该方法包括：S100：对句子进行错误定位和掩码处理，得到错误汉字、错误汉字的嵌入特征和句子的掩码向量，以及将句子的原始嵌入特征作为初始残差嵌入矩阵；S200：提取错误汉字的音频特征和字形特征并进行基于注意力机制的融合，得到错误汉字的多模态表征特征，利用多模态表征特征替换初始残差嵌入矩阵中错误汉字的残差嵌入特征；S300：使用句子的掩码向量进行编码，编码结果结合当前的残差嵌入特征进行分类，并输出纠正后的句子。本申请使用错误汉字的多模态信息修正传统残差结构，通过增强模型对错误汉字的干预，来降低模型被错误信息误导的风险，从而提高纠错精度。