-
公开(公告)号:CN115017900A
公开(公告)日:2022-09-06
申请号:CN202210435577.X
申请日:2022-04-24
Applicant: 北京理工大学
IPC: G06F40/289 , G06F40/216 , G06K9/62 , G06V10/762 , G06V10/764 , G06V10/82 , G06V20/40 , G06V40/70
Abstract: 本发明涉及一种基于多模态多去偏见的对话情感识别方法,属于自然语言处理技术领域。对于文本模态,本发明提出了去除五种类型的偏见,包括词向量表示中的性别、年龄、种族、宗教和性少数群体偏见。同时,本发明将文本去偏方法扩展到视觉模态,并着重去除两类最为典型的视觉偏见:性别和种族偏见。本发明进一步提出了一种基于子空间投影的去偏方法,该方法为每种类型的视觉偏见构建一个子空间,并通过将每个视觉信息对象的特征向量表示投影到相应的子空间来代表视觉表示中的所存在的该种类型的偏见,进而将其去除。相比传统多模态对话情感识别方法,本方法更加注重特殊群体的感受,减少了社会偏见。相比现有的大多去偏方法只去除一种偏见,本发明一次去除了五种,关注的特殊群体更多更广泛。
-
公开(公告)号:CN114117041A
公开(公告)日:2022-03-01
申请号:CN202111326061.3
申请日:2021-11-10
Applicant: 北京理工大学
Abstract: 本发明涉及一种基于特定属性词上下文建模的属性级情感分析方法,属于自然语言处理技术领域。本方法综合了预训练语言模型、基于属性的情感分类技术,提出了对输入进行转换增强,并对预训练语言模型进一步微调的模型,以实现高效的特定属性上下文建模,包括特定属性的输入转换、上下文建模、属性特征归纳和微调分类四部分。本方法可以有效且准确地捕捉多属性评论句中的目标属性对应的观点词,并可以更加准确地判定目标属性的情感极性。
-
公开(公告)号:CN115017900B
公开(公告)日:2024-05-10
申请号:CN202210435577.X
申请日:2022-04-24
Applicant: 北京理工大学
IPC: G06F40/289 , G06F40/216 , G06V10/762 , G06V10/764 , G06V10/82 , G06V20/40 , G06V40/70 , G06F18/22 , G06F18/23213 , G06F18/2135
Abstract: 本发明涉及一种基于多模态多去偏见的对话情感识别方法,属于自然语言处理技术领域。对于文本模态,本发明提出了去除五种类型的偏见,包括词向量表示中的性别、年龄、种族、宗教和性少数群体偏见。同时,本发明将文本去偏方法扩展到视觉模态,并着重去除两类最为典型的视觉偏见:性别和种族偏见。本发明进一步提出了一种基于子空间投影的去偏方法,该方法为每种类型的视觉偏见构建一个子空间,并通过将每个视觉信息对象的特征向量表示投影到相应的子空间来代表视觉表示中的所存在的该种类型的偏见,进而将其去除。相比传统多模态对话情感识别方法,本方法更加注重特殊群体的感受,减少了社会偏见。相比现有的大多去偏方法只去除一种偏见,本发明一次去除了五种,关注的特殊群体更多更广泛。
-
公开(公告)号:CN114385805B
公开(公告)日:2024-05-10
申请号:CN202111534340.9
申请日:2021-12-15
Applicant: 北京理工大学
IPC: G06F16/335 , G06F40/289 , G06F40/30 , G06F18/22
Abstract: 本发明涉及一种提高深度文本匹配模型适应性的小样本学习方法,属于自然语言处理中的文本匹配技术领域。本方法综合了应用于文本匹配模型的小样本学习与跨领域适应性方法,沿最小化目标域小样本数据集损失的方向,对源域数据的权重进行梯度下降,解决了传统的跨领域文本匹配方法在小样本学习设置下表现不足的问题,增强了文本匹配模型在少样本学习环境中的适应性。本方法与基础模型无关,可应用于各种基于深度学习的文本匹配模型。
-
公开(公告)号:CN115048935A
公开(公告)日:2022-09-13
申请号:CN202210383512.5
申请日:2022-04-12
Applicant: 北京理工大学
Abstract: 本发明涉及一种基于密度矩阵的语义匹配方法,属于自然语言处理中的文本匹配技术领域。本方法提出了一种基于密度矩阵的状态‑概率对偶性的量子启发的自然语言处理模型,利用该模型进行语义匹配。该模型的状态‑概率对偶性自然产生了一种混合方法,结合了基于表示的语义匹配和基于交互的语义匹配两种工作方式。通过对句子对中的一个句子的密度矩阵进行奇异值分解,提取出句子的主要语义成分,这些语义成分构成了语义空间的正交基,从而作为句子对中另一个句子的测量算子进行量子测量。本方法采用的句子对非对称处理方法,显著地提高了语义匹配的性能。
-
公开(公告)号:CN114757183A
公开(公告)日:2022-07-15
申请号:CN202210373901.X
申请日:2022-04-11
Applicant: 北京理工大学
IPC: G06F40/289 , G06F40/30 , G06F16/35
Abstract: 本发明涉及一种基于对比对齐网络的跨领域情感分析方法,属于自然语言处理中的细粒度情感分析技术领域。本发明研究了跨领域情感分类的一个未充分探索的场景,即目标领域是少样本的场景。在此场景下,本发明提出了一种名为对比对齐网络(CAN)的神经网络模型。模型首先从原领域和目标领域中随机抽取两个实例,然后根据组合目标领域和原领域的实例对其进行训练。第一个目标是最小化原领域上的分类错误。第二个是成对对比目标,其中一对中的目标领域实例和原领域实例之间的距离度量,如果它们表达相同的情感,则最小化,否则该度量以恒定的上限最大化。本方法解决了跨领域情感分类任务中目标领域数据资源受限的问题,提高了用户的使用体验。
-
公开(公告)号:CN114117041B
公开(公告)日:2024-05-24
申请号:CN202111326061.3
申请日:2021-11-10
Applicant: 北京理工大学
IPC: G06F16/35 , G06N3/0455 , G06N3/08
Abstract: 本发明涉及一种基于特定属性词上下文建模的属性级情感分析方法,属于自然语言处理技术领域。本方法综合了预训练语言模型、基于属性的情感分类技术,提出了对输入进行转换增强,并对预训练语言模型进一步微调的模型,以实现高效的特定属性上下文建模,包括特定属性的输入转换、上下文建模、属性特征归纳和微调分类四部分。本方法可以有效且准确地捕捉多属性评论句中的目标属性对应的观点词,并可以更加准确地判定目标属性的情感极性。
-
公开(公告)号:CN115048935B
公开(公告)日:2024-05-14
申请号:CN202210383512.5
申请日:2022-04-12
Applicant: 北京理工大学
IPC: G06F18/22 , G06F40/30 , G06N3/0499 , G06N3/048
Abstract: 本发明涉及一种基于密度矩阵的语义匹配方法,属于自然语言处理中的文本匹配技术领域。本方法提出了一种基于密度矩阵的状态‑概率对偶性的量子启发的自然语言处理模型,利用该模型进行语义匹配。该模型的状态‑概率对偶性自然产生了一种混合方法,结合了基于表示的语义匹配和基于交互的语义匹配两种工作方式。通过对句子对中的一个句子的密度矩阵进行奇异值分解,提取出句子的主要语义成分,这些语义成分构成了语义空间的正交基,从而作为句子对中另一个句子的测量算子进行量子测量。本方法采用的句子对非对称处理方法,显著地提高了语义匹配的性能。
-
公开(公告)号:CN114780722B
公开(公告)日:2024-05-14
申请号:CN202210342805.9
申请日:2022-03-31
Applicant: 北京理工大学
IPC: G06F16/35 , G06N3/045 , G06N3/0499 , G06N3/082 , G06N3/048
Abstract: 本发明涉及一种结合领域通用型语言模型的领域泛化方法,属于人工智能迁移学习技术领域。本方法综合了预训练语言模型和模型裁剪技术。首先对预训练语言模型微调,利用多个源域数据对预训练语言模型进行训练。基于微调后得到的模型,计算模型中参数的域不变分数,对域不变分数低的参数进行裁剪。最后对裁剪后的语言模型进行重训练,将训练得到领域通用型语言模型在不同数据上进行泛化性能测试。本方法解决了过度参数化的预训练语言模型中学习方差大的问题。基于本发明的领域通用型语言模型明显优于相应的基线模型,在自然语言处理领域泛化任务上取得了良好效果。
-
公开(公告)号:CN114780722A
公开(公告)日:2022-07-22
申请号:CN202210342805.9
申请日:2022-03-31
Applicant: 北京理工大学
Abstract: 本发明涉及一种结合领域通用型语言模型的领域泛化方法,属于人工智能迁移学习技术领域。本方法综合了预训练语言模型和模型裁剪技术。首先对预训练语言模型微调,利用多个源域数据对预训练语言模型进行训练。基于微调后得到的模型,计算模型中参数的域不变分数,对域不变分数低的参数进行裁剪。最后对裁剪后的语言模型进行重训练,将训练得到领域通用型语言模型在不同数据上进行泛化性能测试。本方法解决了过度参数化的预训练语言模型中学习方差大的问题。基于本发明的领域通用型语言模型明显优于相应的基线模型,在自然语言处理领域泛化任务上取得了良好效果。
-
-
-
-
-
-
-
-
-