基于注意力修正的图神经网络的视觉文档信息抽取方法

    公开(公告)号:CN119919954A

    公开(公告)日:2025-05-02

    申请号:CN202411964079.X

    申请日:2024-12-30

    Inventor: 姜明 龚锴睿 张旻

    Abstract: 本发明涉及基于注意力修正的图神经网络的视觉文档信息抽取方法,包括先依据实体及其文本内容与文本框信息提取实体节点图像、文本、布局特征,获取文档中各实体节点相邻最近的n个实体节点索引以生成边邻接矩阵,后将实体节点特征与边邻接矩阵输入GraphSAGE图网络模型学习节点特征,此过程融合图卷积与基于结构特征的注意力修正机制,依据节点特征距离与度信息计算并修正边权重,经多层图卷积与修正操作后输出特征表示,输入全连接层完成节点分类,对文档采样获取实体节点对及边特征,融合后再输入全连接层进行边分类。该方法借助GraphSAGE模型,有效融合多模态信息,精准捕捉节点与图结构特性,动态调整节点关系与权重,显著提升实体节点分类准确率。

    一种基于预训练模型结合句法子树的关系分类方法

    公开(公告)号:CN114328924B

    公开(公告)日:2025-05-02

    申请号:CN202111641146.0

    申请日:2021-12-29

    Inventor: 姜明 孟佳营 张旻

    Abstract: 本发明公开了一种基于预训练模型结合句法子树的关系分类方法。首先是利用BERT预训练模型构建词向量、句子表征向量、实体向量。为了结合句法信息,利用Spacy工具包对于句子进行依存句法分析,然后对于分析结果进行预处理,得到边以及边的类别。在结合句法信息时利用循环神经网络RvNN进行递归计算,得到每个子树的表征向量,这一步的目的是得到句法依赖树的拓补信息、语义信息、边的类别信息。将每个子树的表征向量进行最大池化获得树的表征向量。将实体向量、句子表征向量、树的表征向量进行拼接,然后进行关系类别预测。本发明能更好的解决词向量和句法子树信息融合的问题,并且能提取到更深层的、信息更充分的词向量,具有很好的鲁棒性。

    一种基于句法依赖和融合信息的关系抽取方法

    公开(公告)号:CN114168754B

    公开(公告)日:2025-05-02

    申请号:CN202111546088.3

    申请日:2021-12-16

    Inventor: 姜明 孟佳营 张旻

    Abstract: 本发明公开了一种基于句法依赖和融合信息的关系抽取方法。首先是利用BERT预训练模型构建词向量。其次是长短期记忆网络存在不考虑词汇位置信息的问题,本发明在LSTM网络之前予词向量添加位置向量。为了结合句法信息,利用Spacy工具包对于句子进行依存句法分析,然后对于分析结果进行预处理,得到句法信息。在结合句法信息时利用键值记忆网络将词向量与句法信息融合,得到包含句法信息的词向量。之后利用LSTM网络提取特征。最后利用LSTM网络进行解码,预测关系、预测实体。本发明在中文和英语数据集上进行实验,本发明能更好的解决词向量和句法信息融合的问题,并且能提取到更深层的、信息更充分的词向量,具有很好的鲁棒性。

    一种基于复述质量优化的大语言模型数学推理方法

    公开(公告)号:CN118674053B

    公开(公告)日:2024-11-22

    申请号:CN202411170996.0

    申请日:2024-08-26

    Inventor: 姜明 张王成 张旻

    Abstract: 本发明涉及一种基于复述质量优化的大语言模型数学推理方法,通过高质量的问题复述提升大语言模型的数学推理能力,本方案融合了多指标评分与成对比较两个模块:前者从六个角度出发,通过实验确定最佳的提示方式,利用大语言模型对复述质量进行单指标打分;后者则依据复述的综合质量,使用大语言模型进行复述间的相对排名,最终训练一个梯度提升决策树分类模型,将多指标评分模块的得分以及成对比较模块的相对关系作为特征输入,决策并挑选最佳复述。本发明提供了一种使用大语言模型进行复述质量评估通用的评价框架,有效地提升了模型在数学问题上的表现。

    一种基于复述质量优化的大语言模型数学推理方法

    公开(公告)号:CN118674053A

    公开(公告)日:2024-09-20

    申请号:CN202411170996.0

    申请日:2024-08-26

    Inventor: 姜明 张王成 张旻

    Abstract: 本发明涉及一种基于复述质量优化的大语言模型数学推理方法,通过高质量的问题复述提升大语言模型的数学推理能力,本方案融合了多指标评分与成对比较两个模块:前者从六个角度出发,通过实验确定最佳的提示方式,利用大语言模型对复述质量进行单指标打分;后者则依据复述的综合质量,使用大语言模型进行复述间的相对排名,最终训练一个梯度提升决策树分类模型,将多指标评分模块的得分以及成对比较模块的相对关系作为特征输入,决策并挑选最佳复述。本发明提供了一种使用大语言模型进行复述质量评估通用的评价框架,有效地提升了模型在数学问题上的表现。

    一种基于分割引导的人体姿态识别方法

    公开(公告)号:CN113743189B

    公开(公告)日:2024-02-02

    申请号:CN202110726048.0

    申请日:2021-06-29

    Abstract: 本发明公开了一种基于分割引导的人体姿态估计方法。本发明采用HRNet人体姿态估计的基本网络结构;HRNet包含4个阶段3个分支,每个分支捕获输入信号的不同尺度特征表示;每个阶段不同分支的特征会进行相互融合并将融合后的特征作为下一个阶段的输入;同时高分辨率分支的每一个阶段都融入一个分割引导机制,得到一个分割引导的HRNet;利用分割引导机制来逐步改善每个阶段产生的检测结果。结果表明,本发明具有更好的鲁棒性和自适应能力。解决了原来复杂背景的干扰问题。人体姿态估计是行为识别的上游任务对其至关重要,准确高效的人体姿态估计可以促进人体行为识别的准确度。

    一种基于预训练模型的部分标签命名实体识别方法

    公开(公告)号:CN116842954A

    公开(公告)日:2023-10-03

    申请号:CN202310807334.9

    申请日:2023-07-04

    Abstract: 本发明公开了一种基于预训练模型的部分标签命名实体识别方法,包括如下步骤:将预测语句输入到整体模型里,得到部分实体词汇和实体类型标签;将部分实体词汇拼接在原始的预测语句中的输入末端组合成字词序列,并得到字词序列对应的头、尾位置序列和字词标签;将得到的实体词token序列和字词标签序列分别通过部分标签小模型中的BERT进行序列编码得到对应序列编码向量后进行拼接得到融合后的特征向量;将得到的特征向量通过部分标签小模型中的transformer特征提取器结合相对应的位置编码进行特征融合得到最终特征向量表示;使用得到的融合特征通过CRF进行标签预测和解码。该方法采用预训练大模型+小模型的方式代替外部词典信息,能有效的进行命名实体识别抽取。

    一种融合词典信息和注意力机制的命名实体识别方法

    公开(公告)号:CN115809666B

    公开(公告)日:2023-08-08

    申请号:CN202211546653.0

    申请日:2022-12-05

    Inventor: 姜明 陈跃晨 张旻

    Abstract: 本发明公开了一种融合词典信息和注意力机制的命名实体识别方法,包括:步骤(1)通过Bert字嵌入,并进行LSTM上下文融合得到字符特征及其序列;步骤(2)通过将字符特征序列通过处理得到关系特征矩阵V、距离矩阵Ed、区域网络矩阵Et和词汇网格矩阵Ew,并将四个矩阵的特征进行拼接得到网格关系特征;步骤(3)将步骤(2)的网格关系特征通过全局注意力机制进行全局特征融合得到融合了全局信息的Word‑Pair特征;步骤(4)利用的Word‑Pair特征以及字符特征进行联合预测,得到Word‑Pair关系矩阵;步骤(5)Word‑Pair关系矩阵进行解码,得到最终的实体词及其类型。该方法将词语级别的信息表示为Word‑Pair词嵌入关系矩阵融入到模型中的方法,提高实体边界的识别准确率。

    一种基于多特征信息的快递人员身份识别方法

    公开(公告)号:CN111709294B

    公开(公告)日:2023-07-14

    申请号:CN202010419503.8

    申请日:2020-05-18

    Abstract: 本发明公开了一种基于多特征信息的快递人员身份识别方法。本发明提出利用跳跃连接的方式连接3个含有相同大小卷积核的卷积层与3个多尺度金字塔模块MSPM,来融合多层高层语义特征信息和低层特征图的细节信息,从而构建目标检测网络SFPNet。其中,MSPM采用并行的空洞卷积来提取不同尺度物体对应的特征信息,这些空洞卷积中含有不同大小空洞率,在卷积过程中采用不同步长。本发明在得到快递人员相关信息后,将多个目标信息进行综合评定,判读更加准确,鲁棒性和自适应能力更好。

    一种融合实体标签编码的小样本学习命名实体识别方法

    公开(公告)号:CN116108850A

    公开(公告)日:2023-05-12

    申请号:CN202310111669.7

    申请日:2023-02-14

    Inventor: 姜明 陈跃晨 张旻

    Abstract: 本发明公开了一种融合实体标签编码的小样本学习命名实体识别方法,包括:步骤(1)得到字符特征及其序列;步骤(2)得到词对特征矩阵、距离特征矩阵和区域特征矩阵,并拼接得到词对关系特征矩阵;步骤(3)得到每个实体标签的特征表示;步骤(4)计算每个词对关系特征与实体标签特征的点积相似度,得到转移概率矩阵;步骤(5)选取最优模型作为最终的预训练模型;步骤(6)载入预训练模型进行小样本学习,将句子输入到模型中,输出词对关系矩阵。该方法将分别对词对和实体标签进行编码,再将词对的表征和实体标签的表征进行匹配,得到词与词之间的实体关系。能够在低资源的情况下,有效地识别连续实体、重叠实体和不连续实体。

Patent Agency Ranking