公开(公告)号：CN116757211A

公开(公告)日：2023-09-15

申请号：CN202310657861.6

申请日：2023-06-05

Applicant: 重庆邮电大学

Inventor： 孙开伟 ,  李奕佳

IPC: G06F40/295 ,  G06N3/045 ,  G06N3/0499 ,  G06N3/04 ,  G06F18/214 ,  G06N3/084 ,  G06F18/22 ,  G06F18/23213 ,  G06F18/2413 ,  G06F40/30

Abstract: 本发明涉及自然语言处理领域，具体涉及一种基于差异图学习的中文医疗命名实体识别方法；包括对中文医疗文本数据进行预处理并将其划分为训练集和验证集；通过BERT‑GNN模块输出训练样本的原始有向图及其相关的扰动图集合；通过k‑NN算法获取正样本候选集，然后结合全局语义信息确定正样本；学习正样本与扰动图的差异；根据分类和差异图学习对医疗文本进行实体识别；本发明基于分类和差异学习算法实现医疗领域命名实体识别，改善少资源样本、实体领域特性强的医疗命名实体识别性能。

公开(公告)号：CN114841167A

公开(公告)日：2022-08-02

申请号：CN202210540397.8

申请日：2022-05-17

Applicant: 重庆邮电大学

Inventor： 孙开伟 ,  李奕佳 ,  段雨辰 ,  纪志阳 ,  曾雅苑 ,  王支浩

IPC: G06F40/295 ,  G06N3/04

Abstract: 本发明公开了一种基于图神经网络多嵌入联合的临床命名实体识别方法，包括101.对输入文本进行分词处理，并赋予初始权重；102.对输入文本按批次进行划分及截断；103.对输入文本按批次填充至相同长度；104.连接文本句子对；105.构建数据增强多嵌入联合特征；106.构建图神经网络，其中通过多头注意力机制进行节点与边的信息传递；107.构建关于临床领域的字组信息；108.使用BiLSTM进一步提取文本特征；109.使用CRF对BiLSTM的输出数据进行解码，从而实现实体识别。本发明主要通过对实体进行数据增强并构建字词关联图，使得模型能更精确地识别医疗领域的实体。

公开(公告)号：CN114841167B

公开(公告)日：2024-12-17

申请号：CN202210540397.8

申请日：2022-05-17

Applicant: 重庆邮电大学

Inventor： 孙开伟 ,  李奕佳 ,  段雨辰 ,  纪志阳 ,  曾雅苑 ,  王支浩

IPC: G06F40/295 ,  G06N3/0442 ,  G06N3/045 ,  G06N3/042

Abstract: 本发明公开了一种基于图神经网络多嵌入联合的临床命名实体识别方法，包括101.对输入文本进行分词处理，并赋予初始权重；102.对输入文本按批次进行划分及截断；103.对输入文本按批次填充至相同长度；104.连接文本句子对；105.构建数据增强多嵌入联合特征；106.构建图神经网络，其中通过多头注意力机制进行节点与边的信息传递；107.构建关于临床领域的字组信息；108.使用BiLSTM进一步提取文本特征；109.使用CRF对BiLSTM的输出数据进行解码，从而实现实体识别。本发明主要通过对实体进行数据增强并构建字词关联图，使得模型能更精确地识别医疗领域的实体。

公开(公告)号：CN117112747A

公开(公告)日：2023-11-24

申请号：CN202310991238.4

申请日：2023-08-08

Applicant: 重庆邮电大学

Inventor： 孙开伟 ,  段雨辰 ,  纪志阳 ,  李奕佳 ,  曾雅苑

IPC: G06F16/332 ,  G06N3/0442 ,  G06N3/06 ,  G06F18/22 ,  G06F18/213

Abstract: 本发明属于自然语言处理领域，具体涉及一种基于门控全局注意力机器阅读理解模型的问答方法，包括：获取待回答的文章，对文章进行特征提取，将文章表征、问题表征以及选项表征分别输入到编码层中，得到文章的上下文信息表征、问题的上下文信息表征以及选项的上下文信息表征；采用注意力交互层对文章的上下文信息表征、问题的上下文信息表征以及选项的上下文信息表征进行信息交互，得到问题‑文章‑答案的深度交互信息；将问题‑文章‑答案的深度交互信息输入到答案输出层中，得到问题结果；本发明通过引入全局结点信息帮助模型学习有关问题的精准信息，并通过引入三注意力机制充分挖掘文章与问题的逻辑信息，提高了智能问答系统的效率和准确性。

公开(公告)号：CN116467409A

公开(公告)日：2023-07-21

申请号：CN202310446289.9

申请日：2023-04-24

Applicant: 重庆邮电大学

Inventor： 孙开伟 ,  段雨辰 ,  纪志阳 ,  李奕佳 ,  曾雅苑

IPC: G06F16/33 ,  G06F40/35 ,  G06F16/332

Abstract: 本发明属于自然语言处理领域，具体涉及一种基于注意力的多项选择机器阅读理解方法，包括：采用句子选择数据集S对中文预训练模型BERT‑wwm‑ext进行增量训练，得到继续预训练模型D；引入多头注意力机制融合选项信息，问题与文章信息，增强模型回答的正确率；采用权重移动平均的方式对模型参数进行调优；本发明通过对预训练模型BERT‑wwm‑ext进行继续预训练，使得模型更加适应横向领域，同时多头注意力机制的引入可以充分利用文章、问题和选项之间的信息，再通过权重移动平均优化模型参数，使模型更加准确的回答阅读理解的问题。