公开(公告)号：CN116663498A

公开(公告)日：2023-08-29

申请号：CN202310450960.7

申请日：2023-04-24

Applicant: 重庆邮电大学

Inventor： 孙开伟 ,  纪志阳 ,  段雨辰

IPC: G06F40/126 ,  G06F40/30 ,  G06F18/214

Abstract: 本发明涉及一种用于多个完形填空型机器阅读理解任务的方法，包括：获取N个阅读理解数据集，每个阅读理解数据集中均含有不同数量的原始训练文本；所述原始训练文本由选项和文章拼接组成；利用预训练语言模型将N个阅读理解数据集中的原始训练文本进行编码生成N个原始训练样本集，建立Cloze‑M模型；并根据N个阅读理解数据集中训练样本的数量采用多任务学习策略对Cloze‑M模型进行训练；将目标选项和目标文章组成目标待测文本，将目标待测文本输入预训练语言模型编码生成目标待测样本，将目标待测样本输入训练好的Cloze‑M模型预测目标选项在目标文章中的位置，提高系统解决完形填空型机器阅读理解任务的性能。

公开(公告)号：CN114841167A

公开(公告)日：2022-08-02

申请号：CN202210540397.8

申请日：2022-05-17

Applicant: 重庆邮电大学

Inventor： 孙开伟 ,  李奕佳 ,  段雨辰 ,  纪志阳 ,  曾雅苑 ,  王支浩

IPC: G06F40/295 ,  G06N3/04

Abstract: 本发明公开了一种基于图神经网络多嵌入联合的临床命名实体识别方法，包括101.对输入文本进行分词处理，并赋予初始权重；102.对输入文本按批次进行划分及截断；103.对输入文本按批次填充至相同长度；104.连接文本句子对；105.构建数据增强多嵌入联合特征；106.构建图神经网络，其中通过多头注意力机制进行节点与边的信息传递；107.构建关于临床领域的字组信息；108.使用BiLSTM进一步提取文本特征；109.使用CRF对BiLSTM的输出数据进行解码，从而实现实体识别。本发明主要通过对实体进行数据增强并构建字词关联图，使得模型能更精确地识别医疗领域的实体。

公开(公告)号：CN114841167B

公开(公告)日：2024-12-17

申请号：CN202210540397.8

申请日：2022-05-17

Applicant: 重庆邮电大学

Inventor： 孙开伟 ,  李奕佳 ,  段雨辰 ,  纪志阳 ,  曾雅苑 ,  王支浩

IPC: G06F40/295 ,  G06N3/0442 ,  G06N3/045 ,  G06N3/042

Abstract: 本发明公开了一种基于图神经网络多嵌入联合的临床命名实体识别方法，包括101.对输入文本进行分词处理，并赋予初始权重；102.对输入文本按批次进行划分及截断；103.对输入文本按批次填充至相同长度；104.连接文本句子对；105.构建数据增强多嵌入联合特征；106.构建图神经网络，其中通过多头注意力机制进行节点与边的信息传递；107.构建关于临床领域的字组信息；108.使用BiLSTM进一步提取文本特征；109.使用CRF对BiLSTM的输出数据进行解码，从而实现实体识别。本发明主要通过对实体进行数据增强并构建字词关联图，使得模型能更精确地识别医疗领域的实体。

公开(公告)号：CN118428316A

公开(公告)日：2024-08-02

申请号：CN202310420041.5

申请日：2023-04-19

Applicant: 重庆邮电大学

Inventor： 孙开伟 ,  纪志阳 ,  段雨辰

IPC: G06F40/126 ,  G06F40/30 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明属于自然语言处理技术领域，具体涉及一种用于中文多项选择机器阅读理解的方法，所述方法包括：将阅读理解的每一个答案和其对应的文章以及问题进行拼接生成N个原始文本；分别将N个原始文本输入预训练语言模型中进行编码得到N个原始文本序列向量；创建DUMAP模型并利用N个原始文本序列向量对DUMAP模型进行训练，所述DUMAP模型包括：依次连接的DUMA模型、第一全连接神经网络层、第二全连接神经网络层、第一全连接层、第二全连接层和softmax函数，通过训练好的DUMAP模型预测目标文本中问题对应的选项是否正确，本发明可以有效的提取文章、问题和选项之间的特征，提高在中文多项选择任务上的准确率。

公开(公告)号：CN117112747A

公开(公告)日：2023-11-24

申请号：CN202310991238.4

申请日：2023-08-08

Applicant: 重庆邮电大学

Inventor： 孙开伟 ,  段雨辰 ,  纪志阳 ,  李奕佳 ,  曾雅苑

IPC: G06F16/332 ,  G06N3/0442 ,  G06N3/06 ,  G06F18/22 ,  G06F18/213

Abstract: 本发明属于自然语言处理领域，具体涉及一种基于门控全局注意力机器阅读理解模型的问答方法，包括：获取待回答的文章，对文章进行特征提取，将文章表征、问题表征以及选项表征分别输入到编码层中，得到文章的上下文信息表征、问题的上下文信息表征以及选项的上下文信息表征；采用注意力交互层对文章的上下文信息表征、问题的上下文信息表征以及选项的上下文信息表征进行信息交互，得到问题‑文章‑答案的深度交互信息；将问题‑文章‑答案的深度交互信息输入到答案输出层中，得到问题结果；本发明通过引入全局结点信息帮助模型学习有关问题的精准信息，并通过引入三注意力机制充分挖掘文章与问题的逻辑信息，提高了智能问答系统的效率和准确性。

公开(公告)号：CN116467409A

公开(公告)日：2023-07-21

申请号：CN202310446289.9

申请日：2023-04-24

Applicant: 重庆邮电大学

Inventor： 孙开伟 ,  段雨辰 ,  纪志阳 ,  李奕佳 ,  曾雅苑

IPC: G06F16/33 ,  G06F40/35 ,  G06F16/332

Abstract: 本发明属于自然语言处理领域，具体涉及一种基于注意力的多项选择机器阅读理解方法，包括：采用句子选择数据集S对中文预训练模型BERT‑wwm‑ext进行增量训练，得到继续预训练模型D；引入多头注意力机制融合选项信息，问题与文章信息，增强模型回答的正确率；采用权重移动平均的方式对模型参数进行调优；本发明通过对预训练模型BERT‑wwm‑ext进行继续预训练，使得模型更加适应横向领域，同时多头注意力机制的引入可以充分利用文章、问题和选项之间的信息，再通过权重移动平均优化模型参数，使模型更加准确的回答阅读理解的问题。