公开(公告)号：CN111191023B

公开(公告)日：2022-07-26

申请号：CN201911395888.2

申请日：2019-12-30

Applicant: 北京航空航天大学

Inventor： 李建欣 ,  毛乾任 ,  李熙 ,  黄洪仁 ,  钟盛海 ,  朱洪东

IPC: G06F16/34 ,  G06F40/205 ,  G06F40/30 ,  G06K9/62

Abstract: 一种话题标签自动生成方法、装置与系统，包括：步骤一：构建训练数据集合与数据预处理;步骤二：实现基于内容片段的内容选择机制的Transformer encoder特征编码器;步骤三：Transformer decoder的话题摘要生成器模型；步骤四：训练数据并根据交叉验证调优，并实现模型封装与装置的接口实现；本发明通过文本摘要生成技术实现话题标签的自动生成，提出了一种话题标签生成的新场景，本发明提出内容选择机制的Transformer编码并抽取重要的源文本片段，输入解码器用于文本生成，这种设计即捕捉了有效的核心语义片段，又减少了模型训练的开销。

公开(公告)号：CN111191413B

公开(公告)日：2021-11-12

申请号：CN201911393738.8

申请日：2019-12-30

Applicant: 北京航空航天大学

Inventor： 李建欣 ,  毛乾任 ,  李倩 ,  钟盛海 ,  朱洪东 ,  李熙

IPC: G06F40/117 ,  G06F40/211 ,  G06F40/253 ,  G06F40/289 ,  G06F40/295 ,  G06F16/33

Abstract: 本发明通过深度学习技术，针对新闻文本的要素标记问题设计了一种基于图排序模型的事件核心内容自动标记方法及应用该方法的设备和系统，该方法包括基于句法依存树的事件关键要素抽取及核心词标记、核心事件构建、事件核心句定位并输出标记文本三个基本步骤，对文本的核心句子和核心词进行标记，从而实现新闻文本标记过程中节约人工成本以及时间成本，节省资源的技术效果。

公开(公告)号：CN111177366A

公开(公告)日：2020-05-19

申请号：CN201911396046.9

申请日：2019-12-30

Applicant: 北京航空航天大学

Inventor： 李建欣 ,  毛乾任 ,  董善为 ,  李熙 ,  李倩 ,  孙睿

IPC: G06F16/34 ,  G06F16/35 ,  G06F40/30

Abstract: 本发明通过深度学习的方法，构建训练数据与数据预处理；基于BERT模型预训练语言模型进行文档与查询内容编码；基于BERT模型的查询内容进行词编码；建立基于句子级别的层级结构(Hierarchical结构)模型，实现查询内容与文档关系语义建模；模型训练后封装，通过接口输出抽取式摘要五个步骤，使BERT模型学习词级别的特征向量表示，抽取代表文档的句子和查询的句子，并将上述特征导入Transformer模型进行句子级别的语义关系特征学习，结合查询模型的思想，学习查询内容与文档的关系，通过分类函数判定最终得到文本的摘要。

公开(公告)号：CN113312464B

公开(公告)日：2022-05-31

申请号：CN202110589755.X

申请日：2021-05-28

Applicant: 北京航空航天大学

Inventor： 李建欣 ,  李倩 ,  宁元星 ,  骆功旭 ,  李熙 ,  毛乾任 ,  黄洪仁

IPC: G06F16/332 ,  G06F16/33 ,  G06F16/335 ,  G06F16/35 ,  G06F16/36 ,  G06F40/186 ,  G06F40/253 ,  G06F40/30 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明通过人工智能领域的方法，实现了一种基于对话状态追踪技术的事件抽取方法。方法整体由事件分类、序列问题生成模型和论元抽取模型三部分组成；事件分类检测输入文本是否是事件，如果文本不包含事件，则输出NULL，否则分类文本所属的事件类型；序列问题生成模型根据事件类型和已经预测的置信度高的论元结果自动生成问题；论元抽取模型将所述序列问题生成模型生成的问题和输入文本作为输入来预测论元位置，然后采用标签对齐机制将预测的论元中置信度高的论元加入训练集中。这一方法通过三部分模型，能对所有参数的预测结果和高置信度结果进行反馈；提取两个任务之间的共同信息和模式，并利用所学习到的语法和语义知识标记；并充分利用论元之间的相关性。

公开(公告)号：CN111191413A

公开(公告)日：2020-05-22

申请号：CN201911393738.8

申请日：2019-12-30

Applicant: 北京航空航天大学

Inventor： 李建欣 ,  毛乾任 ,  李倩 ,  钟盛海 ,  朱洪东 ,  李熙

IPC: G06F40/117 ,  G06F40/211 ,  G06F40/253 ,  G06F40/289 ,  G06F40/295 ,  G06F16/33

Abstract: 本发明通过深度学习技术，针对新闻文本的要素标记问题设计了一种基于图排序模型的事件核心内容自动标记方法及应用该方法的设备和系统，该方法包括基于句法依存树的事件关键要素抽取及核心词标记、核心事件构建、事件核心句定位并输出标记文本三个基本步骤，对文本的核心句子和核心词进行标记，从而实现新闻文本标记过程中节约人工成本以及时间成本，节省资源的技术效果。

公开(公告)号：CN110032729A

公开(公告)日：2019-07-19

申请号：CN201910113193.4

申请日：2019-02-13

Applicant: 北京航空航天大学

Inventor： 李建欣 ,  毛乾任 ,  唐彬 ,  李熙 ,  黄洪仁 ,  邰振赢

IPC: G06F17/27 ,  G06F16/34 ,  G06F16/35 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提出一种基于神经图灵机的自动摘要生成方法，包括以下步骤：步骤1，新闻中文语料库构建；步骤2，摘要生成模型训练；步骤3，采用神经图灵机解码，当编码器读取整个源文本之后，解码器部分形成文本摘要的单词序列。本发明使用自动摘要的方式将新闻的主要内容进行抽取，形成简短的容易理解的摘要内容，不需要人工提取语义特征，摆脱了对词性标注和语义分析等自然语言处理工具提取的特征的依赖。