公开(公告)号：CN114510924B

公开(公告)日：2022-09-20

申请号：CN202210133050.1

申请日：2022-02-14

Applicant: 哈尔滨工业大学

Inventor： 冯骁骋 ,  秦兵 ,  顾宇轩 ,  刘挺 ,  马思成

IPC: G06F40/216 ,  G06F40/289 ,  G06F40/30 ,  G06F16/35

Abstract: 一种基于预训练语言模型的文本生成方法，它属于自然语言处理技术领域。本发明解决了现有加权解码的可控生成方法无法在保证生成文本质量的前提下达到理想风格强度的问题。本发明提出了能够动态调节控制器权重的加权解码框架，该框架使用了一个规整模块，能够根据当前解码位置的语言模型信息对控制器的行为进行约束。如果当前解码位置不适合生成包含目标风格的词语时，规整模块会抑制控制器并使其失效；如果当前解码位置可以生成与目标风格相关的词语时，规整模块会增强控制器并确保在该解码位置生成的词语包含目标风格。本发明方法可以应用于可控文本生成。

公开(公告)号：CN113326352B

公开(公告)日：2022-05-24

申请号：CN202110675339.1

申请日：2021-06-18

Applicant: 哈尔滨工业大学

Inventor： 丁效 ,  秦兵 ,  刘挺 ,  吴婷婷

IPC: G06F16/33 ,  G06F16/35 ,  G06F40/30 ,  G06K9/62 ,  G06N3/04

Abstract: 本发明公开一种基于异构事件图的子事件关系识别方法，包括以下步骤：采集文本，提取文本中的事件，识别事件连接，基于事件和事件连接建立异构初始事件图，转换异构初始事件图，构建异构事件图；基于预训练语言模型BERT，获得异构事件图中每个节点的节点表示，基于节点表示，获得异构事件图的输入特征；对异构事件图中每个节点创建混合跳邻域集，进行信息传播和聚合，获得异构图注意力机制模型；将待测事件对输入异构图注意力机制模型，预测待测事件对的子事件关系。本发明通过混合多种距离邻居的特征表示，聚合来自不同类型的邻居的信息，捕获输入事件对之间的潜在的上下位关系，提高利用异构事件图预测子事件关系的准确性。

公开(公告)号：CN114398500A

公开(公告)日：2022-04-26

申请号：CN202210112341.2

申请日：2022-01-29

Applicant: 哈尔滨工业大学

Inventor： 丁效 ,  吴婷婷 ,  杜理 ,  秦兵 ,  刘挺 ,  王若珂

IPC: G06F16/36 ,  G06Q10/04

Abstract: 本发明公开了一种基于图增强预训练模型的事件预测方法，包括：获取事件序列，对事件序列进行预训练获得若干个编码向量，并对若干个编码向量进行聚合，获得事件序列的表示向量；基于事件序列的表示向量，获取事件序列中任两个事件的邻接关系；获取事理图谱，基于事理图谱获取事件的逻辑关系；基于任两个事件的邻接关系和事件的逻辑关系完成事件预测。采用事理图谱作为模型学习事件间关系模式的知识库，事理图谱是描述事件及其逻辑关系的图谱，其知识将为事件预测任务提供有力支撑，将预训练语言模型与图结构信息预测进行融合，既能利用预训练模型中的丰富语言学知识，充分理解各个事件的语义，能通过学习事理图谱结构变量实现图结构信息的预测。

公开(公告)号：CN110738026B

公开(公告)日：2022-04-19

申请号：CN201911012473.2

申请日：2019-10-23

Applicant: 腾讯科技(深圳)有限公司 ,  哈尔滨工业大学

Inventor： 闭玮 ,  刘晓江 ,  冯骁骋 ,  孙亚威 ,  秦兵 ,  刘挺

IPC: G06F40/166 ,  G06F40/126 ,  G06F40/289 ,  G06N3/04

Abstract: 本文描述了一种用于生成描述文本的方法和设备。所述方法包括：将关键词序列以及具有预定风格的参考文本输入经训练的神经网络，其中所述神经网络包括关键词编码器、文本编码器、互注意力编码器以及解码器；利用关键词编码器对关键词序列进行编码以得到关键词序列的隐层状态序列；利用文本编码器对参考文本进行编码以得到参考文本的隐层状态序列；利用互注意力编码器对关键词序列的隐层状态序列和参考文本的隐层状态序列进行编码以得到融合了预定风格的关键词序列的隐层状态序列；利用解码器对融合了预定风格的关键词序列的隐层状态序列进行解码以输出具有所述预定风格的描述文本。

公开(公告)号：CN113392629A

公开(公告)日：2021-09-14

申请号：CN202110733081.6

申请日：2021-06-29

Applicant: 哈尔滨工业大学

Inventor： 张伟男 ,  张家乐 ,  赵正宇 ,  刘挺

IPC: G06F40/211 ,  G06F40/284 ,  G06F40/295 ,  G06N3/04 ,  G06N3/08

Abstract: 基于预训练模型的人称代词消解方法，涉及人工智能技术领域，针对现有技术中代词消解的准确率低问题，本申请模型使用基于排序的代词消解框架，对于一个待消解的代词，存在一个候选先行词的集合，对于每一个候选先行词进行消解打分，打分最高的候选先行词作为消解对象进行消解。本申请引入预训练模型，利用预训练模型使用大量无标注文本进行训练的特点，能够更好的捕捉上下文信息，有效提高代词消解的指标，从而更好的帮助下游任务，提高代词消解的准确率，并提高了代词消解的效率。

公开(公告)号：CN113095088A

公开(公告)日：2021-07-09

申请号：CN202110485144.0

申请日：2021-04-30

Applicant: 哈尔滨工业大学

Inventor： 丁效 ,  刘挺 ,  秦兵 ,  蔡碧波

IPC: G06F40/30 ,  G06F40/216 ,  G06N20/00

Abstract: 一种基于文本的消费意图分析方法，它属于消费意图分析技术领域。本发明解决了由于现有方法忽略了彼此相距较远的节点的结构相似性，导致对消费意图分析的准确度低的问题。本发明提出的技术将任务描述为一个异构图推理任务，以充分利用全局连接信息，使用节点聚合机制来捕获语义特征，使用元结构来显式地建模远距离节点之间的拓扑结构相似性，考虑了远距离节点之间的拓扑结构相似性后，可以大幅提高消费意图分析结果的准确度。本发明可以应用于消费意图分析。

公开(公告)号：CN112948557A

公开(公告)日：2021-06-11

申请号：CN202110254690.3

申请日：2021-03-09

Applicant: 哈尔滨工业大学

Inventor： 齐乐 ,  张宇 ,  汤嘉琦 ,  刘挺

IPC: G06F16/332 ,  G06F16/33 ,  G06F40/30 ,  G06Q10/10 ,  G06Q30/00

Abstract: 一种以说明文档为辅助的可迭代的基于常用问题集的智能客服系统，所述系统具体包括基于常问问题集FAQ的自动客服模块和以文档说明为辅助的人工客服模块两部分组成；当用户输入问题时，系统先将用户提问输入到基于常问问题集FAQ的自动客服模块，该模块利用问题相似度计算技术，从FAQ中选择与用户问题最相似的问题，并将答案返回给客户；若基于常问问题集FAQ的自动客服模块无法回答用户的问题，即基于常问问题集合中没有和用户问题相关的答案，系统则将用户问题推送到以文档说明为辅助的人工客服模块，经人工客服编辑后，将答案返回给客户，同时将所述答案和原问题加入常问问题集FAQ中，使系统再次面对类似问题的时候，可以直接回答用户问题。

公开(公告)号：CN112256868A

公开(公告)日：2021-01-22

申请号：CN202011069841.X

申请日：2020-09-30

Applicant: 华为技术有限公司 ,  哈尔滨工业大学

Inventor： 张伟男 ,  赵正宇 ,  张家乐 ,  刘挺 ,  王家凯 ,  陈开济 ,  丁勇

IPC: G06F16/35 ,  G06F40/151 ,  G06K9/62 ,  G06N3/04

Abstract: 本申请适用于终端人工智能技术领域，提供了零指代消解方法、训练零指代消解模型的方法及电子设备。上述训练零指代消解模型的方法包括：将训练文本中的所有词转换为第一向量；其中，训练文本中包括多个先行词和多个零代词，第一向量包括与各个先行词对应的第一先行词向量和与各个零代词对应的第一零代词向量，第一零代词向量中包含零代词的位置信息；将零代词的位置信息融合到第一先行词向量中，得到第二先行词向量；基于第一零代词向量和第二先行词向量，确定每个先行词的理论类别标签；其中，每个先行词对应一个预设类别标签；根据每个先行词的理论类别标签与预设类别标签，对零指代消解模型进行训练。上述方法能够提高零指代消解的准确性。

公开(公告)号：CN112148863A

公开(公告)日：2020-12-29

申请号：CN202011104023.9

申请日：2020-10-15

Applicant: 哈尔滨工业大学

Inventor： 冯骁骋 ,  冯夏冲 ,  秦兵 ,  刘挺

IPC: G06F16/332 ,  G06F40/295 ,  G06N3/04

Abstract: 一种融入常识知识的生成式对话摘要方法，属于自然语言处理领域。本发明解决了现有生成式对话摘要方法未利用常识知识而导致生成的对话摘要不准确，抽象性低的问题。本发明方法包括：获取常识知识库ConceptNet与对话摘要数据集SAMSum；利用获取的常识知识库ConceptNet为对话摘要数据集SAMSum引入元组知识，构建异构对话图；练步骤三中构造的对话异构神经网络模型，通过训练的对话异构神经网络模型从一段对话中生成最终对话摘要。本发明应用于对话摘要的生成。

公开(公告)号：CN112015915A

公开(公告)日：2020-12-01

申请号：CN202010902568.8

申请日：2020-09-01

Applicant: 哈尔滨工业大学

Inventor： 车万翔 ,  乔振浩 ,  赵妍妍 ,  刘挺

IPC: G06F16/36 ,  G06F16/332 ,  G06F16/31 ,  G06F40/186 ,  G06F40/289 ,  G06F40/30

Abstract: 基于问题生成的知识库问答系统及装置，涉及一种自动问答系统。为了解决基于知识图谱问答方法需要具备专业知识的人员标注专用数据集，从而存在标注成本高、工作量大、耗费时间长的问题。本发明系统的模板数据库用于存储模板；三元组扩展模块读入三元组并将三元组解析，从模板库中选取该关系下的全部模板；将实体替换模板中三元组相应的符号，生成句子；全文检索模块将用户查询的查询文本进行切分，然后将切分成词的查询语句转换为Lucene内部表示Query对象，并检索出与用户查询相关的一组句子作为候选集；语义匹配模块：采用基于预训练模型Bert的语义匹配网络对候选集进行排序，取最高分数对应的三元组作为答案返回给用户。主要用于实现自动问答。