一种基于图增强预训练模型的事件预测方法

    公开(公告)号:CN114398500B

    公开(公告)日:2022-09-09

    申请号:CN202210112341.2

    申请日:2022-01-29

    Abstract: 本发明公开了一种基于图增强预训练模型的事件预测方法,包括:获取事件序列,对事件序列进行预训练获得若干个编码向量,并对若干个编码向量进行聚合,获得事件序列的表示向量;基于事件序列的表示向量,获取事件序列中任两个事件的邻接关系;获取事理图谱,基于事理图谱获取事件的逻辑关系;基于任两个事件的邻接关系和事件的逻辑关系完成事件预测。采用事理图谱作为模型学习事件间关系模式的知识库,事理图谱是描述事件及其逻辑关系的图谱,其知识将为事件预测任务提供有力支撑,将预训练语言模型与图结构信息预测进行融合,既能利用预训练模型中的丰富语言学知识,充分理解各个事件的语义,能通过学习事理图谱结构变量实现图结构信息的预测。

    一种基于异构事件图的子事件关系识别方法

    公开(公告)号:CN113326352A

    公开(公告)日:2021-08-31

    申请号:CN202110675339.1

    申请日:2021-06-18

    Abstract: 本发明公开一种基于异构事件图的子事件关系识别方法,包括以下步骤:采集文本,提取文本中的事件,识别事件连接,基于事件和事件连接建立异构初始事件图,转换异构初始事件图,构建异构事件图;基于预训练语言模型BERT,获得异构事件图中每个节点的节点表示,基于节点表示,获得异构事件图的输入特征;对异构事件图中每个节点创建混合跳邻域集,进行信息传播和聚合,获得异构图注意力机制模型;将待测事件对输入异构图注意力机制模型,预测待测事件对的子事件关系。本发明通过混合多种距离邻居的特征表示,聚合来自不同类型的邻居的信息,捕获输入事件对之间的潜在的上下位关系,提高利用异构事件图预测子事件关系的准确性。

    一种基于自训练与噪声模型的因果事件抽取方法

    公开(公告)号:CN111651983B

    公开(公告)日:2021-06-18

    申请号:CN202010397785.6

    申请日:2020-05-12

    Abstract: 一种基于自训练与噪声模型的因果事件抽取方法,本发明涉及因果事件抽取的方法。本发明的目的是解决现有基于深度学习模型的因果事件抽取方法在有标注数据不足的领域或场景中效果有限的问题。过程为:一、收集已标注的目标领域文本;二、计算一个向量表示;三、计算出概率最大的标签序列;四、训练三中的模型,并对二中的模型进行微调;五、得到大量自标注数据;六、为每个单词计算一个向量表示,计算单词序列生成每个可能的标签序列的概率;七、计算自标注文本中每个单词的噪声矩阵;八、得到由单词序列生成自标注标签序列的概率;九、使用一中有标注数据与五中自标注数据共同训练二、三、六、七中的整体模型。本发明用于因果事件抽取领域。

    一种基于一阶自然逻辑的多项选择问答系统

    公开(公告)号:CN119046431B

    公开(公告)日:2025-05-02

    申请号:CN202411158824.1

    申请日:2024-08-22

    Abstract: 本发明公开了一种基于一阶自然逻辑的多项选择问答系统,包括:预处理模块,用于将问题和候选答案转化为假设;一阶逻辑模块,用于利用一阶逻辑将假设分解为子假设;自然逻辑模块,用于利用自然逻辑从外部语料库改写前提,产生与原始前提传达相同含义的中间前提,并以预定义的最大推理深度λ作为停止标准,迭代生成前提到假设的推理路径;框架构建模块,用于结合一阶逻辑与自然逻辑,集成神经网络构建神经符号推理框架;结果输出模块,用于基于神经符号推理框架,计算中间前提和子假设之间的语义相似度,根据相似度得分输出得分最高的最终选择答案。本发明不仅缩短了推理路径,而且增强了动词短语的对齐。

    一种基于文本的消费意图分析方法

    公开(公告)号:CN113095088B

    公开(公告)日:2022-03-04

    申请号:CN202110485144.0

    申请日:2021-04-30

    Abstract: 一种基于文本的消费意图分析方法,它属于消费意图分析技术领域。本发明解决了由于现有方法忽略了彼此相距较远的节点的结构相似性,导致对消费意图分析的准确度低的问题。本发明提出的技术将任务描述为一个异构图推理任务,以充分利用全局连接信息,使用节点聚合机制来捕获语义特征,使用元结构来显式地建模远距离节点之间的拓扑结构相似性,考虑了远距离节点之间的拓扑结构相似性后,可以大幅提高消费意图分析结果的准确度。本发明可以应用于消费意图分析。

    一种文本预测结果的关键证据抽取方法

    公开(公告)号:CN110083836A

    公开(公告)日:2019-08-02

    申请号:CN201910335219.X

    申请日:2019-04-24

    Inventor: 丁效 刘挺 段俊文

    Abstract: 一种文本预测结果的关键证据抽取方法,本发明涉及文本预测结果的关键证据抽取方法。本发明的目的是为了解决现有技术在文本中抽取能解释预测结果的关键证据时依赖人工标注来寻找证据的问题。过程为:一、得到句子级向量;二、将句子级向量的平均值作为外部存储单元的初值;三、得到第一个句子级向量对应的更新后的外部存储单元;直至得到第n个句子级向量对应的最终的外部存储单元,即得到文档级向量;四、输出文档每个类别的概率;五、得到训练好的硬抽取网络模型;将待分类的文档输入到训练好的硬抽取网络模型,得到待分类的文档分为各个类别的概率以及文档被分为该类别的句子集合。本发明用于文本预测结果的证据抽取领域。

    一种基于一阶自然逻辑的多项选择问答系统

    公开(公告)号:CN119046431A

    公开(公告)日:2024-11-29

    申请号:CN202411158824.1

    申请日:2024-08-22

    Abstract: 本发明公开了一种基于一阶自然逻辑的多项选择问答系统,包括:预处理模块,用于将问题和候选答案转化为假设;一阶逻辑模块,用于利用一阶逻辑将假设分解为子假设;自然逻辑模块,用于利用自然逻辑从外部语料库改写前提,产生与原始前提传达相同含义的中间前提,并以预定义的最大推理深度λ作为停止标准,迭代生成前提到假设的推理路径;框架构建模块,用于结合一阶逻辑与自然逻辑,集成神经网络构建神经符号推理框架;结果输出模块,用于基于神经符号推理框架,计算中间前提和子假设之间的语义相似度,根据相似度得分输出得分最高的最终选择答案。本发明不仅缩短了推理路径,而且增强了动词短语的对齐。

    一种预训练语言模型的构建方法及系统

    公开(公告)号:CN115392218A

    公开(公告)日:2022-11-25

    申请号:CN202210837482.0

    申请日:2022-07-15

    Inventor: 丁效 陈薄文 杜理

    Abstract: 本申请公开了一种预训练语言模型的构建方法及系统,方法包括:获取认知语言数据;收录认知语言数据和眼动数据;根据认知语言数据诱导出细化的粒度的认知特征;将加权之后的各认知特征和眼动数据纳入BERT中进行训练,得到一种改进版本的预训练语言模型。本申请通过将人类的眼球运动轨迹捕捉数据与心理语言学关于人类语言学习的相关理论进行结合,并设计新的训练手段和方法,将这两者与预训练模型进行进一步融合,通过这一方法,能够使得预训练模型具有一定程度的人类认知特征,从而使得模型原本的模型更加优秀的任务表现。

    基于双曲空间的事理图谱增强的因果推理方法及系统

    公开(公告)号:CN114462607A

    公开(公告)日:2022-05-10

    申请号:CN202210131870.7

    申请日:2022-02-14

    Abstract: 本发明公开基于双曲空间的事理图谱增强的因果推理方法及系统,包括,获取事件对及事理图谱,基于事理图谱获取事件对的证据事件,将证据事件及事件对组成因果证据图,其中事件对包括原因事件和结果事件;将因果证据图转换为事件表示,对将事件表示从欧式空间映射到双曲空间中,获取双曲事件表示;对双曲事件表示进行有向因果推理,得到事件对最终嵌入,并对事件对最终嵌入进行计算,得到因果强度分数。通过上述技术方案,本发明能够提高因果推理的稳定性和可解释性。

    基于联合损失框架与后编辑优化的脑电信号文本解码方法

    公开(公告)号:CN119939343A

    公开(公告)日:2025-05-06

    申请号:CN202510021200.3

    申请日:2025-01-07

    Abstract: 本发明公开了一种基于联合损失框架与后编辑优化的脑电信号文本解码方法,所属领域为脑机接口和自然语言处理领域,包括:获取脑电信号,基于脑电特征提取网络构建分类模型,将所述脑电信号输入至所述分类模型中,获得预定的语义类别;基于混合解码框架构建解码模型,将所述脑电信号输入至所述解码模型中,获得输出特征文本;基于预训练语言模型构建后编辑模型,基于所述后编辑模型对所述预定的语义类别和所述输出特征文本进行后编辑,获得文本解码结果。本发明通过引入CTC/Attention混合框架,使得解码过程可以在没有外部对齐信息的情况下自动完成,降低了对眼动等外部信号的依赖,增强了方法的通用性。

Patent Agency Ranking