-
公开(公告)号:CN118332375A
公开(公告)日:2024-07-12
申请号:CN202410400399.6
申请日:2024-04-03
Applicant: 中国科学院信息工程研究所
IPC: G06F18/24 , G06F18/22 , G06F18/21 , G06N3/0985 , G06N3/0895 , G06N3/042 , G06N3/048 , G06N3/0464
Abstract: 本发明属于计算机数据挖掘分析技术领域,具体涉及一种基于任务级别关系建模的小样本图节点分类方法和装置。本发明利用对比学习方法来捕获元学习任务间的关系,通过拉近元学习任务图和原始图之间的距离捕获元任务间的相关性,通过拉远不同元学习任务图之间的距离捕获元任务间的差异性,整个方案遵循图元学习范式,对比学习作为子模块加入到图元学习框架中,最终通过联合优化完成小样本图节点分类任务。本发明设计了新的图元学习和图对比学习联合框架,利用对比学习建模了元学习任务间的复杂关系,在不引入额外标注信息的情况下,有效提升了小样本图节点分类任务的性能。
-
公开(公告)号:CN117909468A
公开(公告)日:2024-04-19
申请号:CN202410024770.3
申请日:2024-01-08
Applicant: 中国科学院信息工程研究所
IPC: G06F16/332 , G06F16/33 , G06F16/35 , G06F40/35 , G06N20/00
Abstract: 本发明提出一种基于扩散模型的多粒度可控共情对话生成方法,属于文本生成领域。本发明首先通过提取标准回复的话语级别、句子级别和词语级别的控制因素,然后设计掩码矩阵进行细粒度控制,训练扩散模型;最后在共情对话生成阶段,从训练集中进行语义相似性和情绪一致性的匹配检索,将检索到的回复作为原型回复并提取控制因素,然后连同对话上下文输入到训练好的扩散模型中,获得最终的共情对话生成文本。本发明能够实现精细控制,生成的回复可以受到情绪不同程度影响,生成更加自然和适应上下文的共情回复,提高回复的多样性和复杂性。
-
公开(公告)号:CN115269834A
公开(公告)日:2022-11-01
申请号:CN202210782688.8
申请日:2022-06-28
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
Abstract: 本发明公开了一种基于BERT的高精度文本分类方法及装置,在输入端采用FastText模型,对词汇进行嵌入表示得到表示向量,然后把表示向量作为BERT模型的输入,将BERT的输出结果接上全连接层+softmax,实现文本分类。本发明提前用FastText模型处理语料数据,获取字符的特征,解决了OOV的embedding问题,同时获取词的形态变换,对富有词型变换的语料具有更好的表示能力;使用BERT能够提前预训练大量的语料,增加了词向量的语义丰富度,获得更好的上下文表示;在BERT模型的输出添加全连接层和softmax进行文本分类,提高了文本分类的精度。
-
公开(公告)号:CN118332101B
公开(公告)日:2025-05-16
申请号:CN202410400400.5
申请日:2024-04-03
Applicant: 中国科学院信息工程研究所
IPC: G06F16/34 , G06F40/30 , G06N3/0442 , G06N3/08 , G06F16/353
Abstract: 本发明属于文本信息抽取领域,涉及一种基于分层迭代的长文本抽取式摘要生成方法和装置。该方法包括:获取文本中字符的词向量、位置向量以及结构子标题向量,将其相加作为语义编码的输入,采用长文本预训练语言模型作为语义编码器,进行语义编码;将语义编码之后的向量送入各个层级编码器中,将语义信息沿着文本结构路线由句子层级至文档层级进行分层传递,然后从文档层级至句子层级再次进行分层传递,实现迭代更新,得到各个层级的隐层表示;通过融合各个层级的隐层表示全面地对每个句子进行评价,选出最优的摘要句。本发明能够克服现有抽取式摘要面向长文本时计算资源消耗大,存在语义损失以及长文本结构建模缺失的问题。
-
公开(公告)号:CN118395994B
公开(公告)日:2025-05-13
申请号:CN202410327987.1
申请日:2024-03-21
Applicant: 中国科学院信息工程研究所
Abstract: 本发明公开了一种零样本对话状态追踪方法,其步骤包括:1)划分阶段:对于每一段对话状态标注的对话文本Ct,利用预训练语言模型f将对话文本Ct转换成对话文本向量et,然后利用聚类技术将各对话文本向量归类到其不同的子集中,得到K个子集;2)解决阶段:将子集中的每一文本向量作为一个样本,分别利用所得每一子集训练语义独立的状态追踪模型,共得到K个训练后的状态追踪模型;3)合并阶段:首先进行关系挖掘,将一个给定的对话文本C′t转换为语义向量e′t,计算每一子集的语义空间和对话文本C′t之间的关系δ;然后进行聚合推理,根据每一训练后的状态追踪模型及其对应的关系δ预测该对话文本C′t对应的对话状态。
-
公开(公告)号:CN118779746A
公开(公告)日:2024-10-15
申请号:CN202410746408.7
申请日:2024-06-11
Applicant: 中国科学院信息工程研究所
IPC: G06F18/2415 , G06N3/042 , G06N3/0455
Abstract: 本发明涉及一种基于关系向量的异配图表示学习方法和系统。该方法是一种变分GNN模型,创新性地将细粒度关系学习融入到消息传递过程中,从而实现对图上的同配性和异配性的建模。该方法在统一的框架中对关系向量生成和节点表示进行建模,从而能够更直接地将关系向量学到的知识转化为节点表示,其中编码器实现关系向量生成,解码器实现节点表示。本发明通过引入关系向量建模了异配图的边复杂语义关系,从而促进了异配图中异配结构的建模,能够实现更好的分类结果。
-
公开(公告)号:CN118395994A
公开(公告)日:2024-07-26
申请号:CN202410327987.1
申请日:2024-03-21
Applicant: 中国科学院信息工程研究所
Abstract: 本发明公开了一种零样本对话状态追踪方法,其步骤包括:1)划分阶段:对于每一段对话状态标注的对话文本Ct,利用预训练语言模型f将对话文本Ct转换成对话文本向量et,然后利用聚类技术将各对话文本向量归类到其不同的子集中,得到K个子集;2)解决阶段:将子集中的每一文本向量作为一个样本,分别利用所得每一子集训练语义独立的状态追踪模型,共得到K个训练后的状态追踪模型;3)合并阶段:首先进行关系挖掘,将一个给定的对话文本C′t转换为语义向量e′t,计算每一子集的语义空间和对话文本C′t之间的关系δ;然后进行聚合推理,根据每一训练后的状态追踪模型及其对应的关系δ预测该对话文本C′t对应的对话状态。
-
公开(公告)号:CN114626425A
公开(公告)日:2022-06-14
申请号:CN202011456860.8
申请日:2020-12-10
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC: G06K9/62 , G06F40/289 , G06F40/30 , G06N3/04 , G06N3/08
Abstract: 本发明提供一种面向噪声文本的多视角交互匹配方法及电子装置,包括对两段待匹配噪声文本分别编码,得到两段编码向量序列,并向两段编码向量序列的每个编码向量中加入位置信息;对加入位置信息的两段编码向量序列进行内部交互,分别得到两段内部交互结果;对两段内部交互结果进行外部交互,分别构建两个双向的噪声文本交互矩阵;拼接两个噪声文本交互矩阵,判断两个待匹配噪声文本是否匹配。本发明采用注意力机制捕获噪声文本之间的双向匹配模式,受噪声文本中句子的逻辑顺序影响较小,增加文本有效语义单词影响,提高模型时间效率及噪声文本匹配效果,避免传递匹配问题。
-
公开(公告)号:CN114461931A
公开(公告)日:2022-05-10
申请号:CN202111573021.9
申请日:2021-12-21
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC: G06F16/9537 , G06K9/62 , G06N3/04 , G06Q10/04
Abstract: 本发明涉及一种基于多关系融合分析的用户轨迹预测方法和系统。该方法根据用户的历史轨迹相似关系和位置邻近关系,构建轨迹关系图,然后基于轨迹关系图中用户间的关系,利用融入注意力机制的轨迹预测模型对目标用户的未来轨迹进行预测。本发明充分考虑了用户出行具有的时间规律性特征,并充分挖掘了人群中的社会行为信息,预测精度具有明显的提高;本发明使用融入注意力机制的轨迹关系图来计算影响力大小,融入了不同用户对轨迹影响的差异,更加符合实际情况;本发明不仅利用了位置相邻的行人的轨迹行为信息,也考虑了历史轨迹相似用户的轨迹情况,将两种影响人群结合在一起构建轨迹关系图,解决了怎样对多种类型信息进行建模的问题。
-
公开(公告)号:CN114461931B
公开(公告)日:2024-11-08
申请号:CN202111573021.9
申请日:2021-12-21
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC: G06F16/9537 , G06N3/0442 , G06F18/22 , G06F18/23 , G06Q10/04
Abstract: 本发明涉及一种基于多关系融合分析的用户轨迹预测方法和系统。该方法根据用户的历史轨迹相似关系和位置邻近关系,构建轨迹关系图,然后基于轨迹关系图中用户间的关系,利用融入注意力机制的轨迹预测模型对目标用户的未来轨迹进行预测。本发明充分考虑了用户出行具有的时间规律性特征,并充分挖掘了人群中的社会行为信息,预测精度具有明显的提高;本发明使用融入注意力机制的轨迹关系图来计算影响力大小,融入了不同用户对轨迹影响的差异,更加符合实际情况;本发明不仅利用了位置相邻的行人的轨迹行为信息,也考虑了历史轨迹相似用户的轨迹情况,将两种影响人群结合在一起构建轨迹关系图,解决了怎样对多种类型信息进行建模的问题。
-
-
-
-
-
-
-
-
-