-
公开(公告)号:CN118035433A
公开(公告)日:2024-05-14
申请号:CN202410228552.1
申请日:2024-02-29
Applicant: 南京信息工程大学
IPC: G06F16/34 , G06F16/33 , G06F16/338 , G06F18/22 , G06N3/0455
Abstract: 本发明公开了一种带有多模态锚点的自适应文本摘要方法,将文本积极句子样本输入解码器,获得文本积极特征,将文本消极句子样本输入解码器,获得文本消极特征;通过文字摘要门控机制模型,计算文本积极特征与文本消极特征的核心文本摘要概率分布,选择核心文本摘要概率分布最大的词汇作为文本摘要;将图像积极目标样本输入解码器,获得图像积极特征,将图像消极目标样本输入解码器,获得图像消极特征;通过图像摘要门控机制模型,计算图像积极特征与图像消极特征的核心图像摘要概率分布,选择核心图像摘要概率分布中概率最大的图片作为图片摘要。本发明以多种媒体形式呈现信息,丰富了摘要的表达方式,使得用户可以更全面地了解和理解原始内容。
-
公开(公告)号:CN117875520B
公开(公告)日:2024-05-14
申请号:CN202410273003.6
申请日:2024-03-11
Applicant: 南京信息工程大学
Abstract: 本发明公开了基于动态图时空演化挖掘的公共安全事件预测方法及系统,方法包括:获得预测事件数据集合,由预测事件数据集合构建全局空间静态图;将全局空间静态图中第1至t‑1个节点特征输入至LSTM模型,通过事件演化获得演化节点特征#imgabs0#;由全局空间静态图获取第1个节点特征至第t‑1个节点特征的事件时序子图;由事件时序子图和演化节点特征#imgabs1#生成时空动态图#imgabs2#;基于注意力机制对所有时空动态图#imgabs3#和全局空间静态图进行时间与空间关系上的图融合后预测特征P;将预测特征P与事件选择库中的事件信息进行拟合获得预测事件,本发明通过分析公共安全事件的演化过程和发展走向,提高了公共安全事件预测准确率。
-
公开(公告)号:CN115080728B
公开(公告)日:2025-04-18
申请号:CN202210730560.7
申请日:2022-06-24
Applicant: 南京信息工程大学
IPC: G06F16/34 , G06F16/54 , G06F18/25 , G06N3/0442 , G06N3/0464 , G06N3/0455 , G06N3/092
Abstract: 本发明公开了一种基于二级门控编码的图文多模态摘要方法,在多模态编码阶段通过双重编码器得到多模态隐藏层向量,对图片进行网格划分为单模态文本摘要提供网格级的视觉特征,经过循环神经网络得到文本的隐藏层信息当作一级门控信息;通过门控循环神经网络得到二级隐藏层向量,通过对文本图片信息更细粒化的融合与处理来生成更多样化的摘要;在序列到序列中间处理数据的部分,通过自注意力机制得到文本与图像的正反上下文向量,使用滤波器从正反两个方向对文本与图像进行进一步的降噪处理。本发明能增加图文融合通道数量与补偿效果,同时使用正反注意力机制剔除图文中与摘要不相关的部分,以生成图文更加贴合的多模态摘要。
-
公开(公告)号:CN118035435B
公开(公告)日:2024-06-11
申请号:CN202410444602.X
申请日:2024-04-15
Applicant: 南京信息工程大学
IPC: G06F16/34 , G06F18/213 , G06F18/25 , G06N3/0455 , G06N3/0464 , G06N3/094 , G06F40/126 , G06F40/284
Abstract: 本发明公开了一种新闻摘要生成方法及相关装置,本发明采用多模态编码,使新闻文本的单词编码特征和图片的视觉目标特征相互观察,使多模态关联,通过构建多模态动态图建模特征之间的关系,区分特征中的积极特征和消极特征,从而生成多模态关联、且凸显核心信息的新闻摘要,可更好地还原新闻文本的多维度信息,提供更为全面的新闻摘要,保证了新闻摘要的质量。
-
公开(公告)号:CN119940662A
公开(公告)日:2025-05-06
申请号:CN202510429284.4
申请日:2025-04-08
Applicant: 南京信息工程大学
IPC: G06Q10/04 , G06Q10/063 , G06Q50/40 , G06F18/213 , G06F16/901
Abstract: 本发明公开了一种交通流量预测方法、装置和存储介质,属于交通流量预测技术领域,方法包括获取设定时段内站点的历史交通流量,经预处理后得到无异常的历史交通流量;将无异常的历史交通流量输入到训练好的交通流量预测模型中,得到待预测时段内站点的交通流量预测结果。本发明通过节点更新模块和边更新模块对静态图和动态图中的节点信息和边信息进行更新,动态图考虑了节点随时间变化的情况,通过上述手段捕捉了输入的历史交通流量数据中复杂的隐式时空关系,提高交通流量预测的准确性。
-
公开(公告)号:CN118035435A
公开(公告)日:2024-05-14
申请号:CN202410444602.X
申请日:2024-04-15
Applicant: 南京信息工程大学
IPC: G06F16/34 , G06F18/213 , G06F18/25 , G06N3/0455 , G06N3/0464 , G06N3/094 , G06F40/126 , G06F40/284
Abstract: 本发明公开了一种新闻摘要生成方法及相关装置,本发明采用多模态编码,使新闻文本的单词编码特征和图片的视觉目标特征相互观察,使多模态关联,通过构建多模态动态图建模特征之间的关系,区分特征中的积极特征和消极特征,从而生成多模态关联、且凸显核心信息的新闻摘要,可更好地还原新闻文本的多维度信息,提供更为全面的新闻摘要,保证了新闻摘要的质量。
-
公开(公告)号:CN117875520A
公开(公告)日:2024-04-12
申请号:CN202410273003.6
申请日:2024-03-11
Applicant: 南京信息工程大学
Abstract: 本发明公开了基于动态图时空演化挖掘的公共安全事件预测方法及系统,方法包括:获得预测事件数据集合,由预测事件数据集合构建全局空间静态图;将全局空间静态图中第1至t‑1个节点特征输入至LSTM模型,通过事件演化获得演化节点特征#imgabs0#;由全局空间静态图获取第1个节点特征至第t‑1个节点特征的事件时序子图;由事件时序子图和演化节点特征#imgabs1#生成时空动态图#imgabs2#;基于注意力机制对所有时空动态图#imgabs3#和全局空间静态图进行时间与空间关系上的图融合后预测特征P;将预测特征P与事件选择库中的事件信息进行拟合获得预测事件,本发明通过分析公共安全事件的演化过程和发展走向,提高了公共安全事件预测准确率。
-
公开(公告)号:CN115080728A
公开(公告)日:2022-09-20
申请号:CN202210730560.7
申请日:2022-06-24
Applicant: 南京信息工程大学
Abstract: 本发明公开了一种基于二级门控编码的图文多模态摘要方法,在多模态编码阶段通过双重编码器得到多模态隐藏层向量,对图片进行网格划分为单模态文本摘要提供网格级的视觉特征,经过循环神经网络得到文本的隐藏层信息当作一级门控信息;通过门控循环神经网络得到二级隐藏层向量,通过对文本图片信息更细粒化的融合与处理来生成更多样化的摘要;在序列到序列中间处理数据的部分,通过自注意力机制得到文本与图像的正反上下文向量,使用滤波器从正反两个方向对文本与图像进行进一步的降噪处理。本发明能增加图文融合通道数量与补偿效果,同时使用正反注意力机制剔除图文中与摘要不相关的部分,以生成图文更加贴合的多模态摘要。
-
-
-
-
-
-
-