-
公开(公告)号:CN115080728B
公开(公告)日:2025-04-18
申请号:CN202210730560.7
申请日:2022-06-24
Applicant: 南京信息工程大学
IPC: G06F16/34 , G06F16/54 , G06F18/25 , G06N3/0442 , G06N3/0464 , G06N3/0455 , G06N3/092
Abstract: 本发明公开了一种基于二级门控编码的图文多模态摘要方法,在多模态编码阶段通过双重编码器得到多模态隐藏层向量,对图片进行网格划分为单模态文本摘要提供网格级的视觉特征,经过循环神经网络得到文本的隐藏层信息当作一级门控信息;通过门控循环神经网络得到二级隐藏层向量,通过对文本图片信息更细粒化的融合与处理来生成更多样化的摘要;在序列到序列中间处理数据的部分,通过自注意力机制得到文本与图像的正反上下文向量,使用滤波器从正反两个方向对文本与图像进行进一步的降噪处理。本发明能增加图文融合通道数量与补偿效果,同时使用正反注意力机制剔除图文中与摘要不相关的部分,以生成图文更加贴合的多模态摘要。
-
公开(公告)号:CN119383279B
公开(公告)日:2025-04-04
申请号:CN202411959961.5
申请日:2024-12-30
Applicant: 南京信息工程大学
IPC: H04N1/44 , G06F21/62 , G06N3/0895
Abstract: 本发明公开了一种面向大模型检索的输入图优化隐私保护方法及系统,属于隐私保护技术领域,方法包括:基于输入图中各节点的对比学习权重,对输入图进行双视角对比学习,获取输入图中各节点的初始嵌入表示;引入类别原型提示,对输入图中各节点进行分类优化,获取输入图中各节点的对比学习权重约束表示;获取输入图的全局表示,对输入图中各节点进行匹配度优化,获取输入图中各节点的优化表示;引入输入图中各节点的上下文标记,识别输入图中的隐私节点;筛选输入图中各隐私节点的边进行剪枝重连,获取隐私保护后的输入图。该方法能够在不损失输入图的数据结构信息的前提下,精确识别和保护输入图中的隐私节点,降低输入图的隐私泄露风险。
-
公开(公告)号:CN119623532A
公开(公告)日:2025-03-14
申请号:CN202510170368.0
申请日:2025-02-17
Applicant: 南京信息工程大学
IPC: G06N3/049 , G06N3/0455 , G06N3/0499 , G06N3/08 , G06F18/214 , G06F18/24 , G06F18/25
Abstract: 本发明公开了一种基于神经网络的时间序列异常检测方法,包括:获取待检测的多变量时间序列数据,将多变量时间序列数据输入至时空特征融合单元,由时空特征融合单元内时域卷积网络和图注意力影响网络对多变量时间序列数据进行时域信息和属性信息分析,并通过特征融合获得时空融合特征;采用自适应时间序列分解算法对多变量时间序列数据进行分解获得趋势序列和周期序列;将时空融合特征、趋势序列和周期序列输入时序重构单元获得解码特征;通过异常检测单元对解码特征进行异常检测获得多变量时间序列数据的异常状态;本发明能够扩大潜在异常数据与重构数据之间重构偏差,实现快速准确检测多维时间序列中的潜在异常数据。
-
公开(公告)号:CN118966364B
公开(公告)日:2025-02-14
申请号:CN202411448500.1
申请日:2024-10-17
Applicant: 南京信息工程大学
Abstract: 本发明公开了一种自动驾驶视觉推理认知方法及相关装置。本发明采用仿照视觉通路的人脑视觉通路模型进行自动驾驶视觉推理认知,用神经元模型模拟视觉信号从视网膜进入到外侧膝状体再到初级视觉皮层的过程,有利于提取图像的底层特征,为接下来的语义信息认知奠定基础,用神经元模型模拟视觉通路的腹侧通路和背侧通路,有利于对特征图和问题文本进行高级认知,辅助理解图像构成逻辑,用神经元模型模拟人脑前额叶,有利于推理出图像和问题文本对应的答案,实现了基于视觉通路的视觉特征和语义认知的视觉推理,充分开盒神经认知过程,提高可解释性。
-
公开(公告)号:CN118035435B
公开(公告)日:2024-06-11
申请号:CN202410444602.X
申请日:2024-04-15
Applicant: 南京信息工程大学
IPC: G06F16/34 , G06F18/213 , G06F18/25 , G06N3/0455 , G06N3/0464 , G06N3/094 , G06F40/126 , G06F40/284
Abstract: 本发明公开了一种新闻摘要生成方法及相关装置,本发明采用多模态编码,使新闻文本的单词编码特征和图片的视觉目标特征相互观察,使多模态关联,通过构建多模态动态图建模特征之间的关系,区分特征中的积极特征和消极特征,从而生成多模态关联、且凸显核心信息的新闻摘要,可更好地还原新闻文本的多维度信息,提供更为全面的新闻摘要,保证了新闻摘要的质量。
-
公开(公告)号:CN117033638B
公开(公告)日:2024-04-02
申请号:CN202311064635.3
申请日:2023-08-23
Applicant: 南京信息工程大学
IPC: G06F16/35 , G06F16/36 , G06N5/022 , G06F18/25 , G06F18/241 , G06N3/0464 , G06N3/042 , G06N3/0455 , G06N3/0499 , G06N3/08
Abstract: 本发明公开了一种基于脑电EEG认知对齐知识图谱的文本情感分类方法,先将视频人工解释为文本,抽取实体关系构建知识图谱;利用皮尔逊相关系数构建大脑功能连接矩阵BG,提取脑电频域特征构建特征向量。在BGI模块中,计算捕捉BG之间的拓扑关系,与特征向量进行时空图卷积获得时空向量#imgabs0#过滤#imgabs1#并输入CA模块中。同时#imgabs2#通过GRU获得BGall。设计上界网络P(BG|KG),将从KG获得分布pθ(AL|KG),同时从BG'获取分布#imgabs3#获得表征认知对齐的隐变量AL,重构脑图BGrecon并反向引导AL的生成。最后在Fusion模块中,将KGall,#imgabs4#与BGal结合进行情感分类。本发明通过引入生理信号,提高文本情感分类的精度,增强文本分类任务的可解释性。
-
公开(公告)号:CN114860914B
公开(公告)日:2023-06-16
申请号:CN202210578769.6
申请日:2022-05-26
Applicant: 南京信息工程大学
IPC: G06F16/332 , G06F16/338 , G06F18/241 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种基于知识库增强的端到端多领域任务型对话生成方法,涉及自然语言处理领域。首先将对话数据进行编码,获得向量表示;再通过计算各向量之间的注意力权重,并通过对话状态解码器获得当前对话状态;最后将得到的当前对话状态、知识库信息和对话历史传入解码端,通过行为解码器与响应解码器进行交互生成系统响应。通过多编码器的方式分开编码各类对话数据,使用堆叠注意力层计算各数据向量之间的注意力,能够获得当前完整的对话状态信息,大大提高了任务型对话系统在多领域对话时对用户请求的理解,也提高了系统响应生成的准确度。在解码阶段同时考虑对话行为和对话响应,并引入知识库信息,增加了系统响应内容的丰富性。
-
公开(公告)号:CN113688204B
公开(公告)日:2023-04-25
申请号:CN202110936166.4
申请日:2021-08-16
Applicant: 南京信息工程大学
IPC: G06F16/33 , G06F16/35 , G06F40/242 , G06N3/0442 , G06N3/08
Abstract: 本发明公开了一种利用相似场景及混合注意力的多人会话情感预测方法,属于文本情感预测。本发明首先从原始文本序列获得文本情感空间映射,接着使用揭示周期性和相似规律的相似场景搜索方法,通过输入序列找到与当前场景相对应的注意力序列;采用基于长短期记忆神经网络的双阶段编码‑解码结构,预测目标人物未来文本情感向量,进一步可得到未来目标人物待发布文本情感,并通过损失函数求得编码阶段和解码阶段的总损失。本发明采用文本情感空间映射和相似场景搜索方法对多人会话情感进行预测,结合相似场景搜索和混合注意力提取,通过学习有效的历史数据,可用于长期预测,并且能够加强模型学习的精确性和针对性,极大程度地提升了预测精度。
-
公开(公告)号:CN115577118A
公开(公告)日:2023-01-06
申请号:CN202211216143.7
申请日:2022-09-30
Applicant: 南京信息工程大学
IPC: G06F16/36 , G06F16/33 , G06F40/295 , G06N3/04
Abstract: 本发明公开了一种基于混合分组排序和动态实体记忆规划的文本生成方法,旨在将输入的结构化数据自动转化为描述这些数据的可读性文本。本发明通过分组阶段中的长度控制模块和子图观察模块去选择子图分组,将数据按组排序;静态规划阶段生成静态结点内容规划,达到组内组间均有序;在静态规划基础上每一个时间步都根据记忆网络动态决定下一步该输出的数据;利用三级重构,从多个角度引导解码器捕捉输入中的本质特征。本发明引入更细粒度的分组机制,弥补结构化数据和非结构化文本之间的差距;将动态内容规划更进一步与记忆网络相结合,增强语义的连贯性;引入三级重构机制,从不同层面捕捉输入与输出间的本质特征依赖关系。
-
公开(公告)号:CN114861775A
公开(公告)日:2022-08-05
申请号:CN202210423009.8
申请日:2022-04-21
Applicant: 南京信息工程大学
Abstract: 本发明了一种特征选择与聚类分析后的混合神经网络模型天气分类方法,本发明首先使用MIC最大信息系数最特征进行选择,去除MIC最大信息系数低于0.5,即与其他特征关联性低的特征;接着使用BIC系数估计最佳的聚类模型集群数k,对数据集进行高斯混合模型聚类,筛选相似的样本;然后分别搭建MLP分类神经网络和MLNN分类神经网络;最后使用集成学习中的AdaBoost自适应加强算法,对两个模型进行顺序训练并生成MLP和MLNN神经网络混合模型。本发明结合了特征选择、聚类分析及混合神经网络对天气数据进行处理,缩减了训练时间。训练多层感知机和形态学‑线性神经网络并加入集成学习的思想混合,在模型训练及混合时应用AdaBoost自适应加强算法,提高天气分类准确率。
-
-
-
-
-
-
-
-
-