-
公开(公告)号:CN119229033B
公开(公告)日:2025-04-04
申请号:CN202411757299.5
申请日:2024-12-03
Applicant: 南京信息工程大学
Abstract: 本申请公开了一种基于神经辐射场和双向反射分布函数的数字地面三维重建方法、装置、设备及存储介质,本申请涉及三维重建技术领域,该方法包括:将目标地区对应的卫星采样光线数据输入预设神经辐射场模型获得场景信息;根据场景信息构建基于双向反射分布函数的物理成像模型;基于物理成像模型对预设神经辐射场模型进行优化,获得目标神经辐射场模型;通过目标神经辐射场模型确定目标地区的场景高程信息,生成目标地区对应的地面三维重建模型。本申请基于卫星影像光线数据获取的场景信息构建物理成像模型,再通过物理成像模型优化预设神经辐射场模型,从而基于优化后的目标神经辐射场模型确定高精度的场景高程信息,提升地面三维模型的重建精度。
-
公开(公告)号:CN118840699A
公开(公告)日:2024-10-25
申请号:CN202411314338.4
申请日:2024-09-20
Applicant: 南京信息工程大学
IPC: G06V20/40 , G06V10/44 , G06V10/74 , G06V10/762 , G06V10/774 , G06V10/82 , G06N3/0464
Abstract: 本发明公开了一种关键帧提取方法、装置及存储介质,方法包括:获取待处理视频的帧图像;对获取到的帧图像逐帧进行局部特征提取和深度特征提取,得到每一帧图像的局部特征和深度特征;计算每一帧图像与相邻帧图像的局部特征余弦相似度和深度特征余弦相似度,将计算得到的局部特征余弦相似度和深度特征余弦相似度加权融合,得到每一帧图像与其相邻帧图像的总相似度;响应于某一帧图像与其相邻帧图像的总相似度为由待处理视频中所有帧图像与其相邻帧图像的总相似度构成的序列的局部极小值、且总相似度小于预设的自适应阈值,提取这一帧作为待处理视频的关键帧。本发明能够提高关键帧提取的准确性和鲁棒性。
-
公开(公告)号:CN119693222B
公开(公告)日:2025-05-13
申请号:CN202510208123.2
申请日:2025-02-25
Applicant: 南京信息工程大学
Abstract: 本申请公开了一种基于多视图全景与多标签图割的房屋空间布局估计方法、装置、设备及存储介质,本申请涉及三维重建技术领域,该方法包括:对目标房屋的室内多视角全景图进行二维布局预测,获得二维布局视图;基于二维布局视图进行预设光线投射,获得初始平面图;对初始平面图进行预设多标签图割正则化,获得正则化平面图;对正则化平面图进行全景几何转换,获得目标房屋对应的目标布局视图。本申请首先获取房屋室内全景图对应的初始的二维布局视图,然后对其进行光线投射获得初始平面图,再对初始平面图进行正则化,并使用多标签图割获得准确完整的正则化平面图。再将正则化平面图转换获得目标房屋对应真实可靠的具有全景几何关系的目标布局视图。
-
公开(公告)号:CN119693222A
公开(公告)日:2025-03-25
申请号:CN202510208123.2
申请日:2025-02-25
Applicant: 南京信息工程大学
Abstract: 本申请公开了一种基于多视图全景与多标签图割的房屋空间布局估计方法、装置、设备及存储介质,本申请涉及三维重建技术领域,该方法包括:对目标房屋的室内多视角全景图进行二维布局预测,获得二维布局视图;基于二维布局视图进行预设光线投射,获得初始平面图;对初始平面图进行预设多标签图割正则化,获得正则化平面图;对正则化平面图进行全景几何转换,获得目标房屋对应的目标布局视图。本申请首先获取房屋室内全景图对应的初始的二维布局视图,然后对其进行光线投射获得初始平面图,再对初始平面图进行正则化,并使用多标签图割获得准确完整的正则化平面图。再将正则化平面图转换获得目标房屋对应真实可靠的具有全景几何关系的目标布局视图。
-
公开(公告)号:CN118840699B
公开(公告)日:2025-02-14
申请号:CN202411314338.4
申请日:2024-09-20
Applicant: 南京信息工程大学
IPC: G06V20/40 , G06V10/44 , G06V10/74 , G06V10/762 , G06V10/774 , G06V10/82 , G06N3/0464
Abstract: 本发明公开了一种关键帧提取方法、装置及存储介质,方法包括:获取待处理视频的帧图像;对获取到的帧图像逐帧进行局部特征提取和深度特征提取,得到每一帧图像的局部特征和深度特征;计算每一帧图像与相邻帧图像的局部特征余弦相似度和深度特征余弦相似度,将计算得到的局部特征余弦相似度和深度特征余弦相似度加权融合,得到每一帧图像与其相邻帧图像的总相似度;响应于某一帧图像与其相邻帧图像的总相似度为由待处理视频中所有帧图像与其相邻帧图像的总相似度构成的序列的局部极小值、且总相似度小于预设的自适应阈值,提取这一帧作为待处理视频的关键帧。本发明能够提高关键帧提取的准确性和鲁棒性。
-
公开(公告)号:CN119229033A
公开(公告)日:2024-12-31
申请号:CN202411757299.5
申请日:2024-12-03
Applicant: 南京信息工程大学
Abstract: 本申请公开了一种基于神经辐射场和双向反射分布函数的数字地面三维重建方法、装置、设备及存储介质,本申请涉及三维重建技术领域,该方法包括:将目标地区对应的卫星采样光线数据输入预设神经辐射场模型获得场景信息;根据场景信息构建基于双向反射分布函数的物理成像模型;基于物理成像模型对预设神经辐射场模型进行优化,获得目标神经辐射场模型;通过目标神经辐射场模型确定目标地区的场景高程信息,生成目标地区对应的地面三维重建模型。本申请基于卫星影像光线数据获取的场景信息构建物理成像模型,再通过物理成像模型优化预设神经辐射场模型,从而基于优化后的目标神经辐射场模型确定高精度的场景高程信息,提升地面三维模型的重建精度。
-
公开(公告)号:CN118839701B
公开(公告)日:2025-04-01
申请号:CN202411328293.6
申请日:2024-09-24
Applicant: 南京信息工程大学
IPC: G06F40/30 , G06F18/10 , G06F18/2415 , G06F40/232 , G06F40/126 , G06F40/205 , G06F40/186 , G06N3/0464 , G06N3/0455 , G06N3/0895
Abstract: 本发明公开了一种融合交互式会话语境和会话者身份属性的情感识别方法,采集由多人参与的交互式会话记录,构建参与者会话队列;创建语境增强的交互式话语列表,通过提示驱动的情绪模板生成情绪感知增强的个性化话语表达,进行数值化处理并输入到SimCSE模型生成话语的情感嵌入特征;情感嵌入特征被组织成相同数量的批次,输入构建的EmoNet情绪编码器计算信息熵损失和正则化对比学习损失,将两种损失融合为混合对比学习损失用于训练EmoNet网络,优化情感识别的精确度;使用训练好的EmoNet对新输入的数据进行情感分类。本发明适用于大规模互动对话数据的多种应用场景,有效提升了情感识别的自动化水平和适应性。
-
公开(公告)号:CN119293740B
公开(公告)日:2025-03-07
申请号:CN202411833608.2
申请日:2024-12-13
Applicant: 南京信息工程大学
IPC: G06F18/25 , G06F18/241 , G06V40/16 , G06V40/10 , G06V10/80 , G06N3/0455 , G06N3/08 , G06V10/82
Abstract: 本发明公开了一种多模态对话情感识别方法,涉及多模态情感识别和人机交互技术领域,包括:利用人脸识别模型和姿态识别工具分别得到表情时序特征和姿态时序特征;注意力模块对表情和姿态特征进行自适应加权融合,获得融合的视觉模态特征;构建上下文语境信息的新表达并基于提示的情感建模技术得到情感表示并通过文本编码器提取文本模态特征;使用数据向量化模型提取说话者对应语音的模态特征;提出跳跃连接多头注意力跨模态融合方法,对多模态的模态特征进行跨模态对齐与融合,之后通过情感分类器模块进行情感识别。本发明有效解决了传统多模态情感识别中关键情感线索识别不足及融合不充分的问题,提高了情感识别的准确性和鲁棒性。
-
公开(公告)号:CN119342207A
公开(公告)日:2025-01-21
申请号:CN202411886091.3
申请日:2024-12-20
Applicant: 南京信息工程大学
Abstract: 本发明公开了一种视频裁剪方法及裁剪视频的质量评价方法,属于计算机视觉和视频处理技术领域。首以原视频数据及其需要裁剪视频的宽高比作为输入参数,使用视频自动裁剪模型得到裁剪视频,同时输出中间结果显著图。为了评价裁剪结果的质量,设计了一套基于显著性区域检测和特征分析的裁剪结果质量评价方法,主要包含内容完整性、内容一致性和时序稳定性。最终,通过加权求和方法,综合内容完整性、时序稳定性和内容一致性得分,得到裁剪视频的整体质量评价。本发明提出的视频裁剪方法能够自动确定最佳裁剪位置,并通过定量评价方法综合评估裁剪后视频的质量,从而提供一个全面的解决方案,显著提升视频裁剪的效果和质量。
-
公开(公告)号:CN119313827A
公开(公告)日:2025-01-14
申请号:CN202411847445.3
申请日:2024-12-16
Applicant: 南京信息工程大学
Abstract: 本申请公开了一种基于边缘约束和明暗恢复形状的多视点卫星图像数字表面模型重建方法、装置、设备及存储介质,本申请涉及数字表面模型技术领域,该方法包括基于目标地区的多视点卫星图像构建初始地面三维模型;根据多视点卫星图像和初始地面三维模型进行预设边缘融合,获得目标边缘信息;基于目标边缘信息构建基于明暗恢复形状的目标能量函数;基于目标能量函数对初始地面三维模型进行细化,获得目标地面三维模型。本申请通过多视点卫星图像的边缘信息丰富初始地面三维模型的边缘信息,基于融合后更精细的目标边缘信息和明暗恢复形状技术确定目标能量函数,进而基于目标能量函数对初始地面三维模型进行优化,提高最终目标地面三维模型的重建精度。
-
-
-
-
-
-
-
-
-