公开(公告)号：CN113269136B

公开(公告)日：2023-11-21

申请号：CN202110672891.5

申请日：2021-06-17

Applicant: 南京信息工程大学

Inventor： 张小瑞 ,  王营营 ,  孙伟 ,  宋爱国 ,  刘佳

IPC: G06V40/30 ,  G06V10/30 ,  G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/084

公开(公告)号：CN113808275B

公开(公告)日：2023-10-13

申请号：CN202111120772.5

申请日：2021-09-24

Applicant: 南京信息工程大学

Inventor： 张小瑞 ,  徐枫 ,  孙伟 ,  宋爱国 ,  刘青山 ,  付章杰 ,  袁程胜

IPC: G06T17/20 ,  G06T19/20 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/084

Abstract: 本发明提供一种基于GCN与拓扑修改的单图像三维重建方法，该方法具体包括如下步骤：输入图像至VGG‑16编码网络，提取特定层的特征图与图像特征向量；预设初始球体网格；根据VGG‑16编码网络提取的特定层的特征图，为初始球体每个顶点赋予图像感知特征，得到附带图像感知特征的球体网格；将该球体网格输入网格形变网络中，变更网格顶点位置，并得到初始三维模型；拓扑修改网络对初始三维模型表面进行修剪，从而更新网格拓扑结构；得到最终三维网格模型；本发明提高重建模型的质量，同时减小变形计算。

公开(公告)号：CN110321813B

公开(公告)日：2023-06-20

申请号：CN201910525062.7

申请日：2019-06-18

Applicant: 南京信息工程大学

Inventor： 孙伟 ,  张旭 ,  张小瑞 ,  张国策 ,  葛男男

IPC: G06V40/10 ,  G06V10/26 ,  G06V10/74 ,  G06V10/774 ,  G06V10/82

Abstract: 本发明公开了基于行人分割的跨域行人重识别方法，该方法分为三个阶段，第一阶段：将源域图片和目标域图片输入到行人分割模型中，通过GAN网络生成具有源域内容和目标域风格的图片；第二阶段：将生成的新图片输入到CNN网络，提取图片间的特征距离，使用TriHard loss训练模型；第三阶段：加载训练好的行人重识别模型，提取目标域的行人图片特征。给定待检索的行人图片，检索最匹配的行人图片并输出。本发明设计训练得到一个新的行人重识别模型，训练源域内容图片，并在目标域数据集测试，有效减小不同数据集之间风格差异对跨域行人重识别模型性能的影响，网络性能好，模型泛化能力强。

公开(公告)号：CN116229567A

公开(公告)日：2023-06-06

申请号：CN202310038279.1

申请日：2023-01-10

Applicant: 南京信息工程大学

Inventor： 张小瑞 ,  曾祥龙 ,  孙伟 ,  宋爱国 ,  张小娜

IPC: G06V40/20 ,  G06V10/44 ,  G06V10/80 ,  G06V10/82 ,  G06V10/74 ,  G06V10/77 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/082

Abstract: 本发明公开一种自适应帧采样驱动的手势识别方法，包括将摄像头捕获的帧序列转化为张量，使用两个卷积层作为特征提取层提取张量中每一帧图像的特征；采用帧间运动注意力算法根据两帧间局部区域模式的相似度追踪每一帧中的运动区域，为运动区域分配更大的关注权重；采用自注意力时间下采样算法根据重要性为相邻的多帧的同一区域分配不同的权重，再通过求和将多帧的特征融合为一帧；采用自注意力空间下采样算法根据重要性为局部区域的每一点分配不同的权重，通过求和将局部区域不同点特征融合为一个点；将冗余信息低的特征输入到已有的手势分类模型中对手势进行分类。本发明通过自适应帧采样剔除帧序列中冗余信息，提高手势识别模型的准确率。

公开(公告)号：CN116007614A

公开(公告)日：2023-04-25

申请号：CN202310063472.0

申请日：2023-01-13

Applicant: 南京信息工程大学

Inventor： 孙伟 ,  左军 ,  纪锦 ,  张小瑞 ,  赵畅 ,  夏天 ,  王煜 ,  曾豪霆

IPC: G01C21/00 ,  G01C21/16 ,  G01C21/08 ,  G01C21/20

Abstract: 本发明公开了一种融合磁力计的无人机轻型视觉惯性定位方法，包括图像点特征与线特征结合处理，地磁场数据修正偏航角误差，三自由度的位移图优化方法，经过多次修正状态量数据，最终得到精度更高的位移、速度、旋转状态量数据，解决视觉惯性定位方法所存在的特征点跟踪鲁棒性差、以及偏航角不可观从而导致的状态量数据精度漂移的缺点，适用于执行交通巡逻等室外任务的无人机轻型嵌入式平台。本发明提供的一种融合磁力计的无人机轻型视觉惯性定位方法，具有很高的定位精度、鲁棒性以及实时性。

公开(公告)号：CN108920875B

公开(公告)日：2023-01-24

申请号：CN201810853504.6

申请日：2018-07-29

Applicant: 南京信息工程大学

Inventor： 张小瑞 ,  徐千雄 ,  孙伟 ,  宋爱国

IPC: G06F30/20 ,  G16H50/00 ,  G06F119/14

Abstract: 本发明提出了一种基于磁性氧化模型的虚拟切割算法，具体包括如下步骤：步骤1)建立基于无网格的弹性软组织控制方程；步骤2）通过准线性黏弹性模型并入非线性粘弹性，得到应力应变行为的非线性描述；步骤3）加入磁性氧化模型的网格模型：在网格与手术刀接触面的背侧纳入铁单质；在网格与手术刀接触面实时产生网格模型，并在网格模型下检测切割条件产生切口；步骤4）对所述网格模型进行实时状态检测，得到接触面上点的位移与实时点的位置图；步骤5）实时对组织衰败部分进行适当的渲染渲染。有益效果：在现有网格模型的基础上纳入了磁性氧化模型，本方法虚拟的手术刀的挤压力更有利于手术医师把握手感。

公开(公告)号：CN110289104B

公开(公告)日：2022-12-23

申请号：CN201910572532.5

申请日：2019-06-27

Applicant: 南京信息工程大学

Inventor： 张小瑞 ,  吴海伦 ,  孙伟 ,  刘佳 ,  宋爱国 ,  牛建伟

IPC: G16H50/50

Abstract: 本发明公开了一种软组织按压和形变恢复的模拟方法，该方法用于模拟虚拟手术中对肝脏进行的按压排查过程，使用添加弯曲弹簧的质点弹簧模型对肝脏表面构建面模型，并采用粒子群算法对模型参数进行优化，然后使用基于层状的内部质点域约束对肝脏内部构建体模型，并在层状质点域之间采用约束弹簧元件进行连接。本发明方法不仅提高了质点弹簧模型在产生大形变时的形变恢复能力和计算效率，增强了其形变准确性和真实性，而且解决了传统质点弹簧模型无法模拟内部体积力的难点，并模拟了软组织形变过程的粘弹特性。

公开(公告)号：CN114913585A

公开(公告)日：2022-08-16

申请号：CN202210555311.9

申请日：2022-05-20

Applicant: 南京信息工程大学

Inventor： 张小瑞 ,  解其健 ,  孙伟 ,  刘青山

IPC: G06V40/16 ,  G06V40/20 ,  G06V10/764 ,  G06V10/774 ,  G06N3/04

Abstract: 本发明涉及老人摔倒检测技术领域，且公开了融合面部表情的居家老人摔倒检测方法，包括以下步骤：1)收集监控视频数据集；2)提取视频中的前景人体目标；3)获取人体头部骨骼点坐标并提取人体头部骨骼点的位移时序特征，同时获取监控视频中人体的面部图像；4)将头部骨骼点的位移时序特征与面部图像分别输入位移时序特征注意力模块与面部表情识别模块；5)获取特征权重，对两个神经网络模块的输出张量特征采用自适应加权特征融合方式进行融合；6)融合后的特征经过分类器进行判断是否为摔倒。该融合面部表情的居家老人摔倒检测方法，通过将面部表情特征与头部骨骼点的位移特征自适应加权特征融合，提高了检测的准确性。

公开(公告)号：CN114792429A

公开(公告)日：2022-07-26

申请号：CN202210352997.1

申请日：2022-04-06

Applicant: 南京信息工程大学

Inventor： 孙伟 ,  纪锦 ,  胡亚华 ,  张小瑞 ,  赵畅 ,  左军 ,  徐凡

IPC: G06V40/10 ,  G06V20/40 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于时空自适应和人体姿态估计的多视角摔倒检测方法、装置及存储介质，其包括：获取摄像头采集的视频流片段；通过轻量级卷积网络对视频序列进行预处理，得到全局特征图序列；对全局特征图序列中的每一幅全局特征图进行时空自适应处理，得到包含老人行为动作的图像块；利用人体姿态估计算法从图像块中得到人体关键点的位置坐标；根据人体关键点的位置坐标，利用阈值法判断不同视觉角度下图像块中的老人是否摔倒；当连续N帧图像块判断为老人摔倒时，生成报警信号。本发明能够在减少冗余计算降低模型的计算开销的同时保证老人摔倒检测的实时性和准确性。

公开(公告)号：CN114549267A

公开(公告)日：2022-05-27

申请号：CN202111664702.6

申请日：2021-12-31

Applicant: 南京信息工程大学

Inventor： 张小瑞 ,  蒋睿 ,  孙伟 ,  宋爱国 ,  孙星明 ,  付章杰 ,  夏志华

IPC: G06T1/00 ,  G06V10/762 ,  G06V10/80 ,  G06V10/42 ,  G06V10/54 ,  G06V10/56 ,  G06T17/20 ,  G06T15/04 ,  G06K9/62

Abstract: 本发明公开了一种多特征聚类的零水印方法，包括以下步骤：（1）对物体进行三维重建，得到具有纹理色彩的三维网格模型；（2）对具有纹理色彩的三维网格模型进行归一化，以邻域球为单位，计算球面积分不变量、纹理粗糙度、颜色一、二、三阶矩和颜色熵，分别作为具有纹理色彩的三维网格模型的几何、纹理和色彩特征；（3）水印生成：对具有纹理色彩的三维网格模型的特征使用谱聚类方法聚类，生成零水印，并将其在IPR信息数据库中注册；（4）水印检测：将物体按照上述多特征聚类的零水印方法生成零水印，与IPR信息数据库中的零水印计算相关系数，从而确定物体是否具有零水印；本发明使得零水印能表征更多模型特征，对更多种类的攻击具有鲁棒性。