公开(公告)号：CN116229567A

公开(公告)日：2023-06-06

申请号：CN202310038279.1

申请日：2023-01-10

Applicant: 南京信息工程大学

Inventor： 张小瑞 ,  曾祥龙 ,  孙伟 ,  宋爱国 ,  张小娜

IPC: G06V40/20 ,  G06V10/44 ,  G06V10/80 ,  G06V10/82 ,  G06V10/74 ,  G06V10/77 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/082

Abstract: 本发明公开一种自适应帧采样驱动的手势识别方法，包括将摄像头捕获的帧序列转化为张量，使用两个卷积层作为特征提取层提取张量中每一帧图像的特征；采用帧间运动注意力算法根据两帧间局部区域模式的相似度追踪每一帧中的运动区域，为运动区域分配更大的关注权重；采用自注意力时间下采样算法根据重要性为相邻的多帧的同一区域分配不同的权重，再通过求和将多帧的特征融合为一帧；采用自注意力空间下采样算法根据重要性为局部区域的每一点分配不同的权重，通过求和将局部区域不同点特征融合为一个点；将冗余信息低的特征输入到已有的手势分类模型中对手势进行分类。本发明通过自适应帧采样剔除帧序列中冗余信息，提高手势识别模型的准确率。

公开(公告)号：CN116007614A

公开(公告)日：2023-04-25

申请号：CN202310063472.0

申请日：2023-01-13

Applicant: 南京信息工程大学

Inventor： 孙伟 ,  左军 ,  纪锦 ,  张小瑞 ,  赵畅 ,  夏天 ,  王煜 ,  曾豪霆

IPC: G01C21/00 ,  G01C21/16 ,  G01C21/08 ,  G01C21/20

Abstract: 本发明公开了一种融合磁力计的无人机轻型视觉惯性定位方法，包括图像点特征与线特征结合处理，地磁场数据修正偏航角误差，三自由度的位移图优化方法，经过多次修正状态量数据，最终得到精度更高的位移、速度、旋转状态量数据，解决视觉惯性定位方法所存在的特征点跟踪鲁棒性差、以及偏航角不可观从而导致的状态量数据精度漂移的缺点，适用于执行交通巡逻等室外任务的无人机轻型嵌入式平台。本发明提供的一种融合磁力计的无人机轻型视觉惯性定位方法，具有很高的定位精度、鲁棒性以及实时性。

公开(公告)号：CN108920875B

公开(公告)日：2023-01-24

申请号：CN201810853504.6

申请日：2018-07-29

Applicant: 南京信息工程大学

Inventor： 张小瑞 ,  徐千雄 ,  孙伟 ,  宋爱国

IPC: G06F30/20 ,  G16H50/00 ,  G06F119/14

Abstract: 本发明提出了一种基于磁性氧化模型的虚拟切割算法，具体包括如下步骤：步骤1)建立基于无网格的弹性软组织控制方程；步骤2）通过准线性黏弹性模型并入非线性粘弹性，得到应力应变行为的非线性描述；步骤3）加入磁性氧化模型的网格模型：在网格与手术刀接触面的背侧纳入铁单质；在网格与手术刀接触面实时产生网格模型，并在网格模型下检测切割条件产生切口；步骤4）对所述网格模型进行实时状态检测，得到接触面上点的位移与实时点的位置图；步骤5）实时对组织衰败部分进行适当的渲染渲染。有益效果：在现有网格模型的基础上纳入了磁性氧化模型，本方法虚拟的手术刀的挤压力更有利于手术医师把握手感。

公开(公告)号：CN110289104B

公开(公告)日：2022-12-23

申请号：CN201910572532.5

申请日：2019-06-27

Applicant: 南京信息工程大学

Inventor： 张小瑞 ,  吴海伦 ,  孙伟 ,  刘佳 ,  宋爱国 ,  牛建伟

IPC: G16H50/50

Abstract: 本发明公开了一种软组织按压和形变恢复的模拟方法，该方法用于模拟虚拟手术中对肝脏进行的按压排查过程，使用添加弯曲弹簧的质点弹簧模型对肝脏表面构建面模型，并采用粒子群算法对模型参数进行优化，然后使用基于层状的内部质点域约束对肝脏内部构建体模型，并在层状质点域之间采用约束弹簧元件进行连接。本发明方法不仅提高了质点弹簧模型在产生大形变时的形变恢复能力和计算效率，增强了其形变准确性和真实性，而且解决了传统质点弹簧模型无法模拟内部体积力的难点，并模拟了软组织形变过程的粘弹特性。

公开(公告)号：CN114913585A

公开(公告)日：2022-08-16

申请号：CN202210555311.9

申请日：2022-05-20

Applicant: 南京信息工程大学

Inventor： 张小瑞 ,  解其健 ,  孙伟 ,  刘青山

IPC: G06V40/16 ,  G06V40/20 ,  G06V10/764 ,  G06V10/774 ,  G06N3/04

Abstract: 本发明涉及老人摔倒检测技术领域，且公开了融合面部表情的居家老人摔倒检测方法，包括以下步骤：1)收集监控视频数据集；2)提取视频中的前景人体目标；3)获取人体头部骨骼点坐标并提取人体头部骨骼点的位移时序特征，同时获取监控视频中人体的面部图像；4)将头部骨骼点的位移时序特征与面部图像分别输入位移时序特征注意力模块与面部表情识别模块；5)获取特征权重，对两个神经网络模块的输出张量特征采用自适应加权特征融合方式进行融合；6)融合后的特征经过分类器进行判断是否为摔倒。该融合面部表情的居家老人摔倒检测方法，通过将面部表情特征与头部骨骼点的位移特征自适应加权特征融合，提高了检测的准确性。

公开(公告)号：CN114792429A

公开(公告)日：2022-07-26

申请号：CN202210352997.1

申请日：2022-04-06

Applicant: 南京信息工程大学

Inventor： 孙伟 ,  纪锦 ,  胡亚华 ,  张小瑞 ,  赵畅 ,  左军 ,  徐凡

IPC: G06V40/10 ,  G06V20/40 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于时空自适应和人体姿态估计的多视角摔倒检测方法、装置及存储介质，其包括：获取摄像头采集的视频流片段；通过轻量级卷积网络对视频序列进行预处理，得到全局特征图序列；对全局特征图序列中的每一幅全局特征图进行时空自适应处理，得到包含老人行为动作的图像块；利用人体姿态估计算法从图像块中得到人体关键点的位置坐标；根据人体关键点的位置坐标，利用阈值法判断不同视觉角度下图像块中的老人是否摔倒；当连续N帧图像块判断为老人摔倒时，生成报警信号。本发明能够在减少冗余计算降低模型的计算开销的同时保证老人摔倒检测的实时性和准确性。

公开(公告)号：CN114549267A

公开(公告)日：2022-05-27

申请号：CN202111664702.6

申请日：2021-12-31

Applicant: 南京信息工程大学

Inventor： 张小瑞 ,  蒋睿 ,  孙伟 ,  宋爱国 ,  孙星明 ,  付章杰 ,  夏志华

IPC: G06T1/00 ,  G06V10/762 ,  G06V10/80 ,  G06V10/42 ,  G06V10/54 ,  G06V10/56 ,  G06T17/20 ,  G06T15/04 ,  G06K9/62

Abstract: 本发明公开了一种多特征聚类的零水印方法，包括以下步骤：（1）对物体进行三维重建，得到具有纹理色彩的三维网格模型；（2）对具有纹理色彩的三维网格模型进行归一化，以邻域球为单位，计算球面积分不变量、纹理粗糙度、颜色一、二、三阶矩和颜色熵，分别作为具有纹理色彩的三维网格模型的几何、纹理和色彩特征；（3）水印生成：对具有纹理色彩的三维网格模型的特征使用谱聚类方法聚类，生成零水印，并将其在IPR信息数据库中注册；（4）水印检测：将物体按照上述多特征聚类的零水印方法生成零水印，与IPR信息数据库中的零水印计算相关系数，从而确定物体是否具有零水印；本发明使得零水印能表征更多模型特征，对更多种类的攻击具有鲁棒性。

公开(公告)号：CN114418817A

公开(公告)日：2022-04-29

申请号：CN202111528325.3

申请日：2021-12-14

Applicant: 南京信息工程大学

Inventor： 张小瑞 ,  蒋睿 ,  孙伟 ,  孙星明 ,  付章杰 ,  夏志华

IPC: G06T1/00 ,  G06T17/20 ,  G06T15/04

Abstract: 本发明提供一种基于复合能量接缝剪切的非平面零水印方法，提出一种二维图像向三维网格模型曲面自适应映射并嵌入水印的非平面水印方法；包括：对物体三维重建，生成三维网格模型；根据像素的FT显著图值、MB显著图值、梯度值和结构张量，结合像素边缘成本，定义能量值，提出一种复合能量接缝剪切方法，使得图像放缩效果更好；将二维图像分块，并根据三维网格模型的网格形状放缩，映射到三维网格模型；水印生成：对映射后三维网格网格模型生成零水印，并将零水印加密后上传区块链，充分利用了区块链的不可伪造、公开透明的性质，保证了生成的零水印的安全性和权威性；水印检测：根据区块链中存储的零水印，确定待检测的三维网格模型是否存在水印。

公开(公告)号：CN114282593A

公开(公告)日：2022-04-05

申请号：CN202111386047.2

申请日：2021-11-22

Applicant: 南京信息工程大学

Inventor： 张小瑞 ,  曾祥龙 ,  孙伟 ,  宋爱国 ,  刘佳 ,  邓志良

IPC: G06K9/62 ,  G06V40/20 ,  G06V10/80 ,  G06V10/82

Abstract: 本发明公开了手语识别领域的一种基于机器视觉的手语识别方法，包括根据待识别的手语视频构建上肢骨骼数据；获得包含上肢且无背景的检测图像；计算得到检测图像的像素特征以及上肢骨骼数据的骨骼特征；通过卷积神经网络分别对像素特征和骨骼特征进行提取，得到像素识别特征和骨骼识别特征；根据像素识别特征、骨骼识别特征获得识别向量；再将识别向量输入softmax层获得结果向量，结果向量中值最大的元素对应的手语词汇为识别结果；本发明通过识别双臂的移动和位置特征，增加了手语识别的范围，提高了手语识别的精度。

公开(公告)号：CN108986140B

公开(公告)日：2022-02-01

申请号：CN201810674804.8

申请日：2018-06-26

Applicant: 南京信息工程大学

Inventor： 孙伟 ,  赵玉舟 ,  张小瑞 ,  杜宏吉 ,  施顺顺

IPC: G06T7/246

Abstract: 本发明的目标尺度自适应跟踪方法，包括如下步骤：步骤1读取第一帧图片，确定目标位置及大小，设置目标区域和背景区域；步骤2获得不同尺度的样本图像，计算目标区域O与背景区域B的颜色直方图，获得目标样本的概率；步骤3提取图像的hog特征和灰度特征，训练位置滤波器和尺度滤波器，获得对应滤波器模板；步骤4读入下一帧图片，更新目标当前位置；步骤5根据目标当前位置，更新目标尺度；步骤6判断当前帧跟踪是否正常，并进行相应的操作；步骤7根据判定结果，代入下一帧目标检测，直至跟踪任务结束。通过对目标图像和背景图像的不同响应区别目标及背景，有效的利用目标的背景信息，提高目标在遮挡、形变等场景下的准确性。