一种基于三维手势重建的空中手写交互方法、存储介质以及装置

    公开(公告)号:CN117058691B

    公开(公告)日:2024-09-13

    申请号:CN202310553707.4

    申请日:2023-05-16

    Abstract: 本发明属于人机交互和计算机视觉领域,特别涉及一种基于三维手势重建的空中手写交互方法,包括:获取用户空中手写交互的彩色图像数据流,并输入到深度神经网络中进行手部核心区域分割和手部关节点二维信息提取;将手部核心区域图和手部关节点二维信息输入到解码网络中估计三维空间中用户的手势模型,并对手势模型进行约束重建;根据重建后的三维手势模型实时获取用户的指尖运动轨迹,采用时序卷积循环神经网络对指尖运动轨迹进行识别,得到空中手写交互识别结果;本发明使用时序卷积循环网络来直接处理手写运动轨迹,不但能够识别输出手写文本行,而且还具备更高的识别精度、更小的计算开销和模型存储,提升了系统的实用性和普及性。

    基于自注意力的视觉惯性里程计三维场景定位方法和装置

    公开(公告)号:CN118376237A

    公开(公告)日:2024-07-23

    申请号:CN202410511979.2

    申请日:2024-04-26

    Abstract: 本发明提供一种基于自注意力的视觉惯性里程计三维场景定位方法和装置,包括:提取IMU数据的综合时序特征;利用卷积神经网络提取视觉数据的视觉特征;根据姿态归回模块中第一LSTM网络在上一时刻保存的历史隐藏状态信息将当前时刻IMU数据的综合时序特征和视觉数据的视觉特征通过视觉模态选择的方式进行特征融合得到第一融合时序特征;利用基于自注意力的融合模块对第一融合时序特征进行处理得到第二融合时序特征;将第二融合时序特征输入姿态归回模块进行姿态回归得到当前时刻移动设备的位姿,其中,所述姿态归回模块包括第一LSTM网络和全连接层;本发明通过学习IMU内部数据间的关系,有效提高了移动设备的三维定位精度。

    一种基于主客观属性融合的图像美学评价方法

    公开(公告)号:CN118155053A

    公开(公告)日:2024-06-07

    申请号:CN202410490500.1

    申请日:2024-04-23

    Abstract: 本发明属于图像美学评价领域,具体涉及一种基于主客观属性融合的图像美学评价方法,包括:获取待评价的图像,将图像输入到训练后的图像美学评价模型,得到评价结果;图像美学评价模型包括客观属性特征提取网络、主观属性特征提取网络以及个性化图像美学先验网络;本发明利用了多种客观属性和主观属性辅助图像美学评价任务,模型融合了多种与图像美学相关的客观属性特征和与个性化美学相关性较强的主观属性特征,更全面的考虑图像美学因素,使得模型能够更好的获得目标用户的审美偏好。

    一种基于图像与几何信息引导的多模态点云配准方法

    公开(公告)号:CN117095033B

    公开(公告)日:2024-05-24

    申请号:CN202310921353.4

    申请日:2023-07-25

    Abstract: 本发明涉及计算机视觉技术,特别涉及一种基于图像与几何信息引导的多模态点云配准方法,包括获取点云中超点的第四超点特征、源点云中超点与锚点之间的几何相关性特征、目标点云中超点的第四超点特征、目标点云中超点与锚点之间的几何相关性特征,并基于交叉注意力进行融合得到第五超点特征;基于第五超点特征计算源点云和目标云中超点的相似性筛选超点对,对其第一超点特征进行上采样解码得到其原始点特征;基于Sinkhorn算法得到原始点对关系集合,根据原始点对关系集合进行变换矩阵估计并从中选择最优变换矩阵;本发明不仅能够充分融合图像纹理信息和点云结构信息,还减少了无关图像信息的噪声引入,得到了具有区分度的多模态超点特征。

    一种基于语义聚类的视频异常预测方法及装置

    公开(公告)号:CN115484456B

    公开(公告)日:2024-05-07

    申请号:CN202211121615.0

    申请日:2022-09-15

    Abstract: 本发明属于视频异常检测,具体涉及一种基于语义聚类的视频异常预测方法及装置,所述方法包括将不存在异常的视频,即正常视频序列输入位移通道可选择编码器进行语义特征提取,将提取的语义放入语义池进行储存;在处理实时数据时,将实时视频序列输入位移通道可选择编码器得到其对应的未来视频帧的语义特征,判断提取的语义特征与语义池中所有正常语义特征的相似度,若最大相似度大于设定阈值则该输入视频序列的未来帧正常,否则异常;本发明可以实现对还未发生的异常进行预测,且本发明通过有选择性的通道位移,让编码器提取时间信息的同时,更加关注运动变化较大的区域,并且减少对背景信息的关注。

    融入人脸妆容迁移的对抗性人脸图像生成方法

    公开(公告)号:CN117912079A

    公开(公告)日:2024-04-19

    申请号:CN202410082182.5

    申请日:2024-01-19

    Abstract: 本发明涉及融入人脸妆容迁移的对抗性人脸图像生成方法,该方法包括:获取人脸图像包括无妆容人脸图像的源图像和含妆容人脸图像的参考图像,分别提取源图像和参考图像的深度特征,将源图像和参考图像的深度特征输入语义感知对应模块,获得融合特征Fp;在融合特征Fp添加不同比例的源图像的深度特征,获得含妆容的源图像特征#imgabs0#将含妆容的源图像特征#imgabs1#输入训练后的人脸图像重建网络G,输出对抗性人脸图像。本发明方法结合了妆容迁移的技术使生成的对抗性人脸图像保持更好的视觉质量;本发明生成的对抗性人脸图像具有更好的黑盒攻击性能,对未见过的人脸图像,其泛化效果更好。

    一种基于图像与几何信息引导的多模态点云配准方法

    公开(公告)号:CN117095033A

    公开(公告)日:2023-11-21

    申请号:CN202310921353.4

    申请日:2023-07-25

    Abstract: 本发明涉及计算机视觉技术,特别涉及一种基于图像与几何信息引导的多模态点云配准方法,包括获取点云中超点的第四超点特征、源点云中超点与锚点之间的几何相关性特征、目标点云中超点的第四超点特征、目标点云中超点与锚点之间的几何相关性特征,并基于交叉注意力进行融合得到第五超点特征;基于第五超点特征计算源点云和目标云中超点的相似性筛选超点对,对其第一超点特征进行上采样解码得到其原始点特征;基于Sinkhorn算法得到原始点对关系集合,根据原始点对关系集合进行变换矩阵估计并从中选择最优变换矩阵;本发明不仅能够充分融合图像纹理信息和点云结构信息,还减少了无关图像信息的噪声引入,得到了具有区分度的多模态超点特征。

    一种基于先验知识的遥感图像超分辨率重建方法

    公开(公告)号:CN117057994A

    公开(公告)日:2023-11-14

    申请号:CN202311047179.1

    申请日:2023-08-18

    Abstract: 本发明涉及遥感图像重建技术,具体涉及一种基于先验知识的遥感图像超分辨率重建方法;包括构建并训练上下文引导约束网络模型,采集待处理图像输入训练好的上下文引导约束网络模型,得到其对应的高分辨率重建遥感图像;所述上下文引导约束网络模型包括图像分割网络、反距离图生成器、浅层编码器、深层纹理编辑器和高分图像重构解码器;本发明通过结合图像的区域约束和几何约束这两个先验知识,增强了遥感图像的物体类间全局纹理上下文和类内局部纹理上下文,实现遥感图像超分辨率重建。

Patent Agency Ranking