一种基于双向曲形状态空间模型的手网格重建系统及方法

    公开(公告)号:CN118172648B

    公开(公告)日:2024-07-23

    申请号:CN202410591602.2

    申请日:2024-05-14

    Abstract: 本发明属于图像识别技术领域,公开了一种基于双向曲形状态空间模型的手网格重建系统及方法,该手网格重建系统,包括编码器和解码器,所述编码器包括若干个双向曲形状态空间模型构成的第一编码阶段、第二编码阶段、第三编码阶段、第四编码阶段;所述解码器包括以若干个双向曲形状态空间模型构成的第一解码阶段、第二解码阶段、第三解码阶段、第四解码阶段;所述双向曲形状态空间模型包括特征重构、远程依赖学习及特征复原。本发明基于双向曲形状态空间模型和残差连接构建了一个浅、深层特征充分融合的U型架构,重建手网格的特征既具备较强的远程依赖,又富含细节信息。

    基于扩散模型的多模态三维手部网格重建方法

    公开(公告)号:CN119152149A

    公开(公告)日:2024-12-17

    申请号:CN202411645849.4

    申请日:2024-11-18

    Abstract: 本发明属于人体姿态识别技术领域,公开了基于扩散模型的多模态三维手部网格重建方法,通过特征提取模型采集深度图和点云数据,并根据深度图和点云数据提取手部关节特征;将一个初始化的标准高斯分布的噪声连同提取到的手部关节特征一起输入扩散模型中进行迭代去噪,通过多次迭代逐步从噪声中恢复出手部关节位置;根据手部关节位置,通过网格重建模块重建三维手部网格。本发明基于彩色图像,通过融合深度图和三维点云数据,实现了高精度的三维手部网格重建,显著提升了手部姿态重建的速度和准确性。

    基于语义感知图卷积的三维手物姿态估计方法及系统

    公开(公告)号:CN116486489A

    公开(公告)日:2023-07-25

    申请号:CN202310754065.4

    申请日:2023-06-26

    Abstract: 本发明公开了一种基于语义感知图卷积的三维手物姿态估计方法及系统,使用特征提取网络从彩色图像中提取手感兴趣区域特征和物感兴趣区域特征;基于手感兴趣区域特征估计二维手姿态,基于物感兴趣区域特征估计二维物姿态;将二维手姿态和二维物姿态输入三维姿态估计网络以估计三维手物姿态,所述三维姿态估计网络包括多个共同注意力模块和语义感知图卷积模块。本发明使用语义感知图卷积模块实现了手物全局特征的充分融合,在一定程度上实现了手物交互,并使用多个共同注意力模块对包含不同数目关键点的手物姿态进行关联计算,能够充分建模不同状态下的手物交互关系,有利于手物姿态的准确估计。

    基于扩散模型的多模态三维手部网格重建方法

    公开(公告)号:CN119152149B

    公开(公告)日:2025-04-22

    申请号:CN202411645849.4

    申请日:2024-11-18

    Abstract: 本发明属于人体姿态识别技术领域,公开了基于扩散模型的多模态三维手部网格重建方法,通过特征提取模型采集深度图和点云数据,并根据深度图和点云数据提取手部关节特征;将一个初始化的标准高斯分布的噪声连同提取到的手部关节特征一起输入扩散模型中进行迭代去噪,通过多次迭代逐步从噪声中恢复出手部关节位置;根据手部关节位置,通过网格重建模块重建三维手部网格。本发明基于彩色图像,通过融合深度图和三维点云数据,实现了高精度的三维手部网格重建,显著提升了手部姿态重建的速度和准确性。

    一种基于双向曲形状态空间模型的手网格重建系统及方法

    公开(公告)号:CN118172648A

    公开(公告)日:2024-06-11

    申请号:CN202410591602.2

    申请日:2024-05-14

    Abstract: 本发明属于图像识别技术领域,公开了一种基于双向曲形状态空间模型的手网格重建系统及方法,该手网格重建系统,包括编码器和解码器,所述编码器包括若干个双向曲形状态空间模型构成的第一编码阶段、第二编码阶段、第三编码阶段、第四编码阶段;所述解码器包括以若干个双向曲形状态空间模型构成的第一解码阶段、第二解码阶段、第三解码阶段、第四解码阶段;所述双向曲形状态空间模型包括特征重构、远程依赖学习及特征复原。本发明基于双向曲形状态空间模型和残差连接构建了一个浅、深层特征充分融合的U型架构,重建手网格的特征既具备较强的远程依赖,又富含细节信息。

    基于语义感知图卷积的三维手物姿态估计方法及系统

    公开(公告)号:CN116486489B

    公开(公告)日:2023-08-29

    申请号:CN202310754065.4

    申请日:2023-06-26

    Abstract: 本发明公开了一种基于语义感知图卷积的三维手物姿态估计方法及系统,使用特征提取网络从彩色图像中提取手感兴趣区域特征和物感兴趣区域特征;基于手感兴趣区域特征估计二维手姿态,基于物感兴趣区域特征估计二维物姿态;将二维手姿态和二维物姿态输入三维姿态估计网络以估计三维手物姿态,所述三维姿态估计网络包括多个共同注意力模块和语义感知图卷积模块。本发明使用语义感知图卷积模块实现了手物全局特征的充分融合,在一定程度上实现了手物交互,并使用多个共同注意力模块对包含不同数目关键点的手物姿态进行关联计算,能够充分建模不同状态下的手物交互关系,有利于手物姿态的准确估计。

Patent Agency Ranking