-
公开(公告)号:CN118172648B
公开(公告)日:2024-07-23
申请号:CN202410591602.2
申请日:2024-05-14
Applicant: 江西农业大学
IPC: G06V10/82 , G06V10/44 , G06N3/0464 , G06N3/08
Abstract: 本发明属于图像识别技术领域,公开了一种基于双向曲形状态空间模型的手网格重建系统及方法,该手网格重建系统,包括编码器和解码器,所述编码器包括若干个双向曲形状态空间模型构成的第一编码阶段、第二编码阶段、第三编码阶段、第四编码阶段;所述解码器包括以若干个双向曲形状态空间模型构成的第一解码阶段、第二解码阶段、第三解码阶段、第四解码阶段;所述双向曲形状态空间模型包括特征重构、远程依赖学习及特征复原。本发明基于双向曲形状态空间模型和残差连接构建了一个浅、深层特征充分融合的U型架构,重建手网格的特征既具备较强的远程依赖,又富含细节信息。
-
公开(公告)号:CN116912367B
公开(公告)日:2023-12-19
申请号:CN202311127041.2
申请日:2023-09-04
Applicant: 江西农业大学
IPC: G06T11/60 , G06T9/00 , G06T3/40 , G06V10/80 , G06V10/82 , G06N3/0455 , G06N3/0464 , G06N3/0442 , G06N3/08
Abstract: 本发明属于图像信息处理技术领域,公开了一种基于轻量级动态细化的文本生成图像方法及系统。本发明通过文本编码器将输入的文本编码为文本特征,由文本编码器编码的文本特征和由高斯分布采样的噪声向量输入生成器;噪声向量首先被馈送到一个全连接层再进行重塑,得到初始图像特征,通过多个动态文本图像融合细化块将文本特征融入初始图像特征进而得到精炼图像特征;最后,通过卷积层和激活层将精炼图像特征转换为生成图像。本发明可以更好地实现文本生成图像的自适应、细化、融合等过程,从而增强生成图像的真实感和表现力。
-
公开(公告)号:CN119152149A
公开(公告)日:2024-12-17
申请号:CN202411645849.4
申请日:2024-11-18
Applicant: 江西农业大学
IPC: G06T17/20 , G06V40/20 , G06V10/30 , G06V10/82 , G06N3/0464
Abstract: 本发明属于人体姿态识别技术领域,公开了基于扩散模型的多模态三维手部网格重建方法,通过特征提取模型采集深度图和点云数据,并根据深度图和点云数据提取手部关节特征;将一个初始化的标准高斯分布的噪声连同提取到的手部关节特征一起输入扩散模型中进行迭代去噪,通过多次迭代逐步从噪声中恢复出手部关节位置;根据手部关节位置,通过网格重建模块重建三维手部网格。本发明基于彩色图像,通过融合深度图和三维点云数据,实现了高精度的三维手部网格重建,显著提升了手部姿态重建的速度和准确性。
-
公开(公告)号:CN116912367A
公开(公告)日:2023-10-20
申请号:CN202311127041.2
申请日:2023-09-04
Applicant: 江西农业大学
IPC: G06T11/60 , G06T9/00 , G06T3/40 , G06V10/80 , G06V10/82 , G06N3/0455 , G06N3/0464 , G06N3/0442 , G06N3/08
Abstract: 本发明属于图像信息处理技术领域,公开了一种基于轻量级动态细化的文本生成图像方法及系统。本发明通过文本编码器将输入的文本编码为文本特征,由文本编码器编码的文本特征和由高斯分布采样的噪声向量输入生成器;噪声向量首先被馈送到一个全连接层再进行重塑,得到初始图像特征,通过多个动态文本图像融合细化块将文本特征融入初始图像特征进而得到精炼图像特征;最后,通过卷积层和激活层将精炼图像特征转换为生成图像。本发明可以更好地实现文本生成图像的自适应、细化、融合等过程,从而增强生成图像的真实感和表现力。
-
公开(公告)号:CN116486489A
公开(公告)日:2023-07-25
申请号:CN202310754065.4
申请日:2023-06-26
Applicant: 江西农业大学
Abstract: 本发明公开了一种基于语义感知图卷积的三维手物姿态估计方法及系统,使用特征提取网络从彩色图像中提取手感兴趣区域特征和物感兴趣区域特征;基于手感兴趣区域特征估计二维手姿态,基于物感兴趣区域特征估计二维物姿态;将二维手姿态和二维物姿态输入三维姿态估计网络以估计三维手物姿态,所述三维姿态估计网络包括多个共同注意力模块和语义感知图卷积模块。本发明使用语义感知图卷积模块实现了手物全局特征的充分融合,在一定程度上实现了手物交互,并使用多个共同注意力模块对包含不同数目关键点的手物姿态进行关联计算,能够充分建模不同状态下的手物交互关系,有利于手物姿态的准确估计。
-
公开(公告)号:CN119152149B
公开(公告)日:2025-04-22
申请号:CN202411645849.4
申请日:2024-11-18
Applicant: 江西农业大学
IPC: G06T17/20 , G06V40/20 , G06V10/30 , G06V10/82 , G06N3/0464
Abstract: 本发明属于人体姿态识别技术领域,公开了基于扩散模型的多模态三维手部网格重建方法,通过特征提取模型采集深度图和点云数据,并根据深度图和点云数据提取手部关节特征;将一个初始化的标准高斯分布的噪声连同提取到的手部关节特征一起输入扩散模型中进行迭代去噪,通过多次迭代逐步从噪声中恢复出手部关节位置;根据手部关节位置,通过网格重建模块重建三维手部网格。本发明基于彩色图像,通过融合深度图和三维点云数据,实现了高精度的三维手部网格重建,显著提升了手部姿态重建的速度和准确性。
-
公开(公告)号:CN118172648A
公开(公告)日:2024-06-11
申请号:CN202410591602.2
申请日:2024-05-14
Applicant: 江西农业大学
IPC: G06V10/82 , G06V10/44 , G06N3/0464 , G06N3/08
Abstract: 本发明属于图像识别技术领域,公开了一种基于双向曲形状态空间模型的手网格重建系统及方法,该手网格重建系统,包括编码器和解码器,所述编码器包括若干个双向曲形状态空间模型构成的第一编码阶段、第二编码阶段、第三编码阶段、第四编码阶段;所述解码器包括以若干个双向曲形状态空间模型构成的第一解码阶段、第二解码阶段、第三解码阶段、第四解码阶段;所述双向曲形状态空间模型包括特征重构、远程依赖学习及特征复原。本发明基于双向曲形状态空间模型和残差连接构建了一个浅、深层特征充分融合的U型架构,重建手网格的特征既具备较强的远程依赖,又富含细节信息。
-
公开(公告)号:CN116486489B
公开(公告)日:2023-08-29
申请号:CN202310754065.4
申请日:2023-06-26
Applicant: 江西农业大学
Abstract: 本发明公开了一种基于语义感知图卷积的三维手物姿态估计方法及系统,使用特征提取网络从彩色图像中提取手感兴趣区域特征和物感兴趣区域特征;基于手感兴趣区域特征估计二维手姿态,基于物感兴趣区域特征估计二维物姿态;将二维手姿态和二维物姿态输入三维姿态估计网络以估计三维手物姿态,所述三维姿态估计网络包括多个共同注意力模块和语义感知图卷积模块。本发明使用语义感知图卷积模块实现了手物全局特征的充分融合,在一定程度上实现了手物交互,并使用多个共同注意力模块对包含不同数目关键点的手物姿态进行关联计算,能够充分建模不同状态下的手物交互关系,有利于手物姿态的准确估计。
-
-
-
-
-
-
-