基于视觉-语言大模型的特征融合的网格恢复方法及系统

    公开(公告)号:CN119007184A

    公开(公告)日:2024-11-22

    申请号:CN202411071293.2

    申请日:2024-08-06

    Applicant: 湖南大学

    Abstract: 本发明公开了基于视觉‑语言大模型的特征融合的网格恢复方法及系统,该方法包括:对原始视频序列进行预处理得到图像语义文本以及图像向量,对图像向量、图像语义文本进行特征提取得到视觉特征向量、文本特征向量;将同一帧的视觉特征向量与文本特征向量进行拼接再进行基于线性变换网络的特征交互得到初始融合特征;针对任一帧,结合前后帧信息并基于聚合网络聚合组内各帧的初始融合特征得到每一帧对应的组间聚合特征;利用每一帧的组间聚合特征对SMPL模型参数进行迭代更新,进而回归出完整的3D人体网格。本发明融合文本特征和视觉特征并有效地结合前后帧信息,全面地对有遮挡或视觉歧义的视频数据预测出平滑的3D人体网格序列。

    一种用于3D人体姿态估计的特征交互融合方法与系统

    公开(公告)号:CN117115915A

    公开(公告)日:2023-11-24

    申请号:CN202311138143.4

    申请日:2023-09-05

    Applicant: 湖南大学

    Inventor: 肖德贵 王宏韬

    Abstract: 本发明涉及3D人体姿态识别技术领域,公开了一种用于3D人体姿态估计的特征交互融合方法,包括如下步骤:获取待预测视频对应的2D姿态序列,对2D姿态序列中每一帧数据提升数据维度,得到Xin;将获取的Xin以特征块的形式输入至基于多级注意力机制堆叠的不同的编码器中,分别获取全局层面特征和局部层面特征;将获取的全局层面特征和局部层面特征融合得到融合特征;根据融合特征和坐标回归构建3D人体姿态序列,根据3D人体姿态序列获取待预测视频中人体的3D人体姿态,双流设计和多级注意力的设计同时关注局部层面与全局层面,提升了3D人体姿态检测的精准度。

    一种用于增强图像标记效果的多尺度级联层次模型方法

    公开(公告)号:CN104867118B

    公开(公告)日:2017-06-20

    申请号:CN201510248854.6

    申请日:2015-05-15

    Applicant: 湖南大学

    Abstract: 本发明公开了一种用于增强图像标记效果的多尺度级联层次模型方法,包括以下步骤:步骤1、初始化步骤:建立数据集的分层尺度空间,初始化待标记图片的质量矩阵为最差;步骤2、选择图像标记方法,为原图像进行标记,更新原图像的标记质量矩阵;步骤3、利用相同的标记方法标记尺度空间的其他层图像,更新图像标记质量矩阵,标记过程的参数依据原图像的标记结果产生;步骤4、将其余层得到的标记结果进行尺度还原,并根据每层中所得到的标记质量来更新原图像的标记结果;步骤5、重复步骤3和步骤4,直到原图像的质量矩阵发生更新后没有质量变化结束。利用了不同语义范畴的事物在同一张图片中不同尺度的表现力不同,能有效地提高标记准确率。

    基于流式注意力的轻量级人体姿态估计方法及系统

    公开(公告)号:CN114529982B

    公开(公告)日:2024-07-12

    申请号:CN202210043030.5

    申请日:2022-01-14

    Applicant: 湖南大学

    Inventor: 肖德贵 刘家辉

    Abstract: 本发明公开了一种基于流式注意力的轻量级人体姿态估计方法及系统,该方法包括:获取需要姿态估计的目标图像;对目标图像进行标准化剪裁以及归一化处理;将所述目标图像输入训练好的基于流式注意力的轻量级人体姿态估计网络中,输出姿态估计热图结果;模型训练步骤:训练数据集中的训练图像经过不同尺度的卷积进行下采样,再经过多组带有流式注意力的ghost轻量级模块,得到四个不同尺度的第一特征图作为上采样模块的输入,分别进行卷积得到相同通道数的四个第二特征图;进行双线性上采样操作,得到二倍的特征图,进行特征融合,输出第三特征图,转化后得到人体姿态估计所需要的热图。本发明识别精度较高、复杂度低。

    一种基于深度学习的车牌矫正与识别方法

    公开(公告)号:CN111598089B

    公开(公告)日:2023-04-14

    申请号:CN202010415678.1

    申请日:2020-05-16

    Applicant: 湖南大学

    Inventor: 肖德贵 张璐

    Abstract: 本发明公开了一种基于深度学习的车牌矫正与识别方法,包括以下步骤:S1:利用基于深度学习的车牌检测方法定位车牌的大致区域;S2:构建车牌矫正网络ICSTN(Inverse Compositional Spatial Transformer Network,反向合成空间变换网络);S3:构建不定长的车牌序列识别深度网络CRNN;S4:对S1中每个获取到的车牌序列图片标注一个车牌序列标签。本发明既结合了基于深度学习的车牌矫正网络,能够实时地对车牌实现矫正,又借助了无分割的深度车牌序列识别网络,避免了图像噪声对分割所造成的误差,对于车牌识别的应用有着极大的价值。

    基于深度神经网络的道路车道线检测方法及系统

    公开(公告)号:CN113392812A

    公开(公告)日:2021-09-14

    申请号:CN202110773241.X

    申请日:2021-07-08

    Applicant: 湖南大学

    Inventor: 肖德贵 卓林

    Abstract: 本发明提供了一种基于深度神经网络的车道线检测方法及系统,所述方法通过编码网络模块对连续图像进行特征提取得到包含车道线语义特征的特征图序列,然后将特征图序列输入到对应的循环卷积网络模块中,通过循环卷积网络模块对特征图序列进行多层循环卷积和时序特征融合,输出特征融合后的语义特征图,最后通过所述解码网络模块对所述语义特征图进行解码,输出车道线位置的预测图。本发明充分地考虑了驾驶场景的连续性,即时间序列上的关联,可以学习到时间先验的关联信息,从而提高网络的稳定性和预测的准确性,还可以将连续图像中前级图像的特征信息用于后级图像,可以减少网络模型的参数和计算复杂度,节约计算资源。

    一种基于图卷积网络的三维人体姿态估计方法

    公开(公告)号:CN112712019A

    公开(公告)日:2021-04-27

    申请号:CN202011597190.1

    申请日:2020-12-28

    Applicant: 湖南大学

    Inventor: 肖德贵 伍梦斌

    Abstract: 本发明提供一种基于图卷积网络的三维人体姿态估计方法。所述基于图卷积网络的三维人体姿态估计方法,包括以下步骤:S1:获取Human3.6M数据集的原始视频数据,将原始视频数据拆分为图片帧,提取每帧图片中的人体姿态数据,形成人体骨骼点二维和三维姿态数据;S2:将二维姿态定义为图其中v是K个节点的集合,ε是边;S3:基于图卷积网络,构建全局上下文‑语义图卷积网络模型,作为三维人体姿态估计模型f*。本发明提供的基于图卷积网络的三维人体姿态估计方法具有能实现二维人体姿态到三维人体姿态的映射,且能提高三维人体姿态回归的性能、减少网络参数使用的优点。

    一种基于深度学习的夜间车辆检测方法

    公开(公告)号:CN111008608B

    公开(公告)日:2023-08-01

    申请号:CN201911266435.X

    申请日:2019-12-11

    Applicant: 湖南大学

    Inventor: 肖德贵 胡忆平

    Abstract: 本发明公开了一种基于深度学习的夜间车辆检测方法,包括以下步骤:(1)在训练阶段,对训练数据集进行增广,然后将增广后的数据集输入到两种神经网络中,分别得到模型M1和M3,同时将未增强的原始数据集继续用来训练两种神经网络中的一种得到模型M2,本发明提供了一种基于深度学习的夜间车辆检测方法,为避免低光照场景下车辆检测的局限,解决了部分特征不易提取;其他光源的干扰导致目标与背景区分不明显;拍摄设备曝光不均匀导致一些细节信息丢失的问题。

    基于流式注意力的轻量级人体姿态估计方法及系统

    公开(公告)号:CN114529982A

    公开(公告)日:2022-05-24

    申请号:CN202210043030.5

    申请日:2022-01-14

    Applicant: 湖南大学

    Inventor: 肖德贵 刘家辉

    Abstract: 本发明公开了一种基于流式注意力的轻量级人体姿态估计方法及系统,该方法包括:获取需要姿态估计的目标图像;对目标图像进行标准化剪裁以及归一化处理;将所述目标图像输入训练好的基于流式注意力的轻量级人体姿态估计网络中,输出姿态估计热图结果;模型训练步骤:训练数据集中的训练图像经过不同尺度的卷积进行下采样,再经过多组带有流式注意力的ghost轻量级模块,得到四个不同尺度的第一特征图作为上采样模块的输入,分别进行卷积得到相同通道数的四个第二特征图;进行双线性上采样操作,得到二倍的特征图,进行特征融合,输出第三特征图,转化后得到人体姿态估计所需要的热图。本发明识别精度较高、复杂度低。

    一种基于Multi-Agent强化学习的移动边缘计算卸载算法

    公开(公告)号:CN112015481A

    公开(公告)日:2020-12-01

    申请号:CN202010497995.2

    申请日:2020-06-04

    Applicant: 湖南大学

    Inventor: 肖德贵 郭涛

    Abstract: 本发明公开了一种基于Multi-Agent强化学习的移动边缘计算卸载算法,包括以下步骤:步骤1:确定环境输入数据并初始化算法参数,初始化参数包括每个Agent神经网络参数的设置,在算法中,每个移动设备都部署了Agent能够单独训练和推断的神经网络,对每个移动设备上的Agent网络设置了相同的参数。本发明解决现有算法迭代次数多、计算时间长以及无法适应高动态移动环境的问题,该算法具有一定灵活性,可以在有限时间内得到次优解,满足现代移动边缘计算中任务实时卸载的需求。

Patent Agency Ranking