-
公开(公告)号:CN115830711A
公开(公告)日:2023-03-21
申请号:CN202211500177.9
申请日:2022-11-28
Applicant: 中南大学
IPC: G06V40/20 , G06V20/40 , G06V10/46 , G06V10/764 , G06V10/771 , G06V10/77 , G06V10/82 , G06N3/0442 , G06N3/045
Abstract: 本发明公开了基于深度学习的手语词汇识别方法、系统、设备及介质,本方法通过获取手语视频;将手语视频输入至训练好的人体姿态估计网络模型中进行第一特征提取,获得手语视频中的heatmap图;通过基于时序轻量的特征快速筛选模型进行第二特征提取,获得heatmap空间特征;将heatmap空间特征进行人体关键点信息的空间特征筛选,获得人体关键点空间特征;通过带有attention机制的双向LSTM时间序列模型进行特征学习,获得手语视频学习结果;通过全连接层和softmax层进行分类和编码,获得手语视频分类编码结果;根据手语视频分类编码结果,查询得到手语词汇识别结果。本发明能够提高手语识别的准确度。
-
公开(公告)号:CN115866247A
公开(公告)日:2023-03-28
申请号:CN202310189730.X
申请日:2023-03-02
Applicant: 中南大学
IPC: H04N19/11 , H04N19/593
Abstract: 本发明公开了一种基于MAE预训练模型的视频编码帧内预测方法和系统,本方法通过根据获得的所有预测单元的最优预测模式完成每个编码单元的帧内预测;获取每个预测单元的最优预测模式包括步骤:根据预测单元相邻的已预测单元获得初始化候选列表,并获取已预测单元的重建信息;计算每种预测模式的第一率失真损失;通过训练好的MAE预测模型,获得预测图像,并根据预测图像计算获得第二率失真损失;根据第一率失真损失和第二率失真损失,更新加入训练好的MAE预测模型后的初始化候选列表;计算更新后的候选列表中每种预测模式的实际损失,并根据实际损失获得预测单元的最优预测模式。本发明能够提高视频编码帧内预测的准确度。
-
公开(公告)号:CN116405690B
公开(公告)日:2023-09-01
申请号:CN202310643124.0
申请日:2023-06-01
Applicant: 中南大学
IPC: H04N19/19 , H04N19/172 , H04N19/31
Abstract: 本发明公开了一种快速帧级自适应拉格朗日乘子优化方法、系统及设备,本方法通过计算目标编码视频序列的序列内容因子;计算每个P帧的传播权重,并根据每个P帧的传播权重和序列内容因子计算得到每个P帧的第一最优放缩系数;传播权重用于表征每个P帧被参考的程度;根据序列内容因子,计算每个I帧的第二最优放缩系数、每个B帧的第三最优放缩系数和每个b帧的第四最优放缩系数;根据第一最优放缩系数、第二最优放缩系数、第三最优放缩系数和第四最优放缩系数,计算目标编码视频序列中每一帧的最优拉格朗日乘子;最优拉格朗日乘子用于对目标编码视频序列中每一帧进行编码。本发明通过有效计算出最优拉格朗日乘子,能够提高编码质量和效率。
-
公开(公告)号:CN115100080B
公开(公告)日:2022-12-30
申请号:CN202211016081.5
申请日:2022-08-24
Applicant: 中南大学
IPC: G06T5/00 , G06T7/90 , H04N19/176 , H04N19/166
Abstract: 本发明公开了一种视频图像的FMO错误隐藏方法、系统、设备及介质,该方法将第一原始视频图像划分为多个宏块;计算每个宏块内部的像素复杂程度,并且计算每个宏块与周围宏块之间的像素相关性;根据每个宏块的像素复杂程度和像素相关性,计算获得目标矩阵;根据目标矩阵移动宏块,其中,每移动一次宏块,获得移动一次宏块对应的Mask矩阵;计算恢复图像和第二原始视频图像之间的峰值信噪比;选取出最优图像恢复质量和最优图像恢复质量对应的Mask矩阵;基于最优图像恢复质量对应的Mask矩阵,采用Masked Autoencoders模型进行图像重建,获得重建图像。本发明能够提高视频图像恢复质量。
-
公开(公告)号:CN116405690A
公开(公告)日:2023-07-07
申请号:CN202310643124.0
申请日:2023-06-01
Applicant: 中南大学
IPC: H04N19/19 , H04N19/172 , H04N19/31
Abstract: 本发明公开了一种快速帧级自适应拉格朗日乘子优化方法、系统及设备,本方法通过计算目标编码视频序列的序列内容因子;计算每个P帧的传播权重,并根据每个P帧的传播权重和序列内容因子计算得到每个P帧的第一最优放缩系数;传播权重用于表征每个P帧被参考的程度;根据序列内容因子,计算每个I帧的第二最优放缩系数、每个B帧的第三最优放缩系数和每个b帧的第四最优放缩系数;根据第一最优放缩系数、第二最优放缩系数、第三最优放缩系数和第四最优放缩系数,计算目标编码视频序列中每一帧的最优拉格朗日乘子;最优拉格朗日乘子用于对目标编码视频序列中每一帧进行编码。本发明通过有效计算出最优拉格朗日乘子,能够提高编码质量和效率。
-
公开(公告)号:CN115866247B
公开(公告)日:2023-05-09
申请号:CN202310189730.X
申请日:2023-03-02
Applicant: 中南大学
IPC: H04N19/11 , H04N19/593
Abstract: 本发明公开了一种基于MAE预训练模型的视频编码帧内预测方法和系统,本方法通过根据获得的所有预测单元的最优预测模式完成每个编码单元的帧内预测;获取每个预测单元的最优预测模式包括步骤:根据预测单元相邻的已预测单元获得初始化候选列表,并获取已预测单元的重建信息;计算每种预测模式的第一率失真损失;通过训练好的MAE预测模型,获得预测图像,并根据预测图像计算获得第二率失真损失;根据第一率失真损失和第二率失真损失,更新加入训练好的MAE预测模型后的初始化候选列表;计算更新后的候选列表中每种预测模式的实际损失,并根据实际损失获得预测单元的最优预测模式。本发明能够提高视频编码帧内预测的准确度。
-
公开(公告)号:CN115100080A
公开(公告)日:2022-09-23
申请号:CN202211016081.5
申请日:2022-08-24
Applicant: 中南大学
IPC: G06T5/00 , G06T7/90 , H04N19/176 , H04N19/166
Abstract: 本发明公开了一种视频图像的FMO错误隐藏方法、系统、设备及介质,该方法将第一原始视频图像划分为多个宏块;计算每个宏块内部的像素复杂程度,并且计算每个宏块与周围宏块之间的像素相关性;根据每个宏块的像素复杂程度和像素相关性,计算获得目标矩阵;根据目标矩阵移动宏块,其中,每移动一次宏块,获得移动一次宏块对应的Mask矩阵;计算恢复图像和第二原始视频图像之间的峰值信噪比;选取出最优图像恢复质量和最优图像恢复质量对应的Mask矩阵;基于最优图像恢复质量对应的Mask矩阵,采用Masked Autoencoders模型进行图像重建,获得重建图像。本发明能够提高视频图像恢复质量。
-
-
-
-
-
-