-
公开(公告)号：CN111680541A
公开(公告)日：2020-09-18
申请号：CN202010292014.0
申请日：2020-04-14
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于多维度注意力融合网络的多模态情绪分析方法，包括：针对包含语音、视频、文本等多个模态的样本数据提取语音预处理特征、视频预处理特征、文本预处理特征；然后对每个模态构建所述的多维度注意力融合网络，利用网络内部的自相关特征提取模块提取一级自相关特征和二级自相关特征，然后将三种模态的自相关信息进行组合，利用网络内部的跨模态融合模块得到三种模态的跨模态融合特征；再利用所述的二级自相关特征和跨模态融合特征合并得到模态多维度特征；最后将所述的模态多维度特征进行拼接，确定情绪分数，进行情绪分析；该方法能够有效的在非对齐多模态数据场景下进行特征融合，充分利用多模态的关联信息，进行情绪分析。
-
公开(公告)号：CN110826609A
公开(公告)日：2020-02-21
申请号：CN201911038698.5
申请日：2019-10-29
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于强化学习的双流特征融合图像识别方法，对待检测输入图像，使用两个不同的模型分别得到特征矩阵，然后将两个特征矩阵输入到强化学习模型和融合模型后得到最终的分类分数。两个模型分别是纹理模型和形状模型：纹理模型是根据图像中对象的纹理信息来进行分类，而形状模型根据对象的形状信息来进行分类。两个模型都通过强化学习的方式，让网络在整张图像中寻找最有区分力的区域，然后根据这个区域来进行分类。本方法简单易行，推广能力强，找到易于区分图像的区域，区分性区域合适并有效，充分用图像中的纹理和形状信息，能有效克服图像信息利用不充分和图像之间差异小的影响。
-
公开(公告)号：CN104636725A
公开(公告)日：2015-05-20
申请号：CN201510058032.1
申请日：2015-02-04
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于深度图像的手势识别方法，训练数据集和测试数据集中的深度图像通过深度传感器采集得到，首先计算图像中人体区域的最小深度值，再利用深度阈值，结合人手是离传感器最近物体的预设条件，分割出深度图像中的手势；然后获取手势在三个正交平面上的投影图，分别称为正视投影图、侧视投影图和顶视投影图；接着提取三个投影图的轮廓片段包特征，并级联成原始深度手势的特征向量；最后训练分类器，对从待识别深度图像中获取的手势特征向量进行分类，得到待识别手势的识别结果。本发明还提供了相应的手势识别系统。本发明方法手势识别简单易行，推广能力强，识别准确率高，能有效克服杂乱背景、光照、噪声及自遮挡等不利因素的影响。
-
公开(公告)号：CN112927245B
公开(公告)日：2022-06-21
申请号：CN202110388605.2
申请日：2021-04-12
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于实例查询的端到端实例分割方法：(1)训练基于实例查询和多层级并行掩码监督的端到端实例分割算法模型，包括以下子步骤：(1.1)对原始数据集中所有图片的感兴趣类别的物体进行实例级别的标注，标签为实例级别的包围框的左上及右下顶点和实例对应的前景掩码，得到带标注的标准训练数据集；(1.2)定义基于实例查询向量以及多层级并行掩码监督的端到端实例分割算法模型，利用反向传播和梯度下降算法训练该基于实例查询向量以及多层级并行掩码监督的端到端实例分割算法模型；(2)利用上述训练好的模型对待识别图片进行实例分割。
-
公开(公告)号：CN111680541B
公开(公告)日：2022-06-21
申请号：CN202010292014.0
申请日：2020-04-14
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于多维度注意力融合网络的多模态情绪分析方法，包括：针对包含语音、视频、文本等多个模态的样本数据提取语音预处理特征、视频预处理特征、文本预处理特征；然后对每个模态构建所述的多维度注意力融合网络，利用网络内部的自相关特征提取模块提取一级自相关特征和二级自相关特征，然后将三种模态的自相关信息进行组合，利用网络内部的跨模态融合模块得到三种模态的跨模态融合特征；再利用所述的二级自相关特征和跨模态融合特征合并得到模态多维度特征；最后将所述的模态多维度特征进行拼接，确定情绪分数，进行情绪分析；该方法能够有效的在非对齐多模态数据场景下进行特征融合，充分利用多模态的关联信息，进行情绪分析。
-
Patent Agency Ranking
公开(公告)号：CN110197136A
公开(公告)日：2019-09-03
申请号：CN201910394488.3
申请日：2019-05-13
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于动作边界概率的级联动作候选框生成方法，对待检测输入视频，使用特征提取网络得到特征，通过级联模型预测每个位置上属于动作边界点的概率。级联模型分为两级：第一级模型对输入特征进行粗糙的边界预测，分别预测每一个位置属于动作起点、终点和动作内部的概率；再将第一级模型的输出和原始特征串联起来当作新特征输入到第二级模型，让第二级模型再次预测每个位置上属于动作起点、终点和动作内部的概率；得到级联模型预测的概率后，将起点或终点概率大于设定的阈值的位置组合进而得到动作候选框。本方法简单易行，推广能力强，产生的候选框质量高，能有效克服视频背景杂乱和目标运动快慢变化范围大的不利因素的影响。
-
公开(公告)号：CN117173790A
公开(公告)日：2023-12-05
申请号：CN202311190366.5
申请日：2023-09-14
Applicant: 华中科技大学
IPC: G06V40/20 , G06V10/774 , G06V10/82 , G06N3/0464
Abstract: 本发明公开了一种基于因果干预机制的步态识别方法：对于待检测的步态序列，首先经过特征提取以及时域下采样获取低级步态特征；然后经过由多个事实与反事实模块构成的因果干预学习器，最后用于特征映射生成步态特征。事实与反事实模块可以通过最大化事实与反事实特征表达之间的分布差异，使得步态模型更加关注于反映步态特征的区域，从而减少混杂因素对步态识别的干扰，并且该模块可移植性强，适用于多种主流步态识别网络。本发明还提供了相应的基于因果干预机制的步态识别装置。
-
公开(公告)号：CN116912664A
公开(公告)日：2023-10-20
申请号：CN202310967164.0
申请日：2023-08-02
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于预训练大模型的步态识别方法：输入视频序列至预训练的步态识别模型提取步态特征；根据步态特征对每个样本选取相同数量的正样本和负样本构造正样本对和负样本对；为每个构造的样本对根据提示生成文本描述；文本描述令牌化后嵌入可学习的提示令牌，经过预训练大模型文本编码器的Transformer生成文本特征；对构造的样本对进行特征拼接生成视觉特征；计算文本特征与视觉特征的相似度；通过对步态特征和相似度进行监督微调网络训练。该发明的目的是通过预训练大模型中蕴含的丰富语义关系来学习序列间的相似性，使步态识别模型学习更丰富的高级语义特征，以此提高识别性能。本发明还提供了相应的基于预训练大模型的步态识别装置。
-
公开(公告)号：CN112926549B
公开(公告)日：2022-06-24
申请号：CN202110404465.3
申请日：2021-04-15
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于时间域‑空间域特征联合增强的步态识别方法，对待检测步态序列，先使用卷积神经网络提取序列特征表达，再自适应地捕捉显著的空域特征，最后分别进行空间域与时间域的建模。自适应显著性特征生成模块可灵活地提取来自不同身体区域的突出特征，有效地丰富特征的多样性与显著性。基于这样的多区域显著性特征，本发明，分别对输入步态序列进行空间域与时间域的建模，通过联合优化，输出空间域‑时间域联合增强的步态特征。本方法在不同场景下的精度高、鲁棒性强，能有效克服由于行人携带不同物品或穿着不同衣物产生的外观变化所导致的不利因素。本发明还提供了相应的基于时间域‑空间域特征联合增强的步态识别系统。
-
公开(公告)号：CN110197136B
公开(公告)日：2021-01-12
申请号：CN201910394488.3
申请日：2019-05-13
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于动作边界概率的级联动作候选框生成方法，对待检测输入视频，使用特征提取网络得到特征，通过级联模型预测每个位置上属于动作边界点的概率。级联模型分为两级：第一级模型对输入特征进行粗糙的边界预测，分别预测每一个位置属于动作起点、终点和动作内部的概率；再将第一级模型的输出和原始特征串联起来当作新特征输入到第二级模型，让第二级模型再次预测每个位置上属于动作起点、终点和动作内部的概率；得到级联模型预测的概率后，将起点或终点概率大于设定的阈值的位置组合进而得到动作候选框。本方法简单易行，推广能力强，产生的候选框质量高，能有效克服视频背景杂乱和目标运动快慢变化范围大的不利因素的影响。
-
-
-
-
-
-
-
-
-
Search Results
17
records
(took 0.018 seconds)
