一种基于正则化融合的多模态情绪识别方法及系统

    公开(公告)号:CN118656745A

    公开(公告)日:2024-09-17

    申请号:CN202410811976.0

    申请日:2024-06-21

    Applicant: 河南大学

    Abstract: 本发明涉及情绪识别技术领域,具体涉及一种基于正则化融合的多模态情绪识别方法及系统,包括:获取待预测对象在预设时段内的多模态特征向量,将多模态特征向量输入到对应的情绪预测模型中,得到待预测对象对应的脑电预测结果、肌电预测结果以及面部预测结果;结合待预测对象的脑电特征向量和肌电特征向量,得到预测情绪的效价唤醒对;利用效价唤醒对,融合脑电预测结果和肌电预测结果,得到待预测对象的生理情绪预测结果,将面部预测结果与生理情绪预测结果进行后期融合,得到待预测对象的最终情绪预测结果。本发明通过充分考虑各模态之间的相关性,提高了多模态情绪识别结果的准确性。

    基于深度学习的遥感图像飞机检测模型及方法

    公开(公告)号:CN113065511B

    公开(公告)日:2024-02-02

    申请号:CN202110430858.1

    申请日:2021-04-21

    Applicant: 河南大学

    Abstract: 本发明提供一种基于深度学习的遥感图像飞机检测模型及方法。该模型包括:下采样单元、上采样单元、特征融合单元和检测单元;所述下采样单元的输出和所述上采样单元的输出作为所述特征融合单元的输入,所述特征融合单元的输出作为检测单元的输入;所述下采样单元包括依次相连接的CBL模块、ResUnit*1卷积块、ResUnit*2卷积块、第一ResUnit*8卷积块、第二ResUnit*8卷积块、ResUnit*4卷积块和CBL*5模块;其中,ResUnit*1卷积块、ResUnit*2卷积块、第一ResUnit*8卷积块、第二ResUnit*8卷积块、ResUnit*4卷积块分别对应5次下采样操作,每次(56)对比文件Shaorong Xie 等,.Diverse receptivefield network with context aggregationfor fast object detection《.Journal ofVisual Communication and ImageRepresentation》.2020,第70卷管军霖 等,.基于YOLOv4卷积神经网络的口罩佩戴检测方法《.现代信息科技》.2020,第4卷(第11期),

    一种基于Transformer的可解释性视频异常事件检测方法及装置

    公开(公告)号:CN117935120A

    公开(公告)日:2024-04-26

    申请号:CN202410140380.2

    申请日:2024-01-31

    Applicant: 河南大学

    Abstract: 本说明公开一种基于Transformer的可解释性视频异常事件检测方法及装置,该方法包括:对原始视频数据进行预处理;将所有预处理后的视频帧输入深度网络,生成特征图并分割展开,构造时空张量表示;构造可解释时空Transformer模型,包括空间自注意力模块和时间自注意力模块;利用自减去机制作用于时间自注意力模块的查询和键投影之前的输入Token;利用二元交叉熵分类训练损失进行训练,构建正常数据和异常数据的分类损失函数;利用时间自注意力模块和空间自注意力模块分别提取矩阵序列每一行上的Token关联信息,并通过双线性插值将其放大至原始尺寸,最终实现可视化热图。本发明实现了视频异常事件检测的可解释性。

    基于融合金字塔注意力的遥感图像语义分割方法

    公开(公告)号:CN115830596A

    公开(公告)日:2023-03-21

    申请号:CN202211687638.8

    申请日:2022-12-27

    Applicant: 河南大学

    Abstract: 本发明涉及遥感图像处理技术领域,具体涉及基于融合金字塔注意力的遥感图像语义分割方法,包括:获取遥感图像输入语义分割网络的主干网得到浅层特征图和深层特征图;将浅层特征图输入空间注意力模块的卷积神经网络中得到第一、第二和第三特征图,根据第一和第二特征图得到特征矩阵;根据特征矩阵和第三特征图得到空间注意力特征图;将空间注意力特征图输入金字塔注意力模块中得到全局特征图;将深层特征图利用通道注意力模块进行重塑得到第一、第二和第三通道特征图,根据第一和第二通道特征图得到通道注意力矩阵;根据通道注意力矩阵得到增强特征图;对全局特征图和增强特征图进行融合得到语义分割图像。本发明能更好的区分细小边界。

    一种异构环境下的批处理独立任务调度方法

    公开(公告)号:CN114518944A

    公开(公告)日:2022-05-20

    申请号:CN202111657702.3

    申请日:2021-12-30

    Applicant: 河南大学

    Abstract: 本发明提供一种异构环境下的批处理独立任务调度方法。该方法包括:步骤1:调整任务执行时间矩阵ETC,所述ETC矩阵中的每一行表示单个任务在所有资源上的执行时间;所述ETC矩阵中的每一列表示在单个资源上所有任务的执行时间;步骤2:对调整后的ETC矩阵进行分解,得到两个新的矩阵,记作ETC1矩阵与ETC2矩阵;所述ETC1矩阵中的元素是行列有序的,所述ETC2矩阵中的元素不限制行列顺序;步骤3:针对所述ETC1矩阵与所述ETC2矩阵,分别采用不同的任务分配方式进行任务预调度;步骤4:对步骤3的任务预调度结果进行迭代调整,直至达到设定迭代次数。

    基于最大化互信息和对比学习的多模态情绪识别方法及系统

    公开(公告)号:CN117932543A

    公开(公告)日:2024-04-26

    申请号:CN202410117167.X

    申请日:2024-01-26

    Applicant: 河南大学

    Abstract: 本发明提供一种基于最大化互信息和对比学习的多模态情绪识别方法及系统。该方法包括:构建多模态情绪识别模型和训练集;采用预设的特征提取网络根据每个对象的所述多模态数据提取对应的多模态特征,并输入至多模态情绪识别模型,采用最大化互信息模块最大化同一个对象的任意两个模态特征之间的互信息,采用保留模态特定信息模块保留每个模态特征自身的特定信息,采用融合网络将同一个对象的三个模态特征进行融合和预测,采用对比学习模块根据不同对象的融合特征学习模态特征表示;设计多模态情绪识别模型的总损失函数;采用训练集对多模态情绪识别模型进行训练;根据待识别对象的多模态数据,采用训练好的情绪识别模型得到情绪识别预测结果。

    基于自适应基因交互正则化弹性网络模型的基因选择方法及系统

    公开(公告)号:CN113838519B

    公开(公告)日:2022-07-05

    申请号:CN202110959928.2

    申请日:2021-08-20

    Applicant: 河南大学

    Abstract: 本发明公开一种基于自适应基因交互正则化弹性网络模型的基因选择方法及系统,该方法包括:基于Wilcoxon秩和检验评估每个测量的基因的重要程度;对每个测量的基因的重要程度进行量化,并添加自适应惩罚权重,进而删除噪声基因,得到特征基因;将惩罚权重引入最小二乘损失函数中,构建自适应弹性网络模型;构建基因交互网络的邻接矩阵;基于邻接矩阵构建基因交互网络惩罚;将自适应弹性网络模型和基因交互网络惩罚相结合,构建自适应基因交互正则化弹性网络模型;基于梯度下降算法求解出该正则化弹性网络模型的最优解,基于最优解选择基因。本发明可以自适应地选择与肿瘤的产生高度相关的重要基因,并去除冗余、不相关的基因和噪声基因。

Patent Agency Ranking