联合多模态循环互补注意力方面级情感分析方法及装置

    公开(公告)号:CN118013423A

    公开(公告)日:2024-05-10

    申请号:CN202410189701.8

    申请日:2024-02-20

    Abstract: 本发明联合多模态循环互补注意力方面级情感分析方法及装置,该方法包括:对于输入文本进行令牌化,进行文本表征抽取,得到文本表征;提取输入图像特征,将图像特征投影到匹配文本表征维度,得到视觉表征;进行高亮化处理,得到文本高亮的视觉表征;进行多模态方面词抽取任务MATE,预测得到方面位置,从而抽取出方面词;根据方面位置,截断文本表征,得到方面文本表征,随后通过多模态方面情感分类任务MASC,得到各个方面词的情感分类结果。该装置包括文本表征抽取、视觉表征抽取、视觉表征高亮、方面词抽取和方面词情感分类五个模块。本发明能够减少视觉噪声并进行模态信息互补,同时关注方面词提取和相关方面极性分类的多模态方面级情感分析。

    一种基于时序引导空间注意力的暴力行为识别方法

    公开(公告)号:CN111414876B

    公开(公告)日:2022-04-22

    申请号:CN202010224816.8

    申请日:2020-03-26

    Abstract: 本发明公开了一种基于时序引导空间注意力的暴力行为识别方法,该方法采用双流参数共享的深度卷积网络提取RGB图像和帧差图像特征,分别作为空间域和时间域信息的表征,并对双流特征进行融合,提高了特征对于暴力行为的表征能力;在时序引导空间注意力模块,采用ConvLSTM的隐含时序状态引导空间注意力权值的策略,相较于传统的自注意力,时序引导的空间注意力根据全局运动信息赋予空间权值,引导网络关注运动区域,忽略背景信息的干扰,同时增大运动区域特征的比例可以减少目标较小时的漏检。在公开数据集上的测试结果验证了本发明对于暴力行为识别性能提升的有效性。

    一种基于监控视频的车辆偷盗行为识别方法

    公开(公告)号:CN111444861A

    公开(公告)日:2020-07-24

    申请号:CN202010238317.4

    申请日:2020-03-30

    Inventor: 李凡 文帅 贺丽君

    Abstract: 本发明公开了一种基于监控视频的车辆偷盗行为识别方法,包括步骤:首先使用3维卷积预训练模型提取特征,在分类之前加入时空联合注意力机制,用来聚焦车辆偷盗行为发生的时空位置,最后通过分类实现对偷盗行为的识别。针对监控视频中犯罪目标犯罪行为隐蔽,动作幅度小导致难以检测的问题,在网络中加入时间注意力机制来捕捉时间上的运动信息的变化;针对监控视频中犯罪目标较小,在空间上所占的位置较小的问题,在网络中加入空间注意力机制;然后使用先时间后空间级联的时空联合机制来建模车辆偷盗行为的时空间信息,得到具有较好区分度的3维时空特征,从而提高识别准确率,在车辆偷盗行为数据集上的识别准确率达到了97.8%。

    一种基于时序引导空间注意力的暴力行为识别方法

    公开(公告)号:CN111414876A

    公开(公告)日:2020-07-14

    申请号:CN202010224816.8

    申请日:2020-03-26

    Abstract: 本发明公开了一种基于时序引导空间注意力的暴力行为识别方法,该方法采用双流参数共享的深度卷积网络提取RGB图像和帧差图像特征,分别作为空间域和时间域信息的表征,并对双流特征进行融合,提高了特征对于暴力行为的表征能力;在时序引导空间注意力模块,采用ConvLSTM的隐含时序状态引导空间注意力权值的策略,相较于传统的自注意力,时序引导的空间注意力根据全局运动信息赋予空间权值,引导网络关注运动区域,忽略背景信息的干扰,同时增大运动区域特征的比例可以减少目标较小时的漏检。在公开数据集上的测试结果验证了本发明对于暴力行为识别性能提升的有效性。

    一种雾天环境下的烟检测方法

    公开(公告)号:CN111414969B

    公开(公告)日:2022-08-16

    申请号:CN202010225765.0

    申请日:2020-03-26

    Abstract: 本发明公开了一种雾天环境下的烟检测方法,该方法基于雾天烟的特点,针对视频图像中雾对烟的模糊遮挡引起的小目标检测问题,在VGG16_BN网络的第二层卷积层后加入基于空间注意力和通道注意力结合的注意力机制,对目标烟区域赋予更高的权值,从而对烟给予更多关注,减少背景干扰,提升了烟检测的准确率;针对雾与烟之间的相似干扰问题,在注意力机制模块后采用特征融合的方式,获得同时具有烟细节信息和语义信息的特征输出,提高目标烟特征的判别力;而决策层融合模块,不仅对输出特征进行有效分类,还通过改变分类层结构,减少网络参数,提高检测效率。在雾天烟数据集上的测试结果验证了本发明对于雾天烟检测性能提升的有效性。

    一种雾天环境下的烟检测方法

    公开(公告)号:CN111414969A

    公开(公告)日:2020-07-14

    申请号:CN202010225765.0

    申请日:2020-03-26

    Abstract: 本发明公开了一种雾天环境下的烟检测方法,该方法基于雾天烟的特点,针对视频图像中雾对烟的模糊遮挡引起的小目标检测问题,在VGG16_BN网络的第二层卷积层后加入基于空间注意力和通道注意力结合的注意力机制,对目标烟区域赋予更高的权值,从而对烟给予更多关注,减少背景干扰,提升了烟检测的准确率;针对雾与烟之间的相似干扰问题,在注意力机制模块后采用特征融合的方式,获得同时具有烟细节信息和语义信息的特征输出,提高目标烟特征的判别力;而决策层融合模块,不仅对输出特征进行有效分类,还通过改变分类层结构,减少网络参数,提高检测效率。在雾天烟数据集上的测试结果验证了本发明对于雾天烟检测性能提升的有效性。

Patent Agency Ranking