基于多模态大模型微调的视频行为识别方法、装置和设备

    公开(公告)号:CN119495127A

    公开(公告)日:2025-02-21

    申请号:CN202510075914.2

    申请日:2025-01-17

    Abstract: 本公开的实施例涉及视频检测技术领域,具体涉及基于多模态大模型微调的视频行为识别方法、装置和设备。本公开方法的一具体实施方式包括:获取视频行为识别数据集和初始视频行为识别模型;对于每个视频行为识别数据,执行以下步骤:确定视频行为识别数据包括的视频帧序列对应的关键帧图像;将关键帧图像存储至预设图像存储位置;基于标签文本模板、关键帧图像、图像存储路径和视频行为识别数据包括的行为标签,生成训练样本,其中,训练样本包括样本图像和样本标签数据;对初始视频行为识别模型进行训练,以及确定为视频行为识别模型;将目标视频数据输入视频行为识别模型,得到视频行为文本信息。该实施方式可以提高视频行为识别模型的训练时长。

    基于多模态大模型微调的视频行为识别方法、装置和设备

    公开(公告)号:CN119495127B

    公开(公告)日:2025-04-22

    申请号:CN202510075914.2

    申请日:2025-01-17

    Abstract: 本公开的实施例涉及视频检测技术领域,具体涉及基于多模态大模型微调的视频行为识别方法、装置和设备。本公开方法的一具体实施方式包括:获取视频行为识别数据集和初始视频行为识别模型;对于每个视频行为识别数据,执行以下步骤:确定视频行为识别数据包括的视频帧序列对应的关键帧图像;将关键帧图像存储至预设图像存储位置;基于标签文本模板、关键帧图像、图像存储路径和视频行为识别数据包括的行为标签,生成训练样本,其中,训练样本包括样本图像和样本标签数据;对初始视频行为识别模型进行训练,以及确定为视频行为识别模型;将目标视频数据输入视频行为识别模型,得到视频行为文本信息。该实施方式可以提高视频行为识别模型的训练时长。

    一种基于重复检测优化的体育视频中多目标跟踪方法

    公开(公告)号:CN115439786A

    公开(公告)日:2022-12-06

    申请号:CN202211085097.1

    申请日:2022-09-06

    Abstract: 本发明公开了一种基于重复检测优化的体育视频中多目标跟踪方法,包括如下步骤:S1,将某训练轮次的某帧图像输入到网络模型中,以获得初步的检测结果;S2,对检测结果的包围盒信息采用所述网络模型的自检测,以得到原检测损失;S3,再对检测结果的包围盒信息采用预设方法检测,以得到复检损失;S4,将复检损失和原检测损失合并为总检测损失,反向传播给所述网络模型进行权重优化,以获得新网络模型;S5,将所述图像再次输入到所述新网络模型中,得到无重复检测的检测结果,解决了现有多目标跟踪方法在体育视频中重复检测的问题,同时能够大幅减少现有多目标跟踪方法的模型在行人视频中的训练时长并保持跟踪质量,提升训练效率。

    一种基于层级图卷积网络的群体场景图生成方法

    公开(公告)号:CN113901902A

    公开(公告)日:2022-01-07

    申请号:CN202111155721.6

    申请日:2021-09-30

    Abstract: 本发明公开了一种基于层级图卷积网络的群体场景图生成方法,利用预训练卷积神经网络提取体育视频中所有个体的视觉特征和包围盒,聚类为两个队伍,根据视觉特征构造队伍关系图和群体关系图,将队伍关系图输入队伍图卷积网络提取队伍关系特征,将群体关系图输入群体图卷积网络提取群体关系特征,根据队伍关系特征和群体关系特征生成群体场景图,上述方法能有效捕捉体育视频中群体间关系,生成群体场景图进行体育视频理解。在团体对抗型体育项目中,运动员个体间关系被弱化,队伍间关系得到凸显,因此能简化场景图生成方法的应用场景,将场景图生成方法应用于体育视频捕捉群体间关系,生成群体场景图进行体育视频的理解。

    一种基于层级图卷积网络的群体场景图生成方法

    公开(公告)号:CN113901902B

    公开(公告)日:2024-08-20

    申请号:CN202111155721.6

    申请日:2021-09-30

    Abstract: 本发明公开了一种基于层级图卷积网络的群体场景图生成方法,利用预训练卷积神经网络提取体育视频中所有个体的视觉特征和包围盒,聚类为两个队伍,根据视觉特征构造队伍关系图和群体关系图,将队伍关系图输入队伍图卷积网络提取队伍关系特征,将群体关系图输入群体图卷积网络提取群体关系特征,根据队伍关系特征和群体关系特征生成群体场景图,上述方法能有效捕捉体育视频中群体间关系,生成群体场景图进行体育视频理解。在团体对抗型体育项目中,运动员个体间关系被弱化,队伍间关系得到凸显,因此能简化场景图生成方法的应用场景,将场景图生成方法应用于体育视频捕捉群体间关系,生成群体场景图进行体育视频的理解。

    车辆电子机械式制动执行器

    公开(公告)号:CN203335689U

    公开(公告)日:2013-12-11

    申请号:CN201320145389.X

    申请日:2013-03-28

    Abstract: 本实用新型属于汽车制动系统技术领域,具体涉及一种车辆电子机械式制动执行器,目的是解决现有技术中结构不紧凑、因安装空间有限不便装车使用的问题。其特征在于:所述的电机定子(1)固定在制动钳壳体(17)上,电机转子(2)为空心,支架(9)筒径小的一段伸入电机转子(2)内部,两个滚珠轴承12安装在电机转子(2)与支架(9)筒径小的一段之间;行星齿轮减速机构(4)安装在支架(9)筒径小的一段内部,其输出端穿过支架(9)两段连接处的通孔。本实用新型采用转子为空心结构的电机、将行星齿轮减速机构4内置,减小了EMB执行器的轴向尺寸,使EMB执行器方便装车使用。

Patent Agency Ranking