基于多模态大模型微调的视频行为识别方法、装置和设备

    公开(公告)号:CN119495127A

    公开(公告)日:2025-02-21

    申请号:CN202510075914.2

    申请日:2025-01-17

    Abstract: 本公开的实施例涉及视频检测技术领域,具体涉及基于多模态大模型微调的视频行为识别方法、装置和设备。本公开方法的一具体实施方式包括:获取视频行为识别数据集和初始视频行为识别模型;对于每个视频行为识别数据,执行以下步骤:确定视频行为识别数据包括的视频帧序列对应的关键帧图像;将关键帧图像存储至预设图像存储位置;基于标签文本模板、关键帧图像、图像存储路径和视频行为识别数据包括的行为标签,生成训练样本,其中,训练样本包括样本图像和样本标签数据;对初始视频行为识别模型进行训练,以及确定为视频行为识别模型;将目标视频数据输入视频行为识别模型,得到视频行为文本信息。该实施方式可以提高视频行为识别模型的训练时长。

    全局特征病理图像分级方法、装置、电子设备和可读介质

    公开(公告)号:CN118762219A

    公开(公告)日:2024-10-11

    申请号:CN202410770226.3

    申请日:2024-06-14

    Abstract: 本公开的实施例公开了全局特征病理图像分级方法、装置、电子设备和可读介质。该方法的一具体实施方式包括:按照预设分辨率对获取的每个全切片图像进行图像块裁剪,以生成裁剪后图像块信息,得到裁剪后图像块信息集;将裁剪后图像块信息集中的每个裁剪后图像块信息输入至预设目标检测网络,以生成目标区域坐标位置信息和对应目标区域坐标位置的置信度信息,得到目标区域坐标位置信息集和对应目标区域坐标位置集的置信度信息集;对分类结果进行切片分级,得到分级后切片结果。该实施方式缩短了全局特征病理图像分级的周期,降低了误检率和漏检率,提高了全局特征病理图像分级的结果的全局性。

    图像目标识别方法、装置、电子设备和计算机可读介质

    公开(公告)号:CN118172547B

    公开(公告)日:2024-07-30

    申请号:CN202410605736.5

    申请日:2024-05-16

    Abstract: 本公开的实施例公开了图像目标识别方法、装置、电子设备和计算机可读介质。该方法的一具体实施方式包括:对输入图像中的各个前景目标进行标记处理;对前景目标矩形框区域进行特征提取,生成前景目标图像特征;执行以下步骤:将前景目标图像特征与待检测目标图像特征之间的相似度确定为初始特征相似度;对各个待检测目标图像特征进行排序;选择初始特征作为第一筛选特征集合;执行以下步骤:生成第二筛选特征集合;生成前景目标图像特征和初始特征的相似度;生成对应前景目标图像特征的图像目标信息。该实施方式在针对新的图像目标检测需求信息可以不需要重新采集图像数据,节约了计算资源,缩短了图像目标检测的时间。

    预训练任务模型调整处理方法、装置、电子设备和介质

    公开(公告)号:CN117636100B

    公开(公告)日:2024-04-30

    申请号:CN202410101911.7

    申请日:2024-01-25

    Abstract: 本公开的实施例公开了预训练任务模型调整处理方法、装置、电子设备和介质。该方法的一具体实施方式包括:根据未标注图像集合,生成标注图像组集合;生成标注特征向量组集合;根据标注图像组集合,确定聚类类别信息;生成未标注特征向量集合;对未标注特征向量集合进行聚类处理;生成聚类中心信息集合;生成标注图像中心信息集合;根据聚类中心信息集合和标注图像中心信息集合,确定校准中心信息集合;根据校准中心信息集合,生成特征向量组集合;确定伪标签特征向量组集合;确定扩展标签图像组集合;对预训练任务模型进行调整处理。该实施方式可以减少计算机处理器资源的浪费,缩减所选择数据的类别分布与总体样本的类别分布偏差。

    立体条形码信息生成方法、装置、电子设备和可读介质

    公开(公告)号:CN117574930B

    公开(公告)日:2024-04-12

    申请号:CN202410052300.8

    申请日:2024-01-15

    Abstract: 本公开的实施例公开了立体条形码信息生成方法、装置、电子设备和可读介质。该方法的一具体实施方式包括:将双线平行激光束投射至目标立体条形码图案上;对目标立体条形码图案进行图像采集;对立体条形码图像进行条形码图像分割处理,以生成上行条形码图像和下行条形码图像;对上行条形码图像进行激光线细化处理;对下行条形码图像进行激光线细化处理;对激光线细化上行条形码像素点进行直线拟合处理;对激光线细化下行条形码像素点进行直线拟合处理;生成上行像素距离集合;生成下行像素距离集合;将上行条形码图像对应的待解码字符串和下行条形码图像对应的待解码字符串进行组合处理;生成立体条形码信息。该实施方式提高了条形码的解码准确率。

    立体条形码信息生成方法、装置、电子设备和可读介质

    公开(公告)号:CN117574930A

    公开(公告)日:2024-02-20

    申请号:CN202410052300.8

    申请日:2024-01-15

    Abstract: 本公开的实施例公开了立体条形码信息生成方法、装置、电子设备和可读介质。该方法的一具体实施方式包括:将双线平行激光束投射至目标立体条形码图案上;对目标立体条形码图案进行图像采集;对立体条形码图像进行条形码图像分割处理,以生成上行条形码图像和下行条形码图像;对上行条形码图像进行激光线细化处理;对下行条形码图像进行激光线细化处理;对激光线细化上行条形码像素点进行直线拟合处理;对激光线细化下行条形码像素点进行直线拟合处理;生成上行像素距离集合;生成下行像素距离集合;将上行条形码图像对应的待解码字符串和下行条形码图像对应的待解码字符串进行组合处理;生成立体条形码信息。该实施方式提高了条形码的解码准确率。

    场景自适应的条纹结构光解码方法、装置、设备和介质

    公开(公告)号:CN117333560A

    公开(公告)日:2024-01-02

    申请号:CN202311631211.0

    申请日:2023-12-01

    Abstract: 本公开的实施例公开了场景自适应的条纹结构光解码方法、装置、设备和介质。该方法的一具体实施方式包括:获取对应目标物体的全局照明图像和反射图像序列;对反射图像序列进行分类,得到第一反射图像子序列、第二反射图像子序列和第三反射图像子序列;根据全局照明图像、第一反射图像子序列和第二反射图像子序列,生成各个归一化像素值组;确定各个条纹宽度信息组;对各个归一化像素值组进行亚像素定位,以确定各个亚像素位置信息;对第三反射图像子序列中的各个第三反射图像进行解码,以生成各个解码信息;生成对应目标物体的各个点云信息。该实施方式可以提高条纹亚像素定位的精度,从而可以提高所获取的点云信息准确率且减少点云信息的缺失。

    视差图修正方法、装置、设备和计算机可读介质

    公开(公告)号:CN114782290A

    公开(公告)日:2022-07-22

    申请号:CN202210715254.6

    申请日:2022-06-23

    Abstract: 本公开的实施例公开了视差图修正方法、装置、设备和计算机可读介质。该方法的一具体实施方式包括:获取双目图像中的左图像和右图像;将左图像和右图像重复输入多分支的立体匹配网络,得到各个分支对应的各个分支概率分布信息集合;根据各个分支概率分布信息集合,生成分支目标概率分布信息集合和预测分支置信度信息集合;根据分支目标概率分布信息集合和预测分支置信度信息集合,生成预测视差图的置信度信息;根据置信度信息,修正预测视差图,得到修正视差图。该实施方式可以在训练过程中无需提供置信度信息标签,即可在半监督、全监督、无监督等任务中生成视差图的置信度信息,从而可以用于修正视差图。

Patent Agency Ranking