基于类脑脉冲强化学习的避障方法及装置

    公开(公告)号:CN119376397A

    公开(公告)日:2025-01-28

    申请号:CN202411513196.4

    申请日:2024-10-28

    Abstract: 本发明提供基于类脑脉冲强化学习的避障方法及装置,涉及自动化与智能传感技术领域,所述方法包括将机器人的线速度、角速度、目标距离、方向以及雷达数据进行预处理后输入脉冲神经网络,得到机器人的动作;其中,使用强化学习DDPG对脉冲神经网络进行训练,使用评论家网络优化参数,损失值小于一定阈值则得到训练好的脉冲神经网络模型。脉冲神经网络中,目标数据、自身数据由一个全连接层处理,雷达数据由另一个全连接层处理,将两个全连接层输出的融合特征进行加权后再经过全连接层得到机器人动作。本发明实现了在静态复杂场景下的机器人无图避障导航,并提升了导航的性能。

    视觉目标跟踪模型的训练方法及装置、跟踪方法及装置

    公开(公告)号:CN119152331A

    公开(公告)日:2024-12-17

    申请号:CN202411604124.0

    申请日:2024-11-11

    Abstract: 本公开涉及视觉目标跟踪和人工智能领域,提供一种视觉目标跟踪模型的训练方法及装置、跟踪方法及装置,该训练方法包括:获取多对训练样本;将训练样本输入到特征嵌入模块,得到模板图像特征和搜索图像特征;利用特征提取模块,执行特征提取操作,得到第一提取结果和第二提取结果;利用特征融合模块,对第一提取结果和第二提取结果进行融合,得到融合结果;利用预测头,基于融合结果进行预测,得到预测跟踪结果;基于预测跟踪结果、真实标注信息和蒸馏标注信息得到训练损失,对模型进行训练,得到训练好的视觉目标跟踪模型。本公开解决现有的单流跟踪器存在一定的计算冗余、限制推理速度的问题,在保留高推理速度的同时,提高模型的精度。

    图像重建方法、模型训练方法、装置、设备、介质及产品

    公开(公告)号:CN118780985B

    公开(公告)日:2024-12-13

    申请号:CN202411259633.4

    申请日:2024-09-10

    Abstract: 本发明提供了一种图像重建方法、模型训练方法、装置、设备、介质及产品,可以应用于图像超分辨率重建领域。图像重建方法包括:对存在质量损失的退化图像进行特征提取,得到表征图像底层细节的底层图像特征和表征图像退化信息的隐式退化特征;利用隐式退化特征调节器分别对隐式退化特征进行通道级和空间级的扩展;将扩展后的隐式退化特征融入到底层图像特征中,分别得到融合了图像退化信息的通道图像特征和空间图像特征;将通道图像特征和空间图像特征进行特征融合并引入底层图像特征,以对退化图像的高频细节进行恢复;将进行细节恢复后得到的图像特征输入图像超分辨率模块中,输出重建的目标图像,其中,目标图像的分辨率高于退化图像。

    基于事件感知的跨模态视频文本检索模型的训练方法

    公开(公告)号:CN118410210B

    公开(公告)日:2024-11-19

    申请号:CN202410845065.X

    申请日:2024-06-27

    Abstract: 本发明涉及机器学习技术领域,提供一种基于事件感知的跨模态视频文本检索模型的训练方法,方法包括:获取样本视频和初始检索模型,样本视频包含各视频帧的帧描述;提取各视频帧的帧特征和样本视频的视频特征;基于各视频帧的帧特征和各帧描述的帧文本特征进行事件内容对齐确定事件内容感知损失;基于视频特征和样本视频的整体文本特征进行事件时序对齐,确定事件时序感知损失;基于事件内容感知损失和事件时序感知损失,得到跨模态视频文本检索模型。本发明提供的方法,通过进行视频帧粒度的事件内容对齐和视频粒度的事件时序对齐,使得跨模态视频文本检索模型的事件理解能力大大提升,进而提升跨模态视频文本检索能力和鲁棒性。

    基于像素特征学习的无监督图像分割方法、装置及设备

    公开(公告)号:CN114627139B

    公开(公告)日:2024-10-25

    申请号:CN202210267325.0

    申请日:2022-03-18

    Abstract: 本发明公开了基于像素特征学习的无监督图像分割方法、装置及设备,其中,所述方法包括:获取预处理后的待分割图像,作为第一图像;提取所述第一图像中的超像素,得到所述第一图像的超像素集合;根据所述超像素集合,得到第一损失函数;预测所述第一图像的离散表示,最大化所述第一图像与所述离散表示之间的互信息,得到第二损失函数;根据所述第一损失函数和第二损失函数对所述第一图像进行分割,得到分割结果。通过上述方式,本发明可以有效发现图像中的潜在对象类别,输出的分割块能够精准匹配对象轮廓,同时能够完整地覆盖对象区域,进而大幅度降低下游高级视觉算法的训练难度和计算复杂性。

    视频标签序列生成方法和装置

    公开(公告)号:CN116821417A

    公开(公告)日:2023-09-29

    申请号:CN202311082820.5

    申请日:2023-08-28

    Abstract: 本发明实施例提供了一种视频标签序列生成方法和装置,其中,该方法包括:对样本视频内容和标题进行多模态特征提取得到多种特征编码;将多种特征编码输入到预训练的多模态混合编码器中进行特征融合,得到多模态混合特征;通过顺序提示模型为样本视频生成对应的顺序提示信息;将顺序提示信息与样本视频对应的标签进行对齐训练,得到每个顺序提示信息与标签的唯一对应关系;基于顺序提示信息和唯一对应关系对样本视频进行标签排序得到目标序列,通过目标序列和多模态混合特征对顺序感知标签解码器进行训练,得到训练好的标签解码器。通过本发明,解决了视频标签开集生成的问题,提高了模型预测未见标签的能力和拓展性。

    内容安全检测模型训练方法、检测方法和装置

    公开(公告)号:CN116778376A

    公开(公告)日:2023-09-19

    申请号:CN202310530291.4

    申请日:2023-05-11

    Abstract: 本发明提供一种内容安全检测模型训练方法、检测方法和装置,其中训练方法包括:获取第一样本视频,并提取第一样本视频的压缩域信息;提取第一样本视频中的各帧图像在标准色域下的多源特征;基于第一样本视频的压缩域信息和标准色域下的多源特征,对初始模型进行跨模态蒸馏学习,得到训练完成的内容安全检测模型。本发明提供的内容安全检测模型训练方法、检测方法和装置,相比于现有的逐帧提取标准色域信息,极大提高了信息提取效率,并利用标准色域下的多源特征,对初始模型进行跨模态蒸馏学习,从而提升了压缩域内容安全检测的性能,能够同时兼顾效率和性能。

    一种分类模型训练方法、装置及设备

    公开(公告)号:CN115795355B

    公开(公告)日:2023-09-12

    申请号:CN202310095677.7

    申请日:2023-02-10

    Abstract: 本发明实施例涉及人工智能领域,公开了一种分类模型训练方法、装置及设备。本发明实施例涉及的分类模型训练方法,其特征在于,所述方法包括:获取待训练样本集进行特征提取,得到第一特征向量,计算得到原型特征向量;调用预设的损失调节器针对待训练的分类模型对应的损失函数进行参数调整,得到目标分类模型。这样,可以在模型训练过程中,基于当前学习结果及时施加相应的策略调整,提高了分类模型在小样本学习环境中训练的准确性,进而提高了训练后模型进行分类作业的正确率。

    视频搜索方法、装置、设备和存储介质

    公开(公告)号:CN115422399A

    公开(公告)日:2022-12-02

    申请号:CN202210869119.7

    申请日:2022-07-21

    Abstract: 本发明实施例提供一种视频搜索方法、装置、设备和存储介质,该方法包括:获取用户输入的搜索信息;根据搜索信息,从预设的多模态知识图谱中得到与搜索信息相关联的多模态信息;多模态信息包括搜索信息的扩展文本信息和视频特征信息;根据扩展文本信息和视频特征信息,基于搜索引擎确定目标视频。本发明实施例的方法通过多模态知识图谱,将用户的搜索信息扩展为更多模态的信息输入,进而基于扩展后的搜索信息,也就可以获得更加全面、更加准确的视频搜索结果,提升了视频搜索结果的准确性和全面性,解决了视频搜索过程中的误检和漏检问题。

Patent Agency Ranking