一种基于多模态智能排序的方法
    2.
    发明公开

    公开(公告)号:CN119903212A

    公开(公告)日:2025-04-29

    申请号:CN202510407102.3

    申请日:2025-04-02

    Abstract: 本发明公开了一种基于多模态智能排序的方法,所述方法利用多模态模型对查询图片进行编码,生成查询图片向量;利用所述查询图片向量到向量库查询相似图片;通过多模态模型Qwen2‑VL生成查询图片的语义文本向量,以及结果图片的语义文本向量;通过智能排序算法分别计算结果图片与查询图片的图片相似度及文本相似度,综合图片相似度与语义相似度对结果图片进行综合排序。本发明提取图片中的重点语义信息,去除图片中的不相关干扰项,将图像的语义信息视为重要权重进行排序优化,让整体排序更聚焦在核心内容,提高了检索结果的相关性和准确性。

    基于掩码特征聚合和目标增强型的视频目标分割方法

    公开(公告)号:CN115035437B

    公开(公告)日:2025-05-16

    申请号:CN202210569043.6

    申请日:2022-05-24

    Applicant: 浙江大学

    Abstract: 本发明涉及计算机视觉领域,公开了一种基于掩码特征聚合和目标增强型的视频目标分割方法,包括以下步骤:S1、设计并得到一种优化的多尺度掩码特征聚合单元;S2、利用目标增强型注意力机构得到目标增强型特征匹配单元;S3、利用服务器对网络模型进行训练,通过降低网络损失函数优化网络参数,直至网络收敛,获得基于多尺度掩码特征聚合和目标增强型的视频目标分割方法;S4、利用所述基于多尺度掩码特征聚合和目标增强型的视频目标分割方法对新的视频序列分割给定目标。本发明能够充分利用目标掩码中的边缘轮廓信息,加强目标外观表示的学习,使得分割结果具有更好的轮廓准确度,能够在复杂的环境中准确地分割目标。

    一种基于记忆网络的时空上下文信息三维单目标跟踪方法

    公开(公告)号:CN116596969A

    公开(公告)日:2023-08-15

    申请号:CN202310565602.0

    申请日:2023-05-19

    Applicant: 浙江大学

    Abstract: 本发明涉及3D视觉领域,公开了一种基于记忆网络的时空上下文信息三维单目标跟踪方法,包括以下步骤:步骤S1:构建目标跟踪系统网络模型;步骤S2:设定记忆集;步骤S3:获取查询帧,提取查询帧和记忆帧的键值编码对;步骤S4:使用特征匹配单元对查询帧的键值编码对与外部存储单元中记忆帧的键值编码对进行匹配计算得到匹配特征,匹配特征再经过解码后得到查询帧的目标跟踪预测结果;步骤S5:将查询帧作为记忆帧放入记忆集中,继续跟踪,直至任务结束;步骤S6:对目标跟踪系统网络模型进行训练,得到一种基于记忆网络的时空上下文信息三维单目标跟踪方法,本发明有效解决了历史时空信息的有效编码问题。

    一种基于图神经网络的小样本动作识别方法

    公开(公告)号:CN116524598A

    公开(公告)日:2023-08-01

    申请号:CN202310565601.6

    申请日:2023-05-19

    Applicant: 浙江大学

    Abstract: 一种基于图神经网络的小样本动作识别方法,包括:步骤S1:获取视频,并提取视频特征;步骤S2:视频特征进行重塑和增强得到视频时序特征;步骤S3:将所有视频时序特征进行平均池化操作形成对应的节点特征,并利用节点特征构建边特征,节点特征和边特征分别输入预训练好的图网络进行特征传播和更新,并计算待查询视频和类别支持集视频的任务导向型特征;步骤S4:将任务导向型特征进行类别匹配,得出待查询视频的类别预测值;步骤S5:通过类别预测值识别待查询视频中行为者的动作,本方法实现了在仅有较少标记训练数据的实际场景中可以准确快速识别行为者的动作。

    一种基于点云时空记忆网络的4D目标分割方法

    公开(公告)号:CN115471651A

    公开(公告)日:2022-12-13

    申请号:CN202211056641.X

    申请日:2022-08-31

    Applicant: 浙江大学

    Abstract: 本发明涉及计算机视觉领域,公开了一种基于点云时空记忆网络的4D目标分割方法,包括以下步骤:S1、构建4D目标分割任务数据集;S2、基于点云时空记忆网络并结合非局部/局部注意力机制构建4D目标分割网络;S3、对所述4D目标分割网络模型进行训练,通过降低网络损失函数优化网络参数直至网络收敛,获得基于点云时空记忆网络的4D目标分割方法;S4、利用所述基于点云时空记忆网络的4D目标分割方法对新的LIDAR视频序列分割给定目标。本发明提供了新的数据集,并结合点云时空记忆网络和注意力机制设计了快速稳定的4D目标分割算法,所设计的算法对实际3D环境中目标遮挡,快速移动等问题具有很好的鲁棒性。

    一种基于实例特征感知的鲁棒单目标跟踪方法

    公开(公告)号:CN113361329B

    公开(公告)日:2022-05-06

    申请号:CN202110510460.9

    申请日:2021-05-11

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于实例特征感知的鲁棒单目标跟踪方法,包括以下步骤:步骤一、模型训练,利用服务器对网络模型进行训练,通过降低网络损失函数优化网络参数,直至网络收敛,获得基于实例特征感知的鲁棒单目标跟踪的网络权重;步骤二、模型推断,利用训练阶段获得的网络权重,在新的视频序列中跟踪目标。基于实例特征感知的鲁棒单目标跟踪方法,通过学习区分相似目标之间的特征,增强跟踪器的判别能力,提高跟踪过程的抗干扰能力和鲁棒性。本方法在众多困难的实际场景中都可以准确稳定的跟踪目标,和其他方法相比,取得了更好的目标追踪捕捉效果。

    一种基于双模态交互和状态反馈的快速实时视频目标分割方法

    公开(公告)号:CN113807322A

    公开(公告)日:2021-12-17

    申请号:CN202111233607.0

    申请日:2021-10-22

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于双模态交互和状态反馈的快速实时视频目标分割方法,包括以下步骤:步骤一、模型训练,利用服务器对网络模型进行训练,通过降低网络损失函数优化网络参数,直至网络收敛,获得基于双模态交互和状态反馈的快速实时视频目标分割方法的网络权重;步骤二、模型推断,利用训练阶段获得的网络权重,在新的视频序列中分割第一帧给定的目标。通过双模态特征交互,加强目标外观表示的学习,减弱背景中外形特征相似、颜色相似的目标的干扰,使系统能够在复杂的环境中准确地分割目标;以及通过状态反馈固定存储器有效容量并自适应地更新存储器中的特征,使系统能够有效利用历史帧中的目标信息,并具有较高的推断速度和内存利用效率。

    一种诱导番茄提高低温抗性的方法

    公开(公告)号:CN104813856A

    公开(公告)日:2015-08-05

    申请号:CN201510166908.4

    申请日:2015-04-09

    Applicant: 浙江大学

    CPC classification number: Y02P60/149 A01G7/045

    Abstract: 本发明公开了一种诱导番茄提高低温抗性的方法,对番茄植株在夜间进行远红光LED光源照射补光,远红光的强度为10-50μmol m-2s-1,波长范围675-780nm之间,峰值波长λmax为735nm,远红光LED光源功率一般为5-100瓦。将远红光LED光源安装于番茄植株上部,安装密度为1-5瓦/平方米。本发明方法使用发射远红外光源的LED灯在夜间对植物进行补光,从而诱导番茄抗冷基因CBF1表达,减轻低温对番茄光系统Ⅱ的光抑制,提高光合作用效率和成苗率。本发明方法可用于各地番茄冬春育苗,也可用于冬春越冬栽培,提高番茄对低温、严寒的抗性,减少加温能耗,保证食品安全,为番茄生产提供保障。

    一种基于多尺度单支骨干网络的三维点云目标追踪方法

    公开(公告)号:CN117218155A

    公开(公告)日:2023-12-12

    申请号:CN202311103872.6

    申请日:2023-08-30

    Applicant: 浙江大学

    Abstract: 本发明提出一种基于多尺度单支骨干网络的三维点云目标追踪方法,其特征在于,包括以下步骤:步骤S1:获取待检测点云视频帧,定位第一帧为初始帧,并根据初始帧确定跟踪目标,下一帧待检测帧作为目标帧;步骤S2:拼接初始帧和目标帧的特征;步骤S3:使用多尺度单支骨干网络对拼接好的初始帧和目标帧的特征进行特征提取和目标匹配,得到不同尺度的拼接特征;步骤S4:将所有不同尺度的拼接特征进行混合,然后压缩成二维鸟瞰图特征,再对二维鸟瞰图特征解码,输出预测的跟踪目标位置,是一种仅使用单支骨干网络就能够同步特征提取与匹配的三维点云目标追踪方法。

Patent Agency Ranking