基于胶囊网络和自然语言查询的目标跟踪方法

    公开(公告)号:CN113936040B

    公开(公告)日:2023-09-15

    申请号:CN202111204089.X

    申请日:2021-10-15

    Inventor: 邬向前 卜巍 马丁

    Abstract: 本发明公开了一种基于胶囊网络和自然语言查询的目标跟踪方法,所述方法包括如下步骤:一、给定当前帧的搜索区域和相应的文本查询,将搜索区域送入视觉编码器提取视觉的特征表示,将文本查询送入文本编码器提取文本的特征表示;二、利用视觉编码器提取的视觉的特征表示构建视觉胶囊,利用文本编码器提取的文本的特征表示构建文本胶囊,在视觉胶囊和文本胶囊的基础上设计视觉‑文本路由模块和文本‑视觉路由模块;三、将视觉‑文本路由模块和文本‑视觉路由模块的输出进行串联并通过解码器生成目标的响应图。本发明在仅利用自然语言进行初始化跟踪器,就能接近其它方法,同时利用自然语言查询和初始边界框进行初始化的结果,具有良好的鲁棒性。

    基于调制器的自适应回归跟踪方法

    公开(公告)号:CN113947618A

    公开(公告)日:2022-01-18

    申请号:CN202111222510.X

    申请日:2021-10-20

    Inventor: 邬向前 卜巍 马丁

    Abstract: 本发明公开了一种基于调制器的自适应回归跟踪方法,所述方法包括如下步骤:步骤一、设计基于注意力的时空上下文网络,生成与时空上下文对应的仿射参数;步骤二、设计轨迹网络,产生与轨迹对应的仿射参数;步骤三、将步骤一和步骤二产生的两种参数融入到通用回归网络的各层参数中,自适应地调整通用回归网络的参数,使其对特定目标具有较高的响应。相比于现有技术,本发明具有如下优点:模型在跟踪过程中不需要效率低下的微调过程;上下文预测网络对过去帧中相关的重要时空背景进行编码,有助于从背景中区分目标;轨迹为当前帧中目标的定位提供了必要的先验知识。

    基于深层监督的循环卷积神经网络的视觉显著性检测方法

    公开(公告)号:CN107247952B

    公开(公告)日:2020-11-10

    申请号:CN201610604722.7

    申请日:2016-07-28

    Abstract: 本发明公开了一种基于深层监督的循环卷积神经网络的显著性检测方法,其包括如下步骤:一、初级深层网络结构的设计;二、循环卷积神经网络的设计;三、深层监督的循环卷积神经网络的设计;四、模型的训练与测试。本发明提出了一种新的网络结构,在不增加模型参数的同时增加了网络结构的深度,并采用多层监督信息来对模型进行有效地训练。本发明提出的深层监督的循环卷积神经网络除了在显著性检测领域能取得很好的效果外,还可以用于所有的基于像素分类的图像处理和计算机视觉领域的应用中。

    一种基于级联的上下文感知框架的目标跟踪方法

    公开(公告)号:CN110570450A

    公开(公告)日:2019-12-13

    申请号:CN201910882861.X

    申请日:2019-09-18

    Inventor: 邬向前 卜巍 马丁

    Abstract: 本发明公开了一种基于级联的上下文感知框架的目标跟踪方法,所述方法提出了一个基于两个网络的级联的上下文感知框架,其包括两个子网络:一个基于图像的上下文感知网络ICANet和一个基于图像块的上下文感知网络PCANet。该框架渐近地建模了各种目标与其上下文信息之间的各种变化。第一个网络关注的是目标与其上下文之间最具判别力的信息以及目标粗略的结构,第二个网络关注的是目标自身的细致的结构信息。根据这两个网络的输出—最终的上下文感知图,可以灵活地生成目标的定位框,有效地区分目标与其周围干扰物等背景信息。本发明所获得的FCA map能够灵活地嵌入到多种跟踪框架中。

    基于循环回归网络的快速目标跟踪方法

    公开(公告)号:CN110223316A

    公开(公告)日:2019-09-10

    申请号:CN201910512271.8

    申请日:2019-06-13

    Inventor: 邬向前 卜巍 马丁

    Abstract: 本发明公开了一种基于循环回归网络的快速目标跟踪方法,所述方法包括如下步骤:步骤一、使用ResNet50网络作为回归网络的基本网络;步骤二、在训练完回归网络之后,在其基础上引入LSTM网络形成最终的循环回归网络来捕捉目标在跟踪过程中出现的各种外观变化;步骤三、使用Smooth-L1损失函数对循环回归网络进行训练。本发明整个过程利用一个神经网络进行目标跟踪,运用深层监督在不同尺度的特征上回归目标框坐标,并使用长短时记忆网络来捕捉目标在跟踪过程中出现的各种外观变化。较现有的目标跟踪方法,在不需要进行在线更新的情况下,就能较为准确的定位目标,具有良好的鲁棒性。

    基于多特征模型的视网膜中央凹检测方法

    公开(公告)号:CN106599804B

    公开(公告)日:2019-07-05

    申请号:CN201611086625.X

    申请日:2016-11-30

    Abstract: 本发明公开了一种基于多特征模型的视网膜中央凹检测方法,所述视网膜中央凹检测方法包括以下步骤:一、全局先验特征提取,二、局部先验特征提取,三、深度特征提取,四、建立融合多特征的中央凹检测模型,通过提取中央凹的全局、局部以及深度特征信息并进行有效融合,完成对视网膜中央凹的精确检测。本发明可以有效克服眼底光照噪声、眼底病变以及异常血管分布对中央凹自动检测的影响,提高中央凹检测的精度和鲁棒性,从而为基于视网膜图像的身份识别提供更加稳健的身份特征信息。

    基于超像素的笔画特征变换和深度学习的区域分类的场景文本检测方法

    公开(公告)号:CN108345850A

    公开(公告)日:2018-07-31

    申请号:CN201810103800.4

    申请日:2018-02-01

    Abstract: 本发明公开了一种基于超像素的笔画特征变换和深度学习的区域分类的场景文本检测方法,所述方法包括如下步骤:一、字符区域提取:(一)基于超像素的笔画特征变换:(1)超像素分割和聚类;(2)删除背景区域;(3)区域细化;(二)基于深度学习的区域分类:(1)特征提取;(2)特征融合;(3)区域分类;二、文本区域检测:(1)候选文本区域生成;(2)候选文本区域分类。本发明的方法不仅可以实现自然场景中不同大小的文本检测,而且可以实现自然场景中不同颜色的文本检测,包括与背景颜色接近的文本,还可以实现复杂背景下的文本检测,如栅栏、窗户等场景中的文本检测。

    基于文本显著性的场景文本检测方法

    公开(公告)号:CN106778757A

    公开(公告)日:2017-05-31

    申请号:CN201611137890.6

    申请日:2016-12-12

    CPC classification number: G06K9/2054 G06K9/342 G06N3/084

    Abstract: 本发明公开了一种基于文本显著性的场景文本检测方法,该方法包括如下步骤:初始文本显著性检测、文本显著性细化和文本显著性区域分类。在初始文本显著性检测阶段,设计了用于文本显著性检测的CNN模型,该模型能从图像中自动学习能够表征文本内在属性的特征并得到对文本有意识的显著性图。在文本显著性细化阶段,设计了文本显著性细化CNN模型用来对粗糙的文本显著性区域进行进一步文本显著性检测。在文本显著性区域分类阶段,使用文本显著性区域分类CNN模型过滤非文本区域,并得到最终的文本检测结果。本发明通过在场景文本检测过程中引入显著性检测,能有效地检测场景中的文本区域,提高场景文本检测方法的性能。

    基于迭代随机抽样一致算法的非接触式掌纹识别方法

    公开(公告)号:CN103455803B

    公开(公告)日:2017-01-18

    申请号:CN201310412065.2

    申请日:2013-09-04

    Abstract: 本发明提出一种基于迭代随机抽样一致算法的非接触式掌纹识别方法。该方法通过掌纹图像预处理、尺度不变特征变换特征提取与匹配、外点排除等步骤,最终以匹配的SIFT特征点数量作为分数实现基于掌纹的身份认证或辨识。本发明要解决的问题是非接触式掌纹识别,所使用的掌纹图像不需要非常准确的对齐,因此掌纹图像可以在开放的环境中非接触采集,有利于提高掌纹识别的用户接受度。本发明应用SIFT特征,可以大大降低掌纹图像各种旋转、平移、尺度等线性变换以及其它非线性变换的影响。本发明应用I-RANSAC算法排除两幅掌纹图像SIFT特征点匹配中的外点,可以解决传统外点排除算法在非线性形变情况下丢失大量内点的问题。

    基于掌纹图像配准的非接触掌纹识别方法

    公开(公告)号:CN103440480B

    公开(公告)日:2016-08-10

    申请号:CN201310385672.4

    申请日:2013-08-22

    Abstract: 本发明涉及一种基于掌纹图像配准的非接触掌纹识别方法,分为注册和识别两个阶段。在注册阶段,将用户提供的原型图像进行ROI提取,在ROI图像上提取竞争码特征并存于特征数据库,同时将ROI图像经预处理后提取SIFT特征存于特征数据库。在识别阶段,在用户提供的查询图像上进行相同的ROI提取、竞争码特征提取和SIFT特征提取的操作。将提取到的SIFT特征和数据库中已存的SIFT特征进行匹配,得到匹配的SIFT特征点。同时由匹配的SIFT特征点得到SIFT特征的匹配度,并将两种匹配度进行融合得到最终匹配度用于身份认证或识别。解决非接触掌纹图像的形变问题,提高了识别精度。

Patent Agency Ranking