基于视频中多层次交互推理的复杂事件识别方法及系统

    公开(公告)号:CN111626121A

    公开(公告)日:2020-09-04

    申请号:CN202010330808.1

    申请日:2020-04-24

    Inventor: 杨华 李室呈 孙军

    Abstract: 本发明公开了一种基于视频中多层次交互推理的复杂事件识别方法及系统,该方法包括:提取视频中对象的形态与类别特征;建图G=(V,E,A)表示事件中的交互,考虑对应的对象间的交互;利用三维卷积对视频做卷积,通过视频纹理,图样提取事件的环境特征;将环境特征自适应投影到构建的图中;通过图卷积网络对投影后得到的图进行卷积实现视频中对象与对象、对象与环境、环境与环境的多层次的交互的推理,从而理解视频中所发生的复杂事件。该系统包括:形态与类别特征提取模块、建图模块、环境特征提取模块、投影模块以及图卷积模块。通过本发明,可以识别长时长事件,多层次交互推理提升了识别复杂事件的能力,提高了准确率。

    一种基于光流的视频拼接方法

    公开(公告)号:CN108989751B

    公开(公告)日:2020-07-14

    申请号:CN201810784634.9

    申请日:2018-07-17

    Abstract: 本发明公开了一种基于光流的视频拼接方法,包括:步骤S1:左右帧图像的读取及预处理;步骤S2:计算左右帧图像的对应公共区域,并对公共区域做密集光流估计;步骤S3:将公共区域的密集光流聚类成三类;步骤S4:对非公共区域进行光流的延伸估计,并将非基准帧按照光流投影到基准帧上构成初步全景图;步骤S5:初步全景图中遮蔽区域的检测与校正;步骤S6:回到步骤S1,读取下一对左右帧图像。本发明所述方法针对相机方向固定的同步监控视频,通过上述步骤能够准确地找到左右帧图像公共区域间的对应关系,得到效果良好的全景视频,很大程度地弱化了对运动物体造成的模糊和扭曲效果。

    一种结合时空和网络一致性的摄像机网络行人重识别方法

    公开(公告)号:CN107545256B

    公开(公告)日:2020-03-10

    申请号:CN201710905430.1

    申请日:2017-09-29

    Inventor: 杨华 程昭睎 陈琳

    Abstract: 本发明公开了一种结合时空和网络一致性的摄像机网络行人重识别方法,对图像进行摄像机对的行人重识别;对摄像机网络和行人之间分别找到距离和时间差信息,对摄像机对确定距离后对行人速度进行估计并给出一先验值,并以此推出时间差应满足的分布,再结合实际的时间差确定该如何修正相似性分数。得到修正项之后通过一个比例参数控制原始相似性分数和时间地点信息在修正的相似性分数前所占重要性。得到修正相似性分数后,再构建网络整体的优化问题,其中优化目标为一全局相似性定义,约束条件为一致性条件。本发明通过融合了传统摄像机对行人重识别方法,摄像机地理位置,行人时间差等信息,并结合网络一致性,在摄像机网络中执行行人重识别任务。

    一种基于强化学习的在线非监督的人群组分割系统

    公开(公告)号:CN110751020A

    公开(公告)日:2020-02-04

    申请号:CN201910827412.5

    申请日:2019-09-03

    Inventor: 杨华 张雪莹 程宇

    Abstract: 本发明公开了一种基于强化学习的在线非监督的人群组分割系统,其包括:视频输入模块;运动人群语义提取模块,提取运动人群语义;近邻特征点确定模块,确定每个特征点最近邻的数量K;相似度矩阵构造模块,构造路径相似度矩阵W;通过W计算不同特征点轨迹在该时刻的运动相似度邻接矩阵Z;强化学习模块,通过强化学习获得运动相似度邻接矩阵Z最佳的分割阈值;分割模块,利用K最近邻法对运动人群语义进行分割聚类,实现像素级别的人群组分割。通过本发明,提高了计算准确性以及分割准确性。

    一种基于人群行为先验知识的双分支异常检测方法

    公开(公告)号:CN110378233A

    公开(公告)日:2019-10-25

    申请号:CN201910536330.5

    申请日:2019-06-20

    Inventor: 杨华 林书恒

    Abstract: 本发明提供了一种基于人群行为先验知识的双分支行人异常检测方法,包括:利用社会力模型提取视频中人群的交互信息;利用多实例学习方法对视频中不同时间片段学习出异常得分;利用注意力模型捕获视频特征的全局依赖;利用双分支模型将原始视频和其对应的人群交互信息视频结合。本发明充分考虑人类对异常行为判断的先验信息,利用数量充足的正常和异常样本来学习人群行为的正常和异常模式,使得异常检测能在一定地语义层面上对视频中得人群行为进行识别,能很好地解决与适应由于样本数量不足和视频中人群得背景干扰带来的性能损失,更具有鲁棒性;该方法也不需要精确到片段级别的数据标签,即使训练对象是视频的片段,也只需要视频级别的标签。

    结合人脸与外观的两阶段行人搜索方法

    公开(公告)号:CN109635686A

    公开(公告)日:2019-04-16

    申请号:CN201811447035.4

    申请日:2018-11-29

    Inventor: 杨华 李亮奇

    CPC classification number: G06K9/00288 G06K9/00369 G06N3/0454 G06N3/08

    Abstract: 本发明提供了一种结合人脸与外观的两阶段行人搜索方法,包括:利用人脸检测器检测行人的人脸,基于人脸比对模型输出人脸表征向量;根据欧氏距离对待匹配行人集进行排序获取人脸排序结果;根据排序结果选取若干个样本作为下一阶段的多匹配目标;将同一数据集中不同行人的所挑选出的下一阶段的多匹配目标作为彼此的负样本,从而压缩下一阶段匹配的样本空间;最后进行多目标行人再识别,将待匹配图片集根据与多个目标的平均距离或相似度进行排序输出最终结果。本发明通过基于DenseNet的卷积神经网络将人脸与行人再识别联合起来搜索目标行人,并通过精心设计的限制条件提高了鲁棒性减少了计算量,进一步提升了行人搜索的性能。

    一种多尺度特征融合的行人比对方法

    公开(公告)号:CN104376334B

    公开(公告)日:2018-05-29

    申请号:CN201410635897.5

    申请日:2014-11-12

    Abstract: 本发明公开一种计算机视频处理技术领域的多尺度特征融合的行人比对方法,本发明融合多种行人特征,增强比对特征在多摄像头环境下的稳定性和独特性;同时根据特征在不同图像尺度上的表现,不同的行人特征将在不同尺度上进行比对:先在小尺度上进行比对过滤,而后对筛选后的行人在较大尺度上进行匹配,在保证各特征比对性能的前提下,降低方法复杂度;并针对现有纹理特征进行改进,采用一种新的基于显著特征点的比对方法;本方法引入半监督的距离学习方法进行距离函数学习,以降低传统距离学习算法训练标定过程的复杂度,提高匹配准确率。

    基于旋度和散度的运动特征提取方法及系统

    公开(公告)号:CN105139423B

    公开(公告)日:2018-04-20

    申请号:CN201510508647.X

    申请日:2015-08-18

    Abstract: 本发明公开了一种基于旋度和散度的运动特征提取方法及系统,包括:S1:对任意给定的运动矢量场进行归一化处理;S2:计算归一化的运动矢量场中每个点的旋度和散度,得到旋度图和散度图;构建归一化的运动矢量场的对偶矢量场;S3:在归一化的运动矢量场及其对偶矢量场中进行运动轨迹采样,分别得到切向运动轨迹和径向运动轨迹;S4:对运动轨迹上的旋度和散度进行路径积分,即得到尺度不变和旋转不变的CD运动特征。本发明可以从整体上刻画运动的旋转和发散程度,并具有很强的鲁棒性。作为一种普适性的运动描述子,CD特征可以广泛应用于不同场景下的运动分析和行为识别。

    车标自动识别方法及系统
    79.
    发明授权

    公开(公告)号:CN103279738B

    公开(公告)日:2017-01-25

    申请号:CN201310170528.9

    申请日:2013-05-09

    Abstract: 本发明公开了一种车标自动识别方法及系统,包括离线训练子系统和在线识别子系统。采用dense-SIFT提取车标特征,能在低分辨率车标图片上提取丰富、稳定以及具有识别判别性的特征;对dense-SIFT特征聚类分析,建立视觉词库及KD树索引,以此加快计算速度;根据dense-SIFT和视觉词的相关性,将dense-SIFT映射成所有视觉词表示,增加特征描述性;在建立视觉词直方图时,提出“回字形空间金字塔”增加特征的空间位置信息,提升判别效果;采用支持向量机训练车标分类器,实现车标识别。本发明在低分辨率图像下仍具有高识别率,对遮挡、光照、天气、拍摄角度变化等具有高鲁棒性,计算时间短,极具实时性。

    一种人群语义分割方法及系统

    公开(公告)号:CN106066993A

    公开(公告)日:2016-11-02

    申请号:CN201610345937.1

    申请日:2016-05-23

    CPC classification number: G06K9/00718 G06K9/00778

    Abstract: 本发明提供了一种计算机视频处理技术领域的人群语义分割方法及系统,步骤为:对于图像,根据运动一致性的时域运动群组分割,根据分布匀质性的空域分布群组分割;综合时域和空域分割结果的联合语义群组分割;基于语义一致的群组状态描述。本发明在人群分割的过程中综合考虑了人群的运动一致性和分布匀质性,使得分割后的群组具有时空域内的稳定状态,同时可以较好地描述各个群组的状态,包括运动模式和密度等级。

Patent Agency Ranking