-
公开(公告)号:CN118038082A
公开(公告)日:2024-05-14
申请号:CN202410354249.6
申请日:2024-03-27
Applicant: 上海交通大学
IPC: G06V10/44 , G06V10/82 , G06T3/4038
Abstract: 本发明提供了一种基于深度注意力网络的图像局部特征匹配优化方法和系统,包括:给定图像对和带噪声的匹配集合,提取匹配集合中每一个匹配在两幅图像间对应的局部图像块,拼接获得f;将匹配集合中,每个匹配的绝对位置表达转化为相对位置表达,得到总相对位置pos;对f和pos,使用神经网络进行投影相加,得到向量z;将z输入基于注意力的神经网络进行处理,得到特征表示X;分别解码X得到匹配置信度scores和匹配的校正偏移量offsets,对匹配集合进行联合优化。本发明基于精准的图片匹配信息、仅关注局部区域的注意力网络以及置信度、偏移量的联合优化,能够快速对匹配集合进行优化。
-
公开(公告)号:CN117094213A
公开(公告)日:2023-11-21
申请号:CN202310972931.7
申请日:2023-08-03
Applicant: 上海交通大学
Abstract: 本公开提供一种基于强化学习的行人路径规划方法、装置及介质。基于强化学习的行人路径规划方法,包括:获取行人路径数据集和待测人群中行人的当前时刻对应的位置坐标、平移速度和角速度;对预设的流体动力学模型进行模型训练,确定基于流体动力学的人群模拟模型;基于流体动力学的人群模拟模型,预测待测行人下一时刻的运动速度;根据动态损失函数和奖励函数将预测的待测行人下一时刻的运动速度反馈至仿真环境,模拟待测人群中行人运动。通过本公开,基于流体动力学的人群模拟模型确定智能体速度实现其抵达目的地的期望,并且防止智能体碰撞,提高人群运动模拟的真实性和有效性。
-
公开(公告)号:CN111626134B
公开(公告)日:2023-04-21
申请号:CN202010349623.5
申请日:2020-04-28
Applicant: 上海交通大学
IPC: G06V20/52 , G06V10/762 , G06V10/764
Abstract: 本发明公开一种基于隐密度分布的密集人群计数方法、系统及终端,所述方法包括:根据人群点图通过高斯网络得到自适应的隐高斯密度图;根据计数损失项、平滑项和贝叶斯项,指导隐高斯密度图优化,使其生成质量更高;根据所述隐高斯密度图作为训练目标,结合对抗损失函数和贝叶斯损失函数,将密集人群图像输出为预测的密度分布图;预测的密度分布图进行求和,可得到预测的密度人数。密度预测器、隐高斯密度生成器、判别器三网络交替训练,协同优化。本发明较大程度提升了精度,具有良好的鲁棒性,且因未增加推断阶段的参数量和运算量,具有较强的应用价值。
-
公开(公告)号:CN111626121B
公开(公告)日:2022-12-20
申请号:CN202010330808.1
申请日:2020-04-24
Applicant: 上海交通大学
Abstract: 本发明公开了一种基于视频中多层次交互推理的复杂事件识别方法及系统,该方法包括:提取视频中对象的形态与类别特征;建图G=(V,E,A)表示事件中的交互,考虑对应的对象间的交互;利用三维卷积对视频做卷积,通过视频纹理,图样提取事件的环境特征;将环境特征自适应投影到构建的图中;通过图卷积网络对投影后得到的图进行卷积实现视频中对象与对象、对象与环境、环境与环境的多层次的交互的推理,从而理解视频中所发生的复杂事件。该系统包括:形态与类别特征提取模块、建图模块、环境特征提取模块、投影模块以及图卷积模块。通过本发明,可以识别长时长事件,多层次交互推理提升了识别复杂事件的能力,提高了准确率。
-
公开(公告)号:CN110765879B
公开(公告)日:2022-05-27
申请号:CN201910903023.6
申请日:2019-09-24
Applicant: 上海交通大学 , 中国电子科技集团公司电子科学研究院
Abstract: 本发明提供了一种基于B/S架构的实时视频分析系统,Web前端模块接收用户输入指令、将用户输入指令发送至调度服务器模块、向调度服务器模块调取分析结果以及呈现分析结果;调度服务器模块根据用户输入指令启动主分析模块、将用户输入指令发送至指令转发模块以及接收分析结果并暂存;指令转发模块对用户输入指令进行解析并转发至主分析模块;主分析模块根据用户输入指令对实时视频进行分析,并将分析结果发送至调度服务器模块。本发明同时提供了一种基于B/S架构的实时视频分析方法。本发明保证高压力下取帧速度不受影响,模块间通信效率相比传统方式较高,通信错误率降低,且保证了高压力下服务器端播放进度依然与前端对齐。
-
公开(公告)号:CN110751017B
公开(公告)日:2021-03-02
申请号:CN201910827133.9
申请日:2019-09-03
Applicant: 上海交通大学
Abstract: 本发明公开了一种基于强化学习的在线非监督的人群组分割方法及终端,包括:通过视频序列追踪运动特征点轨迹并提取运动人群语义;使用速度约束的自然最近邻法确定每个特征点最近邻的数量;计算每个特征点与其最近邻K个点的路径相似度,构造路径相似度矩阵;计算不同特征点轨迹在该时刻的运动相似度邻接矩阵;构建强化学习模块;构建价值矩阵进行强化学习训练,获得最佳分割阈值;根据最佳分割阈值对相似度邻接矩阵进行阈值分割,剩余的连通区域为最终特征点分割结果;基于最终特征点分割结果,利用K最近邻法对运动人群语义进行分割聚类,实现像素级别的人群组分割。通过本发明,提高了计算准确性以及分割准确性。
-
公开(公告)号:CN109344725B
公开(公告)日:2020-09-04
申请号:CN201811034852.7
申请日:2018-09-04
Applicant: 上海交通大学
Abstract: 一种基于时空关注度机制的多行人在线跟踪方法,包括步骤为:行人检测,行人跟踪和数据关联。本发明提供的基于时空关注度机制的多行人在线跟踪方法:(针对现有在线跟踪算法用于训练模型的正、负样本不均衡的问题,提出了融合自适应样本权重项的跟踪目标函数,根据样本在模型训练过程中计算得到的损失值重新分配样本权重,提升了跟踪模型更新的有效性;针对数据关联中易受被遮挡或位置偏移的噪声样本干扰的问题,提出了融合时空域关注度机制的深度神经网络匹配模型,使其在空域上关注比对图片中的相关区域而忽略非相关区域,在时域上模型关注历史轨迹中的正样本而忽略噪声样本,从而提升了多行人跟踪的准确率。
-
公开(公告)号:CN110751017A
公开(公告)日:2020-02-04
申请号:CN201910827133.9
申请日:2019-09-03
Applicant: 上海交通大学
Abstract: 本发明公开了一种基于强化学习的在线非监督的人群组分割方法及终端,包括:通过视频序列追踪运动特征点轨迹并提取运动人群语义;使用速度约束的自然最近邻法确定每个特征点最近邻的数量;计算每个特征点与其最近邻K个点的路径相似度,构造路径相似度矩阵;计算不同特征点轨迹在该时刻的运动相似度邻接矩阵;构建强化学习模块;构建价值矩阵进行强化学习训练,获得最佳分割阈值;根据最佳分割阈值对相似度邻接矩阵进行阈值分割,剩余的连通区域为最终特征点分割结果;基于最终特征点分割结果,利用K最近邻法对运动人群语义进行分割聚类,实现像素级别的人群组分割。通过本发明,提高了计算准确性以及分割准确性。
-
公开(公告)号:CN107679465B
公开(公告)日:2019-11-15
申请号:CN201710857752.3
申请日:2017-09-20
Applicant: 上海交通大学
Abstract: 本发明提供了一种基于生成网络的行人重识别数据生成和扩充方法,步骤为:利用视频预测网络生成新的行人视频帧样本。利用深度生成对抗网络进行端到端的行人背景变换数据生成。利用不同的数据生成方法进行行人数据集的广度和丰富性的扩充。将扩充的数据集送入特征提取网络中提取特征并用欧氏距离评估性能。本方法同时考虑了行人的类内和类间数据扩充,联合利用了不同的生成网络生成更多更丰富的样本,扩充的数据集具有很好的多样性和鲁棒性,能更好的解决与适应由于样本数量不足和背景干扰带来的性能损失,具有普遍的适用性,扩充的数据集在下一步的行人识别中能发挥更好的性能及效率。
-
公开(公告)号:CN106066993B
公开(公告)日:2019-08-09
申请号:CN201610345937.1
申请日:2016-05-23
Applicant: 上海交通大学
IPC: G06K9/00
Abstract: 本发明提供了一种计算机视频处理技术领域的人群语义分割方法及系统,步骤为:对于图像,根据运动一致性的时域运动群组分割,根据分布匀质性的空域分布群组分割;综合时域和空域分割结果的联合语义群组分割;基于语义一致的群组状态描述。本发明在人群分割的过程中综合考虑了人群的运动一致性和分布匀质性,使得分割后的群组具有时空域内的稳定状态,同时可以较好地描述各个群组的状态,包括运动模式和密度等级。
-
-
-
-
-
-
-
-
-