-
公开(公告)号:CN114926857B
公开(公告)日:2025-04-29
申请号:CN202210494013.3
申请日:2022-04-29
Applicant: 中国科学院自动化研究所
IPC: G06V40/10 , G06V20/40 , G06V10/80 , G06V10/764 , G06V10/74 , G06V10/40 , G06N3/045 , G10L25/03 , G10L25/51 , G06N3/0464
Abstract: 本申请提供一种基于音视频融合的地震幸存者识别方法及装置,方法包括:确定目标视频,所述目标视频包括N个视频片段,N为正整数;提取所述N个视频片段中各个视频片段对应的音频特征和视觉特征;基于自注意力机制和跨模态注意力机制,融合所述各个视频片段对应的音频特征和视觉特征的同模态特征和跨模态特征,确定各个视频片段对应的时序音频特征和时序视觉特征;基于所述时序音频特征和时序视觉特征,确定所述目标视频的地震幸存者识别结果,提升了幸存者识别的精度。
-
公开(公告)号:CN114913200B
公开(公告)日:2025-03-25
申请号:CN202210239604.6
申请日:2022-03-11
Applicant: 中国科学院自动化研究所
IPC: G06T7/246 , G06N3/0464
Abstract: 本发明提供一种基于时空轨迹关联的多目标跟踪方法及系统,该方法包括:对多目标跟踪视频中相邻帧之间的目标进行匹配,更新每一帧图片中的各个目标以及各个目标对应的历史轨迹状态,并根据匹配结果构建当前帧候选轨迹序列和历史候选轨迹序列;对当前帧候选轨迹序列进行特征提取,得到每一帧图片对应的底层特征,并根据历史轨迹片段和历史帧底层特征,对当前帧底层特征进行特征增强处理,得到轨迹特征;基于视觉相似度、空间相似度和时间相似度,根据轨迹特征,将当前帧候选轨迹序列中的候选轨迹与历史候选轨迹序列中的候选轨迹进行轨迹关联匹配,获取多目标跟踪视频中的目标跟踪结果。本发明提高了多目标跟踪的准确率,降低了误匹配和身份跳变。
-
公开(公告)号:CN111783716A
公开(公告)日:2020-10-16
申请号:CN202010664330.6
申请日:2020-07-10
Applicant: 中国科学院自动化研究所
Abstract: 本发明属于行人检测领域,具体涉及一种基于姿态信息的行人检测方法、系统、装置,旨在为了解决解决现有行人检测方法在多人环境下准确性不能满足需求的问题。本发明方法包括:基于预训练的区域提取网络获取行人候选框和对应的第一置信度scorer;基于预训练的行人识别网络获取所述行人候选框的综合描述,并基于该描述进行二分类,并以二分类结果作为第二置信度scorep;所述综合描述包括视觉描述fv和姿态描述fp;基于scorer和scorep获取第三置信度score,偌大于设定的置信度阈值则判定为行人。本发明能够很好的解决行人检测任务中普遍存在的遮挡和误检问题,提高行人检测的准确性。
-
公开(公告)号:CN115186052A
公开(公告)日:2022-10-14
申请号:CN202210574056.2
申请日:2022-05-24
Applicant: 中国科学院自动化研究所
Abstract: 本发明提供一种地震灾情救援信息的确定方法及装置,其中方法包括:根据地震灾情信息以及地震灾情信息对应的救援信息,构建地震灾情救援语料库;根据地震灾情救援语料库,构建地震灾情救援知识图谱;根据目标灾情场景的场景信息,确定场景信息对应的灾情关键词;根据灾情关键词,从知识图谱中确定与灾情关键词对应的目标实体,并根据目标实体,从地震灾情救援知识图谱中确定目标灾情场景的救援决策结果。本发明提供的地震灾情救援信息的确定方法及装置,通过构建地震灾情救援知识图谱,实现了根据灾情场景的场景信息即可自动确定救援决策结果,使决策者不需要储备大量的专业知识,降低人力成本的同时提升了救援决策的效率。
-
公开(公告)号:CN114913369A
公开(公告)日:2022-08-16
申请号:CN202210476373.0
申请日:2022-04-29
Applicant: 中国科学院自动化研究所
IPC: G06V10/764 , G06V10/774 , G06K9/62 , G06F40/295 , G06F16/36
Abstract: 本发明提供一种基于知识推理的主动救援决策方法及装置,其中方法包括:获取灾情场景图像中的多个灾情状态类别,以及各灾情状态类别对应的类别概率;从灾情知识图谱中确定多个灾情状态类别对应的多个灾情实体,并分别确定各灾情实体与灾情知识图谱中各实体的相似度;根据各灾情状态类别对应的类别概率,以及相似度,从灾情知识图谱的各实体中确定目标实体,并将目标实体的实体信息作为救援决策结果。本发明提供的基于知识推理的主动救援决策方法及装置,实现了根据灾情场景图像即可从灾情知识图谱中主动确定救援决策结果,使决策者不需要储备大量的专业知识,降低人力成本的同时提升了救援决策的效率。
-
公开(公告)号:CN114821153A
公开(公告)日:2022-07-29
申请号:CN202210303659.9
申请日:2022-03-24
Applicant: 中国科学院自动化研究所
IPC: G06V10/764 , G06K9/62 , G06V10/762 , G06V10/774 , G06V10/74
Abstract: 本发明提供一种图片分类方法、装置、电子设备及存储介质,其中方法包括:将获取的待分类目标域图片输入至图片分类模型中,得到所述图片分类模型输出的分类结果;所述图片分类模型是基于历史源域图片、历史目标域图片和所述历史源域图片对应的类别标签训练得到的。本发明通过历史源域图片、历史目标域图片和所述历史源域图片对应的类别标签对图片分类模型进行训练,并将获取到的待分类目标域图片输入至训练好的图片分类模型中,得到带有类别标签的分类结果,实现对图片的准确分类。
-
公开(公告)号:CN119443223A
公开(公告)日:2025-02-14
申请号:CN202411318514.1
申请日:2024-09-20
Applicant: 中国科学院自动化研究所
Abstract: 本发明提供一种基于相似度扩散的知识图谱表示方法及装置,其中方法包括:基于多模态大模型和人在回路机制,构建目标知识图谱;基于所述目标知识图谱中的各个实体之间的相似度关系,构建所述目标知识图谱的邻接图矩阵;基于所述邻接图矩阵,在局部聚类约束下进行相似度扩散,得到第一相似度矩阵;基于所述第一相似度矩阵,在流形图中对所述目标知识图谱进行几何传输,得到所述目标知识图谱的关系表示。从而得到目标知识图谱更加有效和鲁棒的关系表示,通过这种关系表示,可以指导知识图谱的构建、更新,提高知识图谱的挖掘、融合、推理和检索能力。
-
公开(公告)号:CN115457426A
公开(公告)日:2022-12-09
申请号:CN202210964239.5
申请日:2022-08-11
Applicant: 中国科学院自动化研究所
IPC: G06V20/40 , G06V10/74 , G06V10/764 , G06V10/774 , G06V10/778 , G06V10/80
Abstract: 本发明提供一种视频识别模型增量训练方法、视频识别方法及装置,其中训练方法包括:确定当前轮的样本模态特征和类别标签;并基于历史识别模型,确定初始识别模型;基于记忆单元中历史模态特征和样本模态特征,应用历史识别模型和初始识别模型,确定第一结果分布差异和第二结果分布差异;基于样本模态特征、类别标签、第一结果分布差异和第二结果分布差异,对初始识别模型进行训练,得到当前识别模型,实现了以当前轮的模型输出结果分布与历史识别模型输出结果接近,以让当前识别模型能够保存历史识别模型的模型知识,缓解增量训练时灾难性遗忘的问题,提高了识别模型的抗遗忘能力。
-
公开(公告)号:CN114913201A
公开(公告)日:2022-08-16
申请号:CN202210239608.4
申请日:2022-03-11
Applicant: 中国科学院自动化研究所
IPC: G06T7/246
Abstract: 本发明提供一种多目标跟踪方法、装置、电子设备、存储介质和产品,方法包括:获取待测视频;将所述待测视频输入端到端多目标跟踪模型,得到所述端到端多目标跟踪模型输出的所述待测视频包含的多目标信息;其中,所述多目标信息包括目标所在检测框和目标身份信息,所述端到端多目标模型是基于视频样本数据集训练得到的,所述端到端多目标模型训练过程中提取的特征为根据所述视频样本数据集提取的基于历史轨迹特征的增强特征。本发明通过一个端到端的端到端多目标跟踪模型整合目标检测分支、特征分支及身份关联分支,解决了现有技术中多目标跟踪结果不准确的缺陷,提升了多目标检测精度。
-
公开(公告)号:CN114913201B
公开(公告)日:2024-12-27
申请号:CN202210239608.4
申请日:2022-03-11
Applicant: 中国科学院自动化研究所
IPC: G06T7/246
Abstract: 本发明提供一种多目标跟踪方法、装置、电子设备、存储介质和产品,方法包括:获取待测视频;将所述待测视频输入端到端多目标跟踪模型,得到所述端到端多目标跟踪模型输出的所述待测视频包含的多目标信息;其中,所述多目标信息包括目标所在检测框和目标身份信息,所述端到端多目标模型是基于视频样本数据集训练得到的,所述端到端多目标模型训练过程中提取的特征为根据所述视频样本数据集提取的基于历史轨迹特征的增强特征。本发明通过一个端到端的端到端多目标跟踪模型整合目标检测分支、特征分支及身份关联分支,解决了现有技术中多目标跟踪结果不准确的缺陷,提升了多目标检测精度。
-
-
-
-
-
-
-
-
-