-
公开(公告)号:CN113705402B
公开(公告)日:2024-08-13
申请号:CN202110950812.2
申请日:2021-08-18
Applicant: 中国科学院自动化研究所
IPC: G06F30/27
Abstract: 本发明提供一种视频行为预测方法、系统、电子设备及存储介质,方法包括:获取待预测的目标视频;将目标视频输入至视频行为预测模型,得到视频行为预测模型输出的行为预测结果;其中,视频行为预测模型用于通过图卷积神经网络对目标视频的历史时刻特征和未来时刻的状态特征进行动态关系建模,通过知识蒸馏对图卷积神经网络进行优化,基于优化后的图卷积神经网络,融合动态关系建模后的多模态特征,得到视频行为预测结果。本发明提供的视频行为预测方法、系统、电子设备及存储介质,可以有效地捕捉视频中历史片段和未来片段的多模态动态关系变化,通过知识蒸馏优化后的图卷积神经网络,可以更加准确的预测视频未来发生行为。
-
公开(公告)号:CN113901880A
公开(公告)日:2022-01-07
申请号:CN202111069905.0
申请日:2021-09-13
Applicant: 中国科学院自动化研究所
Abstract: 本发明提供一种实时事件流识别方法及系统,包括:确定待识别个体事件;将所述待识别个体事件输入至预先训练好的事件流检测模型,得到个体事件识别结果;其中,所述事件流检测模型是基于不同个体事件样本数据特征进行融合得到融合特征后,将所述融合特征进行边界匹配,并基于个体自适应元学习进行分类识别后所得到。本发明通过对健康实时事件进行识别时,采用模型无关的元学习策略对事件流检测模型进行优化,实现了以最低代价得到具有个体自适应的检测模型,大大提高模型的泛化能力。
-
公开(公告)号:CN110851621A
公开(公告)日:2020-02-28
申请号:CN201911055049.6
申请日:2019-10-31
Applicant: 中国科学院自动化研究所 , 腾讯科技(深圳)有限公司
Abstract: 本申请实施例涉及视频中精彩片段检测场景,提供一种基于知识图谱预测视频精彩级别的方法、装置及存储介质,方法包括:识别各视频分片中存在的多个语义概念以及获取各语义概念的概率分布特征;根据预设的先验概念和多个语义概念,确定各语义概念对应先验情感的情感特征,以及各语义概念和先验情感之间的关联关系;根据各语义概念和先验情感之间的关联关系得到图结构;根据各语义概念的概率分布特征、情感特征、词向量,得到图特征;根据所述图结构和所述图特征预测各视频分片对应的精彩级别。本方案能够提高检测精彩视频分片的准确率和效率,以及适用多种场景的视频。
-
公开(公告)号:CN110110145A
公开(公告)日:2019-08-09
申请号:CN201810082485.1
申请日:2018-01-29
Applicant: 腾讯科技(深圳)有限公司 , 中国科学院自动化研究所
Abstract: 本申请公开了一种描述文本生成方及装置,属于信息处理领域。所述方法包括:从目标对象中提取出至少一个视觉特征向量,所述目标对象为视频或图片;获取与每个所述视觉特征向量对应的语义特征向量;对所述至少一个视觉特征向量,以及每个所述视觉特征向量对应的语义特征向量进行处理,得到所述目标对象的描述文本。本申请提供的方法的描述准确性和灵活性较高。
-
公开(公告)号:CN110851621B
公开(公告)日:2023-10-13
申请号:CN201911055049.6
申请日:2019-10-31
Applicant: 中国科学院自动化研究所 , 腾讯科技(深圳)有限公司
Abstract: 本申请实施例涉及视频中精彩片段检测场景,提供一种基于知识图谱预测视频精彩级别的方法、装置及存储介质,方法包括:识别各视频分片中存在的多个语义概念以及获取各语义概念的概率分布特征;根据预设的先验概念和多个语义概念,确定各语义概念对应先验情感的情感特征,以及各语义概念和先验情感之间的关联关系;根据各语义概念和先验情感之间的关联关系得到图结构;根据各语义概念的概率分布特征、情感特征、词向量,得到图特征;根据所述图结构和所述图特征预测各视频分片对应的精彩级别。本方案能够提高检测精彩视频分片的准确率和效率,以及适用多种场景的视频。
-
公开(公告)号:CN114943857A
公开(公告)日:2022-08-26
申请号:CN202111501858.2
申请日:2021-12-09
Applicant: 中国科学院自动化研究所 , 中国长峰机电技术研究设计院
IPC: G06V10/764 , G06V10/82 , G06V10/766 , G06V10/46 , G06N3/04 , G06N3/08
Abstract: 本发明提供一种样本目标检测方法和装置,其中,方法包括:获取待检测样本;将所述待检测样本输入校准的分类网络,得到对应的目标类别。本发明通过聚合全局和局部上下文知识以增强少样本目标检测任务中的RoI特征的工作,避免过拟合问题,这有助于为前景和背景类别学习更稳健的边界。
-
公开(公告)号:CN110110145B
公开(公告)日:2023-08-22
申请号:CN201810082485.1
申请日:2018-01-29
Applicant: 腾讯科技(深圳)有限公司 , 中国科学院自动化研究所
Abstract: 本申请公开了一种描述文本生成方及装置,属于信息处理领域。所述方法包括:从目标对象中提取出至少一个视觉特征向量,所述目标对象为视频或图片;获取与每个所述视觉特征向量对应的语义特征向量;对所述至少一个视觉特征向量,以及每个所述视觉特征向量对应的语义特征向量进行处理,得到所述目标对象的描述文本。本申请提供的方法的描述准确性和灵活性较高。
-
公开(公告)号:CN116453680A
公开(公告)日:2023-07-18
申请号:CN202310114053.5
申请日:2023-02-06
Applicant: 中国科学院自动化研究所
IPC: G16H50/20 , G06F18/25 , G06N3/08 , G06N3/0464
Abstract: 本发明提供一种基于胶囊网络和多模态信息的疾病诊断方法、装置、电子设备和存储介质,其中方法包括:确定当前次检测的诊断数据和生理测量数据;对诊断数据和生理测量数据分别进行特征提取,并进行融合得到对应的融合特征;将融合特征转换为对应的第一胶囊特征;获取相邻前一次得到的第二胶囊特征,并根据第一胶囊特征和第二胶囊特征,得到当前对应的诊断结果。实现了在疾病诊断过程中,采集多模态的数据作为诊断依据,同时基于胶囊网络对数据进行处理,提高数据的有效性,进而提高了疾病诊断确认的及时性和准确性。
-
公开(公告)号:CN111611950A
公开(公告)日:2020-09-01
申请号:CN202010453220.5
申请日:2020-05-26
Applicant: 中国科学院自动化研究所
Abstract: 本发明涉及一种视频精彩片段检测方法及系统,所述检测方法包括:将待测视频均分为多段视频片段;提取各视频片段的特征,得到对应各视频片段的特征表示;根据各特征表示及各视频片段之间关系,确定各视频片段的表示;利用图网络,更新各视频片段的信息;通过二元赋值向量模型,根据各视频片段的信息,确定各视频片段是否是精彩片段。本发明通过将待测视频均分为多段视频片段,并进行特征提取,得到对应的特征表示,确定并更新各视频片段的表示,进而通过二元赋值向量模型,可直接确定各视频片段是否是精彩片段,从而可提高视频片段的检测精度。
-
公开(公告)号:CN104142995B
公开(公告)日:2017-09-26
申请号:CN201410370304.7
申请日:2014-07-30
Applicant: 中国科学院自动化研究所
IPC: G06F17/30
Abstract: 本发明公开了一种基于视觉属性的社会事件识别方法,该方法包括:步骤101,从训练事件视频集中的视频中提取视觉属性,所述视觉属性用于描述与视频对应的事件相关的属性;其中,所述训练事件视频中的每个视频对应一个已知事件类别;步骤102,基于提升的迭代模型,训练得到视觉属性分类器,并利用所述视觉属性分类器训练得到多个事件弱分类器;步骤103,基于上述得到的视觉属性分类器以及多个事件弱分类器对待分类事件视频进行分类。本发明针对传统的基于属性的视频事件识别方法中需要大量人工给定的语义标签问题,提出了自动的视觉属性挖掘方法;另外针对视频事件识别中视觉属性复杂多变的问题,本发明对同一种视觉属性建立了多种特征表示。
-
-
-
-
-
-
-
-
-