公开(公告)号：CN113705402A

公开(公告)日：2021-11-26

申请号：CN202110950812.2

申请日：2021-08-18

Applicant: 中国科学院自动化研究所

Inventor： 徐常胜 ,  杨小汕 ,  黄毅

IPC: G06K9/00 ,  G06K9/46 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供一种视频行为预测方法、系统、电子设备及存储介质，方法包括：获取待预测的目标视频；将目标视频输入至视频行为预测模型，得到视频行为预测模型输出的行为预测结果；其中，视频行为预测模型用于通过图卷积神经网络对目标视频的历史时刻特征和未来时刻的状态特征进行动态关系建模，通过知识蒸馏对图卷积神经网络进行优化，基于优化后的图卷积神经网络，融合动态关系建模后的多模态特征，得到视频行为预测结果。本发明提供的视频行为预测方法、系统、电子设备及存储介质，可以有效地捕捉视频中历史片段和未来片段的多模态动态关系变化，通过知识蒸馏优化后的图卷积神经网络，可以更加准确的预测视频未来发生行为。

公开(公告)号：CN116453680A

公开(公告)日：2023-07-18

申请号：CN202310114053.5

申请日：2023-02-06

Applicant: 中国科学院自动化研究所

Inventor： 徐常胜 ,  蒋珊萍 ,  黄毅 ,  杨小汕

IPC: G16H50/20 ,  G06F18/25 ,  G06N3/08 ,  G06N3/0464

Abstract: 本发明提供一种基于胶囊网络和多模态信息的疾病诊断方法、装置、电子设备和存储介质，其中方法包括：确定当前次检测的诊断数据和生理测量数据；对诊断数据和生理测量数据分别进行特征提取，并进行融合得到对应的融合特征；将融合特征转换为对应的第一胶囊特征；获取相邻前一次得到的第二胶囊特征，并根据第一胶囊特征和第二胶囊特征，得到当前对应的诊断结果。实现了在疾病诊断过程中，采集多模态的数据作为诊断依据，同时基于胶囊网络对数据进行处理，提高数据的有效性，进而提高了疾病诊断确认的及时性和准确性。

公开(公告)号：CN113705402B

公开(公告)日：2024-08-13

申请号：CN202110950812.2

申请日：2021-08-18

Applicant: 中国科学院自动化研究所

Inventor： 徐常胜 ,  杨小汕 ,  黄毅

IPC: G06F30/27

Abstract: 本发明提供一种视频行为预测方法、系统、电子设备及存储介质，方法包括：获取待预测的目标视频；将目标视频输入至视频行为预测模型，得到视频行为预测模型输出的行为预测结果；其中，视频行为预测模型用于通过图卷积神经网络对目标视频的历史时刻特征和未来时刻的状态特征进行动态关系建模，通过知识蒸馏对图卷积神经网络进行优化，基于优化后的图卷积神经网络，融合动态关系建模后的多模态特征，得到视频行为预测结果。本发明提供的视频行为预测方法、系统、电子设备及存储介质，可以有效地捕捉视频中历史片段和未来片段的多模态动态关系变化，通过知识蒸馏优化后的图卷积神经网络，可以更加准确的预测视频未来发生行为。