-
公开(公告)号：CN114140831B
公开(公告)日：2022-07-01
申请号：CN202210113382.3
申请日：2022-01-30
Applicant: 中国科学院自动化研究所
IPC: G06V40/10 , G06V10/40 , G06V10/74 , G06V10/774 , G06K9/62
Abstract: 本发明提供一种人体姿态估计方法、装置、电子设备及存储介质，方法包括：获取目标图像；将所述目标图像输入至人体姿态估计模型，得到所述人体姿态估计模型输出的所述目标图像中人体姿态信息；其中，所述人体姿态估计模型，是基于样本行人场景图像进行训练后得到的，用于估计图像中人体姿态信息；所述人体姿态信息包括人体实例及对应的人体关键点位置，通过人体姿态估计模型实现了端到端的人体姿态估计，提升了人体姿态估计的效率。
-
Patent Agency Ranking
公开(公告)号：CN119006598A
公开(公告)日：2024-11-22
申请号：CN202411457850.4
申请日：2024-10-18
Applicant: 中国科学院自动化研究所
IPC: G06T7/73 , G06N3/0455 , G06F18/25
Abstract: 本发明提供一种基于深度学习的姿态估计方法以及系统，应用于图像识别领域，其中，方法包括：获取目标图像、自然语言指令以及模板图像；通过预设的提示生成器，分别对自然语言指令与模板图像进行编码，得到文本特征与视觉特征；通过提示生成器的大语言模型，对文本特征与视觉特征进行多模态特征融合，得到多模态特征信息；通过提示生成器的视觉嵌入投影层，基于多模态特征信息，生成姿态提示向量；将目标图像与姿态提示向量输入至预设的姿态估计器，得到姿态估计器输出的关键点热力图；对关键点热力图进行关键点位置解析，得到目标图像的姿态估计结果。通过本发明能够灵活地适应不同的类别的姿态估计需求。
-
公开(公告)号：CN119964227A
公开(公告)日：2025-05-09
申请号：CN202411725597.6
申请日：2024-11-28
Applicant: 中国科学院自动化研究所
IPC: G06V40/20 , G06V40/10 , G06V20/60 , G06V10/82 , G06V10/25 , G06V10/44 , G06N3/0455 , G06N3/096 , G06N5/045
Abstract: 本发明提供一种基于可解释视觉提示的人物交互行为识别方法和装置，包括：基于获取的多个包含人物交互行为的图片生成人物交互行为识别数据集；将数据集中的图像输入特征提取网络得到全图特征；将全图特征与为图像添加的视觉提示输入人体物体检测器，得到人体视觉特征、物体视觉特征、人体视觉提示和物体视觉提示；将这些特征输入人物交互行为解码器得到交互行为特征；基于预训练的教师网络模型对图像进行检测得到人体姿态特征、物体特征和交互区域特征，作为教师特征，将人体视觉提示、物体视觉提示和交互行为特征作为学生特征，蒸馏识别网络的参数，得到训练后的人物交互行为识别网络。基于该网络能够实现准确的人物交互行为识别。
-
公开(公告)号：CN119964043A
公开(公告)日：2025-05-09
申请号：CN202411728301.6
申请日：2024-11-28
Applicant: 中国科学院自动化研究所
Abstract: 本发明提供一种基于双层混合专家模型的视频理解方法和装置，包括：将获取的文本描述进行文本扩增，同时生成可学习的文本提示，将文本扩增得到的扩增文本描述与可学习的文本提示进行编码得到文本特征；将视频分成多个视频序列块，将视频与各视频序列块拼接后输入视频编码器进行编码得到视觉特征；每个视频序列块包含同一位置的完整视频信息以及可学习的视觉提示；利用预训练的大语言模型基于视觉特征和文本特征分别生成视觉标记和文本标记；使用双层混合专家模型学习视觉标记和文本标记得到视频内容表述。本发明通过结合文本描述和视觉特征，以及使用预训练的大语言模型和双层混合专家模型，能够更准确地理解视频内容。
-
公开(公告)号：CN119006598B
公开(公告)日：2025-04-29
申请号：CN202411457850.4
申请日：2024-10-18
Applicant: 中国科学院自动化研究所
IPC: G06T7/73 , G06N3/0455 , G06F18/25
Abstract: 本发明提供一种基于深度学习的姿态估计方法以及系统，应用于图像识别领域，其中，方法包括：获取目标图像、自然语言指令以及模板图像；通过预设的提示生成器，分别对自然语言指令与模板图像进行编码，得到文本特征与视觉特征；通过提示生成器的大语言模型，对文本特征与视觉特征进行多模态特征融合，得到多模态特征信息；通过提示生成器的视觉嵌入投影层，基于多模态特征信息，生成姿态提示向量；将目标图像与姿态提示向量输入至预设的姿态估计器，得到姿态估计器输出的关键点热力图；对关键点热力图进行关键点位置解析，得到目标图像的姿态估计结果。通过本发明能够灵活地适应不同的类别的姿态估计需求。
-
公开(公告)号：CN114140831A
公开(公告)日：2022-03-04
申请号：CN202210113382.3
申请日：2022-01-30
Applicant: 中国科学院自动化研究所
IPC: G06V40/10 , G06V10/40 , G06V10/74 , G06V10/774 , G06K9/62
Abstract: 本发明提供一种人体姿态估计方法、装置、电子设备及存储介质，方法包括：获取目标图像；将所述目标图像输入至人体姿态估计模型，得到所述人体姿态估计模型输出的所述目标图像中人体姿态信息；其中，所述人体姿态估计模型，是基于样本行人场景图像进行训练后得到的，用于估计图像中人体姿态信息；所述人体姿态信息包括人体实例及对应的人体关键点位置，通过人体姿态估计模型实现了端到端的人体姿态估计，提升了人体姿态估计的效率。
-
-
-
-
-
Search Results
6
records
(took 0.027 seconds)
