-
公开(公告)号：CN118379485A
公开(公告)日：2024-07-23
申请号：CN202410807749.0
申请日：2024-06-21
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06V10/25 , G06V10/82 , G06N3/0464 , G06N3/084 , G06N3/0455 , G06V20/64 , G06V10/766
Abstract: 本发明公开了一种基于多模态协同的3D多目标跟踪方法，方法包括：将当前获取的3D点云序列输入3D目标检测器、图像序列输入2D目标检测器，分别获得3D检测框和2D检测框并输入多模态位置优化器，利用基于图像语义信息的2D检测框调整对应物体的3D检测框，获得增强3D坐标框投影到对应的相机平面获得相应区域，并利用外观特征提取器获得物体对应的当前外观特征；利用轨迹管理模块存储外观特征和运动特征并进行更新，具体为：将当前外观特征、增强3D坐标框与历史轨迹外观特征和运动特征进行相似度匹配；根据匹配结果进行外观特征和运动特征的更新；更新完成后的轨迹管理模块输出跟踪结果。本发明方法提高了3D多目标跟踪效果。
-
公开(公告)号：CN117828281B
公开(公告)日：2024-05-07
申请号：CN202410247777.1
申请日：2024-03-05
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06F18/10 , G06F18/213 , G06F18/25
Abstract: 本发明公开了一种基于跨模态超图的行为意图识别方法、系统及终端，所述方法包括：获取目标对象在目标时间段内的多个不同的片段模态特征，对每个片段模态特征进行时域信息增强处理和跨模态增强处理，得到每个片段模态特征对应的单模态增强特征和跨模态增强特征，再得到跨模态超图中每个节点对应的擦除前时域特征、擦除前空域特征、擦除后时域特征和擦除后空域特征，进行融合得到最终融合特征，最后根据最终融合特征得到目标对象的行为预测结果。本发明结合使用了物理信号和生理信号，充分利用了不同模态之间信息的互补性，在时间维度和空间维度实现跨模态的交互和增强，能够有效消除模态间的不确定性，实现对患者的认知与行为检测。
-
公开(公告)号：CN117312992B
公开(公告)日：2024-03-12
申请号：CN202311618738.X
申请日：2023-11-30
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06F18/2415 , G06F18/2431 , G06F18/25 , G06T7/80 , G06V40/16 , G06V10/80 , G10L25/03 , G10L25/30 , G10L25/63
Abstract: 本发明公开了一种多视角人脸特征与音频特征融合的情绪识别方法及系统，所述方法包括：获取用于捕获目标对象在不同视角的人脸图像的所有相机之间的位置关系，根据所述位置关系对所有所述相机进行校准；接收所有所述相机发送的所述目标对象在不同视角的人脸图像，并对所有所述人脸图像进行特征提取和融合，得到最终视觉特征；接收所述目标对象发出的音频信号，并根据所述音频信号得到音频特征，将所述最终视觉特征和所述音频特征进行融合得到最终融合特征，根据所述最终融合特征识别得到所述目标对象的情绪识别结果。本发明通过对相机进行标定，提供更加真实和全面的人脸图像，更全面地理解和分析用户的面部表情，提高情绪识别的准确性和可靠性。
-
公开(公告)号：CN116434150B
公开(公告)日：2023-12-05
申请号：CN202310703363.0
申请日：2023-06-14
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
Abstract: 本发明提供了一种面向拥挤场景的多目标检测跟踪方法、系统及存储介质，多目标检测跟踪方法包括如下步骤：步骤1：将视频帧序列输入目标检测器，获得逐帧检测结果，逐帧检测结果包括检测框和偏移，检测框包括初始身体框和头部框，利用头部框和偏移对初始身体框进行补充得到身体框；步骤2：将所有身体框输入运动特征提取模块，获得所有行人的运动特征；将所有身体框和头部框输入外观特征提取模块，获得所有身体框和头部框的外观特征向量，并将来自同一行人的头部外观特征向量和身体外观特征向量进行拼接得到行人的外观特征。本发明的有益效果是：本发明提高了检测精度，提高了拥挤场景中移动目标运动估计的准确性。
-
公开(公告)号：CN117828281A
公开(公告)日：2024-04-05
申请号：CN202410247777.1
申请日：2024-03-05
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06F18/10 , G06F18/213 , G06F18/25
Abstract: 本发明公开了一种基于跨模态超图的行为意图识别方法、系统及终端，所述方法包括：获取目标对象在目标时间段内的多个不同的片段模态特征，对每个片段模态特征进行时域信息增强处理和跨模态增强处理，得到每个片段模态特征对应的单模态增强特征和跨模态增强特征，再得到跨模态超图中每个节点对应的擦除前时域特征、擦除前空域特征、擦除后时域特征和擦除后空域特征，进行融合得到最终融合特征，最后根据最终融合特征得到目标对象的行为预测结果。本发明结合使用了物理信号和生理信号，充分利用了不同模态之间信息的互补性，在时间维度和空间维度实现跨模态的交互和增强，能够有效消除模态间的不确定性，实现对患者的认知与行为检测。
-
Patent Agency Ranking
公开(公告)号：CN116311535B
公开(公告)日：2023-08-22
申请号：CN202310553376.4
申请日：2023-05-17
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06V40/20 , G06V10/42 , G06V10/44 , G06V10/52 , G06V10/80 , G06V10/82 , G06N3/08 , G06N3/0455 , G06N3/0464
Abstract: 本发明提供了一种基于人物交互检测的危险行为分析方法及系统，该危险行为分析方法包括：步骤1：原始图像经过图像特征提取器进行高级特征提取；步骤2：将步骤1提取出的特征分别送入动作感知模块和目标感知模块进行隐式的动作语义特征提取和显式的目标感知特征提取；步骤3：将步骤2提取出的动作语义特征和目标感知特征送入交互感知模块进行融合，得到包含动作感知特征和目标感知特征的交互特征，所述交互特征被用于最终的人‑物交互预测。本发明的有益效果是：本发明通过人‑物交互检测从细粒度层级上分析人体行为，可实现危险行为精确分析。
-
公开(公告)号：CN118379485B
公开(公告)日：2025-01-28
申请号：CN202410807749.0
申请日：2024-06-21
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06V10/25 , G06V10/82 , G06N3/0464 , G06N3/084 , G06N3/0455 , G06V20/64 , G06V10/766
Abstract: 本发明公开了一种基于多模态协同的3D多目标跟踪方法，方法包括：将当前获取的3D点云序列输入3D目标检测器、图像序列输入2D目标检测器，分别获得3D检测框和2D检测框并输入多模态位置优化器，利用基于图像语义信息的2D检测框调整对应物体的3D检测框，获得增强3D坐标框投影到对应的相机平面获得相应区域，并利用外观特征提取器获得物体对应的当前外观特征；利用轨迹管理模块存储外观特征和运动特征并进行更新，具体为：将当前外观特征、增强3D坐标框与历史轨迹外观特征和运动特征进行相似度匹配；根据匹配结果进行外观特征和运动特征的更新；更新完成后的轨迹管理模块输出跟踪结果。本发明方法提高了3D多目标跟踪效果。
-
公开(公告)号：CN116434150A
公开(公告)日：2023-07-14
申请号：CN202310703363.0
申请日：2023-06-14
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
Abstract: 本发明提供了一种面向拥挤场景的多目标检测跟踪方法、系统及存储介质，多目标检测跟踪方法包括如下步骤：步骤1：将视频帧序列输入目标检测器，获得逐帧检测结果，逐帧检测结果包括检测框和偏移，检测框包括初始身体框和头部框，利用头部框和偏移对初始身体框进行补充得到身体框；步骤2：将所有身体框输入运动特征提取模块，获得所有行人的运动特征；将所有身体框和头部框输入外观特征提取模块，获得所有身体框和头部框的外观特征向量，并将来自同一行人的头部外观特征向量和身体外观特征向量进行拼接得到行人的外观特征。本发明的有益效果是：本发明提高了检测精度，提高了拥挤场景中移动目标运动估计的准确性。
-
公开(公告)号：CN117953543A
公开(公告)日：2024-04-30
申请号：CN202410346348.X
申请日：2024-03-26
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
Abstract: 本发明公开基于多元文本的人物交互检测方法、终端及可读存储介质，所述方法包括：获取原始待检测图像，根据所述原始待检测图像获取所述原始待检测图像中的人目标和物目标的多角度交互特征；获取先验文本的先验文本特征，将所述多角度交互特征和所述先验文本特征进行双向特征融合，得到融合图像特征和融合文本特征；根据所述多角度交互特征、所述融合图像特征和所述融合文本特征，输出人目标和物目标的交互动作预测结果。可以看出，本发明通过多元化文本的交叉对照，从而避免了单个文本作为先验信息时，会引入有歧义性的先验文本特征，进而影响模型预测的准确性和鲁棒性的问题，从而提高了模型整体预测的准确性和鲁棒性。
-
公开(公告)号：CN116311535A
公开(公告)日：2023-06-23
申请号：CN202310553376.4
申请日：2023-05-17
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06V40/20 , G06V10/42 , G06V10/44 , G06V10/52 , G06V10/80 , G06V10/82 , G06N3/08 , G06N3/0455 , G06N3/0464
Abstract: 本发明提供了一种基于人物交互检测的危险行为分析方法及系统，该危险行为分析方法包括：步骤1：原始图像经过图像特征提取器进行高级特征提取；步骤2：将步骤1提取出的特征分别送入动作感知模块和目标感知模块进行隐式的动作语义特征提取和显式的目标感知特征提取；步骤3：将步骤2提取出的动作语义特征和目标感知特征送入交互感知模块进行融合，得到包含动作感知特征和目标感知特征的交互特征，所述交互特征被用于最终的人‑物交互预测。本发明的有益效果是：本发明通过人‑物交互检测从细粒度层级上分析人体行为，可实现危险行为精确分析。
-
-
-
-
-
-
-
-
-
Search Results
18
records
(took 0.03 seconds)
