-
公开(公告)号：CN117953543B
公开(公告)日：2024-06-25
申请号：CN202410346348.X
申请日：2024-03-26
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
Abstract: 本发明公开基于多元文本的人物交互检测方法、终端及可读存储介质，所述方法包括：获取原始待检测图像，根据所述原始待检测图像获取所述原始待检测图像中的人目标和物目标的多角度交互特征；获取先验文本的先验文本特征，将所述多角度交互特征和所述先验文本特征进行双向特征融合，得到融合图像特征和融合文本特征；根据所述多角度交互特征、所述融合图像特征和所述融合文本特征，输出人目标和物目标的交互动作预测结果。可以看出，本发明通过多元化文本的交叉对照，从而避免了单个文本作为先验信息时，会引入有歧义性的先验文本特征，进而影响模型预测的准确性和鲁棒性的问题，从而提高了模型整体预测的准确性和鲁棒性。
-
公开(公告)号：CN117312992A
公开(公告)日：2023-12-29
申请号：CN202311618738.X
申请日：2023-11-30
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06F18/2415 , G06F18/2431 , G06F18/25 , G06T7/80 , G06V40/16 , G06V10/80 , G10L25/03 , G10L25/30 , G10L25/63
Abstract: 本发明公开了一种多视角人脸特征与音频特征融合的情绪识别方法及系统，所述方法包括：获取用于捕获目标对象在不同视角的人脸图像的所有相机之间的位置关系，根据所述位置关系对所有所述相机进行校准；接收所有所述相机发送的所述目标对象在不同视角的人脸图像，并对所有所述人脸图像进行特征提取和融合，得到最终视觉特征；接收所述目标对象发出的音频信号，并根据所述音频信号得到音频特征，将所述最终视觉特征和所述音频特征进行融合得到最终融合特征，根据所述最终融合特征识别得到所述目标对象的情绪识别结果。本发明通过对相机进行标定，提供更加真实和全面的人脸图像，更全面地理解和分析用户的面部表情，提高情绪识别的准确性和可靠性。
-
公开(公告)号：CN117828281A
公开(公告)日：2024-04-05
申请号：CN202410247777.1
申请日：2024-03-05
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06F18/10 , G06F18/213 , G06F18/25
Abstract: 本发明公开了一种基于跨模态超图的行为意图识别方法、系统及终端，所述方法包括：获取目标对象在目标时间段内的多个不同的片段模态特征，对每个片段模态特征进行时域信息增强处理和跨模态增强处理，得到每个片段模态特征对应的单模态增强特征和跨模态增强特征，再得到跨模态超图中每个节点对应的擦除前时域特征、擦除前空域特征、擦除后时域特征和擦除后空域特征，进行融合得到最终融合特征，最后根据最终融合特征得到目标对象的行为预测结果。本发明结合使用了物理信号和生理信号，充分利用了不同模态之间信息的互补性，在时间维度和空间维度实现跨模态的交互和增强，能够有效消除模态间的不确定性，实现对患者的认知与行为检测。
-
公开(公告)号：CN117292815A
公开(公告)日：2023-12-26
申请号：CN202311030187.5
申请日：2023-08-15
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 交浦科技(深圳)有限公司
IPC: G16H50/20 , G06V40/20 , G06V10/44 , G06T7/215 , G06T7/246 , G06V10/82 , G06V10/26 , G06N3/0464 , G06N3/096
Abstract: 本发明公开了一种基于目标感知的标志行为检测方法，包括：步骤一、建立检测场景下的目标检测与多目标跟踪模型；步骤二、建立拥有目标感知能力的动作分割模型；步骤三、建立基于迁移学习的动作分割增强模型；步骤四、基于动作分割融合分析进行标志行为检测；其中，所述步骤一包括建立多层深度聚合特征提取器、建立基于目标计数约束的多目标检测、跟踪模型。本发明还提供了上述方法在孤独症早期标志行为检测中的应用。本发明有效地解决了传统的目标检测任务应用于孤独症早期标志行为检测时遇到的准确性不高和时效性不佳的问题。
-
公开(公告)号：CN117253269A
公开(公告)日：2023-12-19
申请号：CN202310927296.0
申请日：2023-07-26
Applicant: 交浦科技(深圳)有限公司 , 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06V40/16 , G06V40/20 , G06V10/25 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种多模态融合人‑物交互检测的异常行为检测系统，包括：交互场景；视觉系统，设置在交互场景旁，用于检测人‑物互动动作；交互场景包括可穿戴设备；视觉系统包括支架、设置在支架上的视觉获取设备和控制装置；支架设置在交互场景的一侧，视觉获取设备能够检测人‑物互动区域；控制装置与可穿戴设备、视觉获取设备通讯，以获取其采集的数据；控制装置运行深度学习模型，利用数据作为输入，判断异常行为。本发明还提供了利用上述检测系统检测孤独症异常行为的方法。本发明利用视觉装置捕捉儿童动作，利用手环获得儿童生理信息，利用人‑物交互检测技术判别儿童异常动作，提高检测准确度，为孤独症儿童筛查提供客观辅助。
-
Patent Agency Ranking
公开(公告)号：CN116311535B
公开(公告)日：2023-08-22
申请号：CN202310553376.4
申请日：2023-05-17
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06V40/20 , G06V10/42 , G06V10/44 , G06V10/52 , G06V10/80 , G06V10/82 , G06N3/08 , G06N3/0455 , G06N3/0464
Abstract: 本发明提供了一种基于人物交互检测的危险行为分析方法及系统，该危险行为分析方法包括：步骤1：原始图像经过图像特征提取器进行高级特征提取；步骤2：将步骤1提取出的特征分别送入动作感知模块和目标感知模块进行隐式的动作语义特征提取和显式的目标感知特征提取；步骤3：将步骤2提取出的动作语义特征和目标感知特征送入交互感知模块进行融合，得到包含动作感知特征和目标感知特征的交互特征，所述交互特征被用于最终的人‑物交互预测。本发明的有益效果是：本发明通过人‑物交互检测从细粒度层级上分析人体行为，可实现危险行为精确分析。
-
公开(公告)号：CN117953543A
公开(公告)日：2024-04-30
申请号：CN202410346348.X
申请日：2024-03-26
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
Abstract: 本发明公开基于多元文本的人物交互检测方法、终端及可读存储介质，所述方法包括：获取原始待检测图像，根据所述原始待检测图像获取所述原始待检测图像中的人目标和物目标的多角度交互特征；获取先验文本的先验文本特征，将所述多角度交互特征和所述先验文本特征进行双向特征融合，得到融合图像特征和融合文本特征；根据所述多角度交互特征、所述融合图像特征和所述融合文本特征，输出人目标和物目标的交互动作预测结果。可以看出，本发明通过多元化文本的交叉对照，从而避免了单个文本作为先验信息时，会引入有歧义性的先验文本特征，进而影响模型预测的准确性和鲁棒性的问题，从而提高了模型整体预测的准确性和鲁棒性。
-
公开(公告)号：CN116311535A
公开(公告)日：2023-06-23
申请号：CN202310553376.4
申请日：2023-05-17
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06V40/20 , G06V10/42 , G06V10/44 , G06V10/52 , G06V10/80 , G06V10/82 , G06N3/08 , G06N3/0455 , G06N3/0464
Abstract: 本发明提供了一种基于人物交互检测的危险行为分析方法及系统，该危险行为分析方法包括：步骤1：原始图像经过图像特征提取器进行高级特征提取；步骤2：将步骤1提取出的特征分别送入动作感知模块和目标感知模块进行隐式的动作语义特征提取和显式的目标感知特征提取；步骤3：将步骤2提取出的动作语义特征和目标感知特征送入交互感知模块进行融合，得到包含动作感知特征和目标感知特征的交互特征，所述交互特征被用于最终的人‑物交互预测。本发明的有益效果是：本发明通过人‑物交互检测从细粒度层级上分析人体行为，可实现危险行为精确分析。
-
公开(公告)号：CN118379485A
公开(公告)日：2024-07-23
申请号：CN202410807749.0
申请日：2024-06-21
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06V10/25 , G06V10/82 , G06N3/0464 , G06N3/084 , G06N3/0455 , G06V20/64 , G06V10/766
Abstract: 本发明公开了一种基于多模态协同的3D多目标跟踪方法，方法包括：将当前获取的3D点云序列输入3D目标检测器、图像序列输入2D目标检测器，分别获得3D检测框和2D检测框并输入多模态位置优化器，利用基于图像语义信息的2D检测框调整对应物体的3D检测框，获得增强3D坐标框投影到对应的相机平面获得相应区域，并利用外观特征提取器获得物体对应的当前外观特征；利用轨迹管理模块存储外观特征和运动特征并进行更新，具体为：将当前外观特征、增强3D坐标框与历史轨迹外观特征和运动特征进行相似度匹配；根据匹配结果进行外观特征和运动特征的更新；更新完成后的轨迹管理模块输出跟踪结果。本发明方法提高了3D多目标跟踪效果。
-
公开(公告)号：CN117828281B
公开(公告)日：2024-05-07
申请号：CN202410247777.1
申请日：2024-03-05
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06F18/10 , G06F18/213 , G06F18/25
Abstract: 本发明公开了一种基于跨模态超图的行为意图识别方法、系统及终端，所述方法包括：获取目标对象在目标时间段内的多个不同的片段模态特征，对每个片段模态特征进行时域信息增强处理和跨模态增强处理，得到每个片段模态特征对应的单模态增强特征和跨模态增强特征，再得到跨模态超图中每个节点对应的擦除前时域特征、擦除前空域特征、擦除后时域特征和擦除后空域特征，进行融合得到最终融合特征，最后根据最终融合特征得到目标对象的行为预测结果。本发明结合使用了物理信号和生理信号，充分利用了不同模态之间信息的互补性，在时间维度和空间维度实现跨模态的交互和增强，能够有效消除模态间的不确定性，实现对患者的认知与行为检测。
-
-
-
-
-
-
-
-
-
Search Results
14
records
(took 0.044 seconds)
