一种基于跨模态超图的行为意图识别方法、系统及终端

    公开(公告)号:CN117828281B

    公开(公告)日:2024-05-07

    申请号:CN202410247777.1

    申请日:2024-03-05

    Abstract: 本发明公开了一种基于跨模态超图的行为意图识别方法、系统及终端,所述方法包括:获取目标对象在目标时间段内的多个不同的片段模态特征,对每个片段模态特征进行时域信息增强处理和跨模态增强处理,得到每个片段模态特征对应的单模态增强特征和跨模态增强特征,再得到跨模态超图中每个节点对应的擦除前时域特征、擦除前空域特征、擦除后时域特征和擦除后空域特征,进行融合得到最终融合特征,最后根据最终融合特征得到目标对象的行为预测结果。本发明结合使用了物理信号和生理信号,充分利用了不同模态之间信息的互补性,在时间维度和空间维度实现跨模态的交互和增强,能够有效消除模态间的不确定性,实现对患者的认知与行为检测。

    一种基于仿生触觉手指的多模态仿生触觉感知方法及系统

    公开(公告)号:CN119188781A

    公开(公告)日:2024-12-27

    申请号:CN202411668141.0

    申请日:2024-11-21

    Abstract: 本发明公开了一种基于仿生触觉手指的多模态仿生触觉感知方法及系统,所述方法包括:获取仿生触觉手指产生的电荷信号,对电荷信号进行预处理得到压电数字信号;获取仿生触觉手指拍摄的图像序列,对图像序列进行信号处理得到视触觉信号;对压电数字信号和视触觉信号进行融合处理,得到时空触觉信号,对时空触觉信号分别进行表面三维重建和频谱分析,得到多模态触觉信息。本发明基于手指仿生特征,集成压电传感器和视触觉传感器,设计仿生触觉手指,在时间和空间维度上进行了数据融合,实现多模态触觉感知能力,通过结构仿生和功能仿生,使得机器人触觉获得不同时空下不同振动刺激的识别和定位能力。

Patent Agency Ranking