公开(公告)号：CN118924284A

公开(公告)日：2024-11-12

申请号：CN202411010611.4

申请日：2024-07-26

Applicant: 重庆邮电大学

Inventor： 刘亮 ,  李显达 ,  肖金凤 ,  宋奇 ,  刘寰

IPC: A61B5/11 ,  A61B5/00 ,  G06V40/20 ,  G06V10/80 ,  G06V10/82 ,  G06N3/042 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明属于人工智能技术领域，尤其涉及一种基于多模态数据融合及双流图学习的跌倒检测方法，包括采集检测目标的加速度、图像以及声音数据，根据加速度、图像融合得到融合模态编码、根据声音数据得到声音模态编码；分别对基于融合模态编码、声音模态编码得到的单模态图数据进行单模态图学习得到对应的单模态学习特征；基于融合模态编码、声音模态编码得到的多模态图数据进行多模态图学习，得到融合模态编码、声音模态编码对应的多模态学习特征；将同一模态编码的单模态和多模态编码通过相加进行融合后通过拼接的方式与另一模态编码进行融合得到跨模态特征；将跨模态特征通过一个全连接层获取跌倒预测结果；本发明具有更高的准确性和可靠性。

公开(公告)号：CN118965264A

公开(公告)日：2024-11-15

申请号：CN202411006200.8

申请日：2024-07-25

Applicant: 重庆邮电大学

Inventor： 刘亮 ,  肖金凤 ,  李显达 ,  刘寰

IPC: G06F18/25 ,  G06N3/0455 ,  G06N3/082 ,  G06F18/241

Abstract: 本发明属于多模态数据融合技术领域，涉及一种基于多模态数据融合的摔倒检测方法及系统，包括：采集多模态数据并提取多模态特征；对多模态特征进行初步特征融合，得到初步融合特征；根据初步融合特征计算加权置信shapley值，根据加权置信shapley值对初步融合特征进行加权融合，得到加权融合特征；利用Transformer模型对加权融合特征进行处理，得到深度融合特征；根据深度融合特征得到分类结果；计算损失函数值，根据损失函数值更新模型参数，当损失函数值最小时，完成摔倒检测模型训练；本发明在计算Shapley值时通过引入置信度和可靠度计算，使得融合过程能够更好地处理不确定性和冲突信息，提高了结果的稳健性。