公开(公告)号：CN119861614A

公开(公告)日：2025-04-22

申请号：CN202411874891.3

申请日：2024-12-19

Applicant: 上海交通大学

Inventor： 姜星伟 ,  田蓓 ,  肖刚

IPC: G05B19/042 ,  G06F18/2415 ,  G06N3/0455 ,  G06N3/08 ,  G06F18/10 ,  G06F18/213 ,  G06F18/25

Abstract: 一种基于多模态信息融合的自动化辅助驾驶方法，通过对采集到的飞行员操作数据、飞行员语音数据和飞行员图像数据进行进行预处理后，提取各模态的特征并生成样本集，用于训练多模态Transformer模型。在在线阶段采用训练后的多模态Transformer模型实时评估飞行员的行为状态，并将评估结果作为输入，进行自动化辅助驾驶系统的模式选择和调整。本发明融合飞行员操作、语音和图像不同传感器的数据，可以提供更全面和准确的飞行员状态信息，弥补单一数据源在特定场景下的不足，提高飞行员行为状态识别的鲁棒性和准确性，并能够根据飞行员状态和操作实时调整自动化辅助驾驶系统的等级模式，为飞行员提供可靠的自动化辅助驾驶支持，从而确保飞行安全。

公开(公告)号：CN119888978A

公开(公告)日：2025-04-25

申请号：CN202510014344.6

申请日：2025-01-06

Applicant: 上海交通大学

Inventor： 姜星伟 ,  田蓓 ,  肖刚

IPC: G08B21/18 ,  G08B21/04 ,  G08G5/70

Abstract: 一种基于决策融合的驾驶舱综合告警系统，包括：数据采集模块、数据同步与预处理模块、模型训练与预测模块和告警模块，其中：数据采集模块采集飞行员操作数据、姿态数据和生理数据；数据同步与预处理模块根据飞行员操作数据、姿态数据和生理数据进行时间同步，并进行噪声消除和特征提取；模型训练与预测模块通过支持向量机(SVM)模型和长短时记忆网络(LSTM)模型对输入数据特征进行训练与预测，并对这两类模型的预测结果进行决策级融合；告警模块基于预测的结果，结合当前飞行阶段，根据告警阈值判断结果和告警优先级给出相应的告警。本发明通过综合飞行员操作数据、姿态数据及生理数据，利用决策融合算法和多层告警机制，实现对飞行员行为状态的实时监测，并在出现非正常行为时及时发出告警。