本发明涉及一种基于多模态临床诊疗数据的病情分析系统，包括病历信息提取单元、视频采集单元、影像数据采集单元、特征提取单元，多模态融合单元、病情分类单元和在线学习单元；病历信息提取单元用于提取患者的医疗信息；视频采集单元用于采集患者就诊视频；影像数据采集单元用于采集患者影像数据；特征提取单元用于提取多模态数据特征；多模态融合单元将多模态数据特征进行融合，得到多模态融合特征；病情分类单元基于多模态融合特征，输出病情分类；在线学习单元基于医疗信息、就诊视频及影像数据，更新网络模型参数，实现模型在线学习。与现有技术相比，本发明提高了病情分析的正确率，解决了病情识别正确率低和信息挖掘程度不深的问题。