-
公开(公告)号:CN118692662A
公开(公告)日:2024-09-24
申请号:CN202411170606.X
申请日:2024-08-26
Applicant: 天津市国瑞数码安全系统股份有限公司
IPC: G16H50/20 , G16H50/30 , G06N3/0464 , G06V10/82 , G06V40/16 , G06V40/20 , G06F18/25 , A61B5/11 , A61B5/00 , G10L25/66 , G10L25/03
Abstract: 本发明涉及人工智能技术领域,尤其涉及一种基于多模态分析的音视频识别系统,该系统通过采集模块收集用户在音视频中的语音信号、面部表情、身体动作和生理信号;分析模块对这些信号进行特征提取,得到语音特征向量、面部特征向量、身体特征向量和生理状态向量;融合模块根据这些特征向量中的至少两项特征向量组成目标特征向量;评估模块根据目标特征向量和预设的模型框架构建诊断模型,预测用户的诊断病症概率,并评估用户患病的风险程度等级和置信度,得到风险置信度评分;调整模块根据风险置信度评分调整风险阈值。该系统能够全面监测用户的生理和心理状态,提供个性化的健康管理和预警服务,提高治疗效率,增强用户体验。
-
公开(公告)号:CN118573951A
公开(公告)日:2024-08-30
申请号:CN202410752871.2
申请日:2024-06-12
Applicant: 天津市国瑞数码安全系统股份有限公司
Abstract: 本发明提供一种多模态音视频信息融合传输方法和系统,通过前端融合和后端融合相结合的方式,实现多模态音视频信息的有效融合和传输,使得体感设备可以精确地根据用户的表现调整参数,克服现有音视频信息传输方法只能处理单模态信息,无法充分利用多模态信息间的互补性的问题。
-
公开(公告)号:CN118694752B
公开(公告)日:2024-12-17
申请号:CN202411170581.3
申请日:2024-08-26
Applicant: 天津市国瑞数码安全系统股份有限公司
Abstract: 本发明涉及音视频传输技术领域,尤其涉及一种基于多模态处理的音视频传输系统,包括:端口数据获取模块,其用以获取当前会话环境的各用户端信息;测试模块,用以通过传输测试获取各用户端的可用传输阈值;环境识别模块,其用以获取当前会话环境的维护模态以及确定对各用户端的传输匹配结果;数据流驱动模块,用以确定传输流分配比例、确定各模态数据流的压缩比例以及基于会话环境的维护模态的调整,更新所述压缩比例;本发明通过基于多模态数据的各客户端间的传输速度差异、数据量差异,调整音视频传输压缩方式,能够将同一会话环境中的各用户端的多模态数据的传输数据量通过压缩比例设定进行调整,保证各模态数据的传输同步性。
-
公开(公告)号:CN118694752A
公开(公告)日:2024-09-24
申请号:CN202411170581.3
申请日:2024-08-26
Applicant: 天津市国瑞数码安全系统股份有限公司
Abstract: 本发明涉及音视频传输技术领域,尤其涉及一种基于多模态处理的音视频传输系统,包括:端口数据获取模块,其用以获取当前会话环境的各用户端信息;测试模块,用以通过传输测试获取各用户端的可用传输阈值;环境识别模块,其用以获取当前会话环境的维护模态以及确定对各用户端的传输匹配结果;数据流驱动模块,用以确定传输流分配比例、确定各模态数据流的压缩比例以及基于会话环境的维护模态的调整,更新所述压缩比例;本发明通过基于多模态数据的各客户端间的传输速度差异、数据量差异,调整音视频传输压缩方式,能够将同一会话环境中的各用户端的多模态数据的传输数据量通过压缩比例设定进行调整,保证各模态数据的传输同步性。
-
-
-