-
公开(公告)号:CN116029394B
公开(公告)日:2023-06-30
申请号:CN202310315955.5
申请日:2023-03-29
Applicant: 季华实验室
Abstract: 本申请涉及文本识别技术领域,提供了一种自适应文本情感识别模型训练方法、电子设备及存储介质,该方法通过构建源域的第一稳定混淆域增强与目标域的第二稳定混淆域增强,有效建立跨域数据之间迁移桥梁,同时,利用双策略伪标签产生方法和改进的对比学习技术充分挖掘目标域的特性,提升源域到目标域迁移的可靠性和稳定性。本发明克服了现有技术中缺乏已标注领域数据的问题,节省时间和成本,能够高效准确的完成文本情感识别和领域之间的自适应,具有较好的实用性,具备良好的适用范围以及可扩展性。
-
公开(公告)号:CN116259407A
公开(公告)日:2023-06-13
申请号:CN202310550630.5
申请日:2023-05-16
Applicant: 季华实验室
Abstract: 本发明涉及医学诊疗技术领域,具体公开了一种基于多模态数据的疾病诊断方法、装置、设备及介质,其中,方法包括以下步骤:分别提取问题文本特征、病症文本特征、音频特征和图像特征;将病症文本特征、音频特征和图像特征映射至同一维度下,并进行特征对齐处理;融合特征对齐后的病症文本特征、音频特征和图像特征获取融合特征向量;拼接问题文本特征和融合特征向量获取拼接向量;将拼接向量置入预先训练好的语言模型生成诊断结果;该方法能充分挖掘不同模态数据之间的关联性和差异性,解决了多模态数据因为数据之间的差异性而难以捕捉其关系的问题,以将各类特征进行有效融合,能有效缓解医生疲劳,并提高疾病诊断准确率。
-
公开(公告)号:CN116029394A
公开(公告)日:2023-04-28
申请号:CN202310315955.5
申请日:2023-03-29
Applicant: 季华实验室
Abstract: 本申请涉及文本识别技术领域,提供了一种自适应文本情感识别模型训练方法、电子设备及存储介质,该方法通过构建源域的第一稳定混淆域增强与目标域的第二稳定混淆域增强,有效建立跨域数据之间迁移桥梁,同时,利用双策略伪标签产生方法和改进的对比学习技术充分挖掘目标域的特性,提升源域到目标域迁移的可靠性和稳定性。本发明克服了现有技术中缺乏已标注领域数据的问题,节省时间和成本,能够高效准确的完成文本情感识别和领域之间的自适应,具有较好的实用性,具备良好的适用范围以及可扩展性。
-
公开(公告)号:CN115277264B
公开(公告)日:2023-03-24
申请号:CN202211192216.3
申请日:2022-09-28
Applicant: 季华实验室
IPC: H04L9/40 , H04N21/462 , H04N21/488 , G06N20/00 , G06N3/04 , G06N3/08
Abstract: 本申请涉及字幕生成技术领域,具体提供了一种基于联邦学习的字幕生成方法、电子设备及存储介质,方法包括以下步骤:构建多任务模型,多任务模型为用于根据输入音频数据生成对应的字幕的学习模型;基于本地数据对多任务模型进行多轮次训练,并在每轮次结束训练时将多任务模型的参数集合上传至服务器,以使服务器基于联邦学习根据由不同多任务模型上传的参数集合构建全局模型;从服务器中获取全局模型,并利用全局模型优化多轮次训练后的多任务模型;利用优化后的多任务模型生成字幕;该方法能够有效地提高本地数据的私密性。
-
公开(公告)号:CN115277264A
公开(公告)日:2022-11-01
申请号:CN202211192216.3
申请日:2022-09-28
Applicant: 季华实验室
IPC: H04L9/40 , H04N21/462 , H04N21/488 , G06N20/00 , G06N3/04 , G06N3/08
Abstract: 本申请涉及字幕生成技术领域,具体提供了一种基于联邦学习的字幕生成方法、电子设备及存储介质,方法包括以下步骤:构建多任务模型,多任务模型为用于根据输入音频数据生成对应的字幕的学习模型;基于本地数据对多任务模型进行多轮次训练,并在每轮次结束训练时将多任务模型的参数集合上传至服务器,以使服务器基于联邦学习根据由不同多任务模型上传的参数集合构建全局模型;从服务器中获取全局模型,并利用全局模型优化多轮次训练后的多任务模型;利用优化后的多任务模型生成字幕;该方法能够有效地提高本地数据的私密性。
-
公开(公告)号:CN115762484A
公开(公告)日:2023-03-07
申请号:CN202310029724.8
申请日:2023-01-09
Applicant: 季华实验室
IPC: G10L15/02 , G10L15/22 , G10L15/24 , G06N3/042 , G06N3/0442 , G06N3/045 , G06N3/0464 , G06N3/0475 , G06N3/094 , G06F18/25
Abstract: 本发明涉及语音识别技术领域,具体公开了一种用于语音识别的多模态数据融合方法、装置、设备及介质,其中,方法包括步骤:利用多门控混合专家网络根据多模态数据获取不同模态数据的嵌入表示;根据多门控混合专家网络的专家网络及门控网络结合嵌入表示获取不同模态数据在不同门控阶段的融合权值;在每个门控阶段根据融合权值加权融合对应门控阶段输入的多模态数据生成初步融合数据,并将初步融合数据拼接单模态数据作为下一门控阶段输入的多模态数据;该方法根据多门控混合专家网络获取多模态数据不同模态在不同门控阶段中的融合权值,并根据融合权值对多模态数据进行多阶段融合,能有效提高语音识别的鲁棒性、准确率。
-
公开(公告)号:CN115762484B
公开(公告)日:2023-06-02
申请号:CN202310029724.8
申请日:2023-01-09
Applicant: 季华实验室
IPC: G10L15/02 , G10L15/22 , G10L15/24 , G06N3/042 , G06N3/0442 , G06N3/045 , G06N3/0464 , G06N3/0475 , G06N3/094 , G06F18/25
Abstract: 本发明涉及语音识别技术领域,具体公开了一种用于语音识别的多模态数据融合方法、装置、设备及介质,其中,方法包括步骤:利用多门控混合专家网络根据多模态数据获取不同模态数据的嵌入表示;根据多门控混合专家网络的专家网络及门控网络结合嵌入表示获取不同模态数据在不同门控阶段的融合权值;在每个门控阶段根据融合权值加权融合对应门控阶段输入的多模态数据生成初步融合数据,并将初步融合数据拼接单模态数据作为下一门控阶段输入的多模态数据;该方法根据多门控混合专家网络获取多模态数据不同模态在不同门控阶段中的融合权值,并根据融合权值对多模态数据进行多阶段融合,能有效提高语音识别的鲁棒性、准确率。
-
公开(公告)号:CN118070875A
公开(公告)日:2024-05-24
申请号:CN202410356392.9
申请日:2024-03-27
Applicant: 季华实验室
Abstract: 本发明涉及医疗语音识别技术领域,具体公开了一种用于医疗语音识别的异构模型联邦学习方法及相关设备,其中,方法包括步骤:获取多个基于私有医疗数据训练的本地模型;获取全局模型无法正确识别的错误样本集;筛选获取源模型;建立关于源模型与全局模型的连接图;利用图卷积网络更新连接图获取更新后的邻接矩阵,作为模型迁移权重;根据源模型和全局模型的特征映射关系获取特征层间迁移权重;根据模型迁移权重和特征层间迁移权重确定迁移策略;根据迁移策略和错误样本集训练全局模型;该方法训练后的全局模型能更准确地捕捉本地模型在不同层所提取的不同粒度及层次的特征中存在的有益知识,能显著地提高全局模型的识别效果。
-
公开(公告)号:CN116259407B
公开(公告)日:2023-07-25
申请号:CN202310550630.5
申请日:2023-05-16
Applicant: 季华实验室
Abstract: 本发明涉及医学诊疗技术领域,具体公开了一种基于多模态数据的疾病诊断方法、装置、设备及介质,其中,方法包括以下步骤:分别提取问题文本特征、病症文本特征、音频特征和图像特征;将病症文本特征、音频特征和图像特征映射至同一维度下,并进行特征对齐处理;融合特征对齐后的病症文本特征、音频特征和图像特征获取融合特征向量;拼接问题文本特征和融合特征向量获取拼接向量;将拼接向量置入预先训练好的语言模型生成诊断结果;该方法能充分挖掘不同模态数据之间的关联性和差异性,解决了多模态数据因为数据之间的差异性而难以捕捉其关系的问题,以将各类特征进行有效融合,能有效缓解医生疲劳,并提高疾病诊断准确率。
-
-
-
-
-
-
-
-