公开(公告)号：CN118398153A

公开(公告)日：2024-07-26

申请号：CN202410587549.9

申请日：2024-05-13

Applicant: 浙江大学

Inventor： 虞念成 ,  吴芳 ,  赵永根 ,  许榕榕 ,  郭丹丹 ,  唐兰芳 ,  梁建凤

IPC: G16H15/00 ,  G16H50/20 ,  G16H20/90 ,  G06F18/25 ,  G06F18/2411 ,  G06F18/2451 ,  G06V10/44 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/045 ,  G06N3/0499

Abstract: 本发明公开了一种基于报告生成模型的儿童中医寒热证型辅助辨别系统，包括计算机存储器、计算机处理器以及存储在计算机存储器中并可在计算机处理器上执行的计算机程序，计算机存储器中存储有训练好的报告生成模型和多模态分类模型；报告生成模型包括编码部分和解码部分；计算机处理器执行计算机程序时实现以下步骤：将儿童舌面图像输入训练好的报告生成模型，将编码部分第一步得到的图像特征向量X直接输入到解码部分，从而生成报告，并将报告规范化为键值模式；再将键值化的临床信息、问诊信息和报告生成模型生成的报告输入多模态分类模型，得到寒热证型分类结果。本发明对于望诊图像具有较高的解释性，同时提高寒热证型的判别准确率。

公开(公告)号：CN118098569A

公开(公告)日：2024-05-28

申请号：CN202410265663.X

申请日：2024-03-08

Applicant: 浙江大学

Inventor： 吴芳 ,  虞念成 ,  赵永根 ,  许榕榕 ,  郭丹丹 ,  唐兰芳 ,  梁建凤

IPC: G16H50/20 ,  G06V10/764 ,  G06T7/11 ,  G06V10/80 ,  G06V10/774 ,  G06N3/0464 ,  G06N3/0499 ,  G06N3/08

Abstract: 本发明公开了一种基于多模态数据融合的儿童哮喘中医辅助诊断系统，包括训练好的分类模型，分类模型包含临床信息特征提取模块、问诊信息特征提取模块、望诊图像特征提取模块、中医辨证分型预测模块；中医辨证分型预测模块中，将筛选的临床信息特征、问诊信息特征和望诊图像特征依次输入到正则层，然后将正则层的输出输入到共享权重的第一个多头自注意力层，再然后输入到包含望诊专家、临床专家、问诊专家三个模块的混合模态专家层；三者的输出输入到第二个多头自注意力层，最后输入到综合专家层，通过此层得到最终的辨证分型结果。本发明可模拟中医的诊断过程，实现高精度的儿童哮喘中医辅助诊断，有利于后续精准治疗。