公开(公告)号：CN119092101A

公开(公告)日：2024-12-06

申请号：CN202411209062.3

申请日：2024-08-30

Applicant: 浙江大学

Inventor： 俞刚 ,  齐国强 ,  龚方戚 ,  耿志敏 ,  苏礼贤

IPC: G16H50/20 ,  G16H50/70 ,  G06N3/0455 ,  G06N3/0475 ,  G06N3/084 ,  G06N3/094

Abstract: 本发明公开了一种川崎病诊断系统，包括训练好的诊断模型，诊断模型中包含图像令牌化子模块、文本处理子模块、交叉模态多头自注意力模块和分类模块；图像令牌化子模块采用预训练的VQGAN模型，利用编码器对图像数据进行编码得到其在隐空间的特征，再利用码本模块对隐空间特征进行向量量化，将连续的特征空间映射到离散的向量空间，将图像数据转换为离散的图像令牌；文本处理子模块用于对文本数据进行处理，生成文本向量；交叉模态多头自注意力模块用于对拼接后的图像令牌和文本向量进行注意力权重计算，将计算得到的特征矩阵输入分类模块后得到川崎病的各分型概率。利用本发明，可以显著提升川崎病的诊断准确率和效率。