公开(公告)号：CN110298383B

公开(公告)日：2021-07-13

申请号：CN201910452839.1

申请日：2019-05-28

Applicant: 中国科学院计算技术研究所 ,  北京腾茂盛达科技有限公司

Inventor： 张法 ,  颜锐 ,  谭光明 ,  任菲 ,  刘志勇 ,  刘玉东 ,  张云峰

IPC: G06K9/62 ,  G06K9/46 ,  G06N3/04 ,  G06N3/08 ,  G16H50/20 ,  G16H50/70

Abstract: 本发明提出一种基于多模态深度学习的病理分类方法及系统，包括：从电子病历中提取出预先选择的属性作为结构化数据的特征表示向量，将特征表示向量平均扩增后再按照预设比例随机丢弃，丢弃的部分被替换为数字0，作为电子病历中结构化数据的病历特征向量；获取与电子病历对应的组织病理学图像，将卷积神经网络的各卷积层的特征图进行全局平均池化后拼接成一维向量，作为组织病理学图像的一种丰富的图像特征向量；将图像特征向量和病历特征向量拼接在一起，得到多模态融合向量，然后将多模态融合向量输入至全连接层，得到二值化的病理分类结果。本发明解决了单模态的特征表示来进行病理良恶性分类的准确率不高的技术问题。

公开(公告)号：CN110298383A

公开(公告)日：2019-10-01

申请号：CN201910452839.1

申请日：2019-05-28

Applicant: 中国科学院计算技术研究所 ,  北京腾茂盛达科技有限公司

Inventor： 张法 ,  颜锐 ,  谭光明 ,  任菲 ,  刘志勇 ,  刘玉东 ,  张云峰

IPC: G06K9/62 ,  G06K9/46 ,  G06N3/04 ,  G06N3/08 ,  G16H50/20 ,  G16H50/70

Abstract: 本发明提出一种基于多模态深度学习的病理分类方法及系统，包括：从电子病历中提取出预先选择的属性作为结构化数据的特征表示向量，将特征表示向量平均扩增后再按照预设比例随机丢弃，丢弃的部分被替换为数字0，作为电子病历中结构化数据的病历特征向量；获取与电子病历对应的组织病理学图像，将卷积神经网络的各卷积层的特征图进行全局平均池化后拼接成一维向量，作为组织病理学图像的一种丰富的图像特征向量；将图像特征向量和病历特征向量拼接在一起，得到多模态融合向量，然后将多模态融合向量输入至全连接层，得到二值化的病理分类结果。本发明解决了单模态的特征表示来进行病理良恶性分类的准确率不高的技术问题。

公开(公告)号：CN116798515A

公开(公告)日：2023-09-22

申请号：CN202310678619.7

申请日：2023-06-08

Applicant: 中国科学院计算技术研究所

Inventor： 颜锐 ,  张雪媛 ,  谭光明 ,  任菲 ,  刘玉东

IPC: G16B20/50 ,  G16B40/20 ,  G06F18/24 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明提出一种基于分层深度多示例学习的基因突变预测方法和系统。本发明首先使用监督学习方法将目标区域缩小到癌症区域，从而减少大量不相关Patch对随后的弱监督学习的噪声影响；然后，基于对比学习得到的Patch特征表示和癌症区域聚类结果，确保Patch选取的全面性。最后，本发明提出了一种新的分层深度多示例学习(HDMIL)方法，该方法可以确保足够多的Patch被考虑到、错误选取的Patch被忽略掉。且本发明方法具有可解释性。本发明提出的HDMIL可以找到与基因突变最相关的Patch。