公开(公告)号：CN117746201A

公开(公告)日：2024-03-22

申请号：CN202311850353.6

申请日：2023-12-29

Applicant: 桂林电子科技大学

Inventor： 潘细朋 ,  安娅君 ,  林欢 ,  杨辉华 ,  周南 ,  卞新军 ,  刘再毅

IPC: G06V10/80 ,  G06V10/766 ,  G06V10/25 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/084

Abstract: 本发明公开了一种基于交叉Transformer和MLIF的多模态融合生存预后方法，所述方法包括以下步骤：获取影像和病理切片数据集；对数据集进行预处理并标注感兴趣区域；对其进行手工特征提取；划分训练集和测试集；将所述影像组学特征和病理特征输入至预设的多模态融合模块进行二阶段的训练；其中，第一阶段的训练是采用交叉Transformer增强不同特征间的交互，利用多模态低秩交互融合模块(MLIF)将不同特征进行全面高效整合，生成多模态融合特征；第二阶段的训练是根据多模态融合特征，训练一个用于生存预后的回归网络，该网络的预测结果为最终结果。本发明通过端到端整合多模态数据揭示了不同模态数据之间的关联和互补性，提高了患者的治疗效果和生存率。

公开(公告)号：CN117594225A

公开(公告)日：2024-02-23

申请号：CN202311651602.9

申请日：2023-12-05

Applicant: 桂林电子科技大学

Inventor： 潘细朋 ,  安娅君 ,  杨辉华 ,  刘振丙 ,  陆铖 ,  周南 ,  邓华虎 ,  王钰萌 ,  卞新军

IPC: G16H50/20 ,  G16B20/00 ,  G16B40/20 ,  G06T7/11 ,  G06F18/25 ,  G06N3/0499 ,  G06N3/0464 ,  G06N3/09

Abstract: 本发明公开了一种基于病理和基因的多模态融合生存预后方法及装置，方法包括：对病理组织学图像和基因数据进行预处理，获得病理切片和基因数据集；构建多模态融合模型，然后训练模型：利用病理预后模块提取病理切片的病理深度学习特征，然后进行生成预后；利用利用基因预后模块提取基因数据的基因组学特征，然后进行生成预后；利用多模态低秩交互融合模块将病理深度学习特征和基因组学特征多模态融合，生成多模态融合特征；利用多模态融合特征对患者进行生存预后分析，然后经过迭代计算损失后，获取预后预测结果。本发明，全面地将多模态数据进行整合，增强了特征融合模型的鲁棒性，提高了病患生存预后的准确性。

公开(公告)号：CN116894948A

公开(公告)日：2023-10-17

申请号：CN202310970392.3

申请日：2023-08-03

Applicant: 桂林电子科技大学

Inventor： 许睿 ,  周南 ,  潘细朋

IPC: G06V10/26 ,  G06V10/764 ,  G06N3/0464 ,  G06N3/08 ,  G06V10/774 ,  G06V10/82 ,  G06V10/30

Abstract: 本发明公开了一种基于不确定性引导的半监督图像分割方法，包括如下步骤1）数据预处理；2）经过两个对等分割网络得到预测结果；3）不确定性估计、求动态权重；4）优化模型训练。这种方法能实现抗噪性训练，减少伪标注噪声给模型带来的分割性能下降的问题。