公开(公告)号：CN119415848A

公开(公告)日：2025-02-11

申请号：CN202411556215.1

申请日：2024-11-04

Applicant: 东北大学

Inventor： 毛克明 ,  徐也川 ,  刘佳乐

IPC: G06F18/15 ,  G06F18/214 ,  G06N3/045 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/0475 ,  G06N3/094

Abstract: 本发明提供了一种基于互信息约束和对抗学习的缺失模态数据处理方法，属于人工智能技术领域。该方法首先收集全模态数据和对应的缺失模态数据；然后对收集到的全模态数据和对应的缺失模态数据进行预处理操作来提高全模态数据和对应的缺失模态数据的质量；其次获得预处理好的全模态数据和对应的缺失模态数据后，构建基于跨模态互信息和对抗学习的缺失模态处理模型，同时构建缺失模态处理模型的损失函数来约束缺失模态处理模型；不断训练并优化缺失模态处理模型，得到训练完成的缺失模态处理模型；最后将实际任务面对的带有缺失模态的数据，输入至训练好的缺失模态处理模型，得到分割图。

公开(公告)号：CN119515896A

公开(公告)日：2025-02-25

申请号：CN202411550838.8

申请日：2024-11-01

Applicant: 东北大学

Inventor： 毛克明 ,  徐也川 ,  刘佳乐

IPC: G06T7/11 ,  G06T7/00 ,  G06V10/764 ,  G06V10/80

Abstract: 本发明提供了一种基于提示驱动注意力的不完整模态脑肿瘤分割系统，涉及人工智能领域，双分支融合编码器通过两条分支分别提取不同抽象级别的特征，能够在提取高层语义的同时保留细节的空间信息，模态缺失提示合成器通过可学习的通用提示，生成针对当前模态组合情况的模态缺失特定提示，同时采用模态内和模态间注意力模块对模态缺失特定提示进行整合，还通过增强活化注意力进一步整合了针对关键模态的催化剂信息，提高了模型对缺失数据的处理能力，显著提升了处理多模态MRI数据的性能和处理下游任务的准确性，催化剂合成器模块通过识别并加强关键模态的作用，确保即使在关键模态缺失的情况下，也能通过生成的催化剂维持下游任务的表现。