Patent search ap:("上海大学") AND inv:"梁绪东" Page 1

1.

发明公开
一种使用知识增强的医学视觉语言任务参数高效迁移学习方法审中-实审

公开(公告)号：CN118262924A

公开(公告)日：2024-06-28

申请号：CN202410358758.6

申请日：2024-03-27

Applicant: 上海大学

Inventor： 谢江 , 梁绪东

IPC: G16H50/70 , G06N3/096 , G06N5/022 , G06F18/25

Abstract: 本发明公开了一种使用知识增强的医学视觉语言任务参数高效迁移学习方法，包括预训练过的视觉语言模型，根据参数有效的知识融合策略将统一医学语言系统UMLS的特定领域知识整合到多模态特征中；在自注意力和多层感知层之后加入共享适配器模块，共享适配器模块使两种模态相互作用并减少参数。其次，设计了参数有效的知识融合策略，将Unified Medical Language System(UMLS)的特定领域知识整合到多模态特征中。在4个医学多模态数据集进行了3个医学多模态任务评估，结果表明模型在使用较少参数的同时，在性能方面优于其他迁移学习方法。

Patent Agency Ranking