公开(公告)号：CN119357443A

公开(公告)日：2025-01-24

申请号：CN202411381995.0

申请日：2024-09-30

Applicant: 华中科技大学

Inventor： 刘禹良 ,  伏凌 ,  林彬彬 ,  陈伟 ,  郑昕 ,  白翔

IPC: G06F16/9032 ,  G06F40/30 ,  G06N5/04 ,  G16H50/70

Abstract: 本发明涉及人工智能技术领域，提供了一种针对医疗多模态大模型的视觉语言特征精细对齐方法，方法包括：用人工智能大模型对医疗专家知识文本特征进行深度学习和语义理解，生成问答对指令；提取医疗专家知识视觉特征，转化为问答对指令；用问答对指令对医疗多模态大模型进行训练；用人工智能大模型生成医疗图文问答对指令；为医疗多模态大模型引入强化学习，利用医疗图文问答对指令，实现视觉语言特征精细对齐。本发明提出了全自动地生成高质量医疗多模态指令数据的方法，使医疗多模态大模型在各种医学应用中提供准确可靠的输出内容。数据生成的全流程无需人工标注，节省了人力与时间成本。同时减少了模型推理幻觉，提升模型性能。