公开(公告)号：CN119128086A

公开(公告)日：2024-12-13

申请号：CN202411175813.4

申请日：2024-08-23

Applicant: 浙江大学 ,  支付宝(杭州)信息技术有限公司

Inventor： 迟辰斐 ,  杨晓燕 ,  王潇寒 ,  张宁豫 ,  朱雨琦 ,  申月 ,  魏鹏 ,  顾进杰 ,  陈华钧

IPC: G06F16/332 ,  G06F18/214

Abstract: 本说明书提供了一种医疗LLM模型微调方法及相关设备。该方法包括：获取与目标应用场景相关的数据集；所述数据集包括单轮问答样本，所述单轮问答样本包含问题文本和与所述问题文本对应的回答文本；获取基于与所述目标应用场景相关的多轮对话任务的任务需求，构建的与所述多轮对话任务对应的多轮对话规则，并将所述单轮问答样本转换为符合所述多轮对话规则的多轮对话样本；基于所述多轮对话样本对预训练完成的LLM基础模型进一步执行微调训练，得到基于所述多轮对话规则执行所述多轮对话任务的LLM服务模型。

公开(公告)号：CN117009545A

公开(公告)日：2023-11-07

申请号：CN202310766770.6

申请日：2023-06-27

Applicant: 浙江大学

Inventor： 张宁豫 ,  王潇寒 ,  陈想 ,  张锦添 ,  陈华钧

IPC: G06F16/36 ,  G06F40/126 ,  G06F40/295

Abstract: 本发明公开了一种持续多模态知识图谱的构建方法，包括以下步骤：构建任务样本对，每个任务样本对包括图像分块形成的图像块序列、图像对应的文本描述对应的词序列；构建视觉编码器和文本编码器，基于视觉编码器和文本编码器的后几层中进行模态交互并基于注意力蒸馏机制构建蒸馏损失，同时基于视觉编码器和文本编码器的输出构建多模态平衡学习策略；将任务样本对输入至视觉编码器和文本编码器，并基于蒸馏损失和模态平衡学习策略对视觉编码器和文本编码器进行参数优化；参数优化的视觉编码器和文本编码器用于关系抽取和命名实体识别，并依据抽取的关系和实体进行三元组补全以构建知识图谱。该方法能够更好地改善不一致遗忘和学习节奏不平衡问题。