-
公开(公告)号：CN117009545A
公开(公告)日：2023-11-07
申请号：CN202310766770.6
申请日：2023-06-27
Applicant: 浙江大学
IPC: G06F16/36 , G06F40/126 , G06F40/295
Abstract: 本发明公开了一种持续多模态知识图谱的构建方法，包括以下步骤：构建任务样本对，每个任务样本对包括图像分块形成的图像块序列、图像对应的文本描述对应的词序列；构建视觉编码器和文本编码器，基于视觉编码器和文本编码器的后几层中进行模态交互并基于注意力蒸馏机制构建蒸馏损失，同时基于视觉编码器和文本编码器的输出构建多模态平衡学习策略；将任务样本对输入至视觉编码器和文本编码器，并基于蒸馏损失和模态平衡学习策略对视觉编码器和文本编码器进行参数优化；参数优化的视觉编码器和文本编码器用于关系抽取和命名实体识别，并依据抽取的关系和实体进行三元组补全以构建知识图谱。该方法能够更好地改善不一致遗忘和学习节奏不平衡问题。
Search Results
1
records
(took 0.014 seconds)
筛选
AND
AND
过滤
NOT
NOT
Scan to Join
