公开(公告)号：CN117253112B

公开(公告)日：2024-06-04

申请号：CN202311095257.5

申请日：2023-08-29

Applicant: 哈尔滨工业大学

Inventor： 李惠 ,  徐阳 ,  田博旭

IPC: G06V10/80 ,  G06V10/774 ,  G06V10/82 ,  G06V10/40 ,  G06T7/90 ,  G06N3/0464 ,  G06N3/096 ,  G06N3/09 ,  G06F16/33

Abstract: 本发明提出结构健康诊断大模型视觉语言跨模态学习方法。所述方法构建了基于图像自注意力、文本自注意力和图像‑文本交叉注意力机制的视觉语言特征提取模块，能够有效实现对结构损伤视觉语言多模态信息的特征融合表达，并且在同一网络框架下同时处理来自视觉和语言领域的异构信息，解决了传统方法为适应不同类型模态数据而专门需要设计多个网络的问题。

公开(公告)号：CN117253112A

公开(公告)日：2023-12-19

申请号：CN202311095257.5

申请日：2023-08-29

Applicant: 哈尔滨工业大学

Inventor： 李惠 ,  徐阳 ,  田博旭

IPC: G06V10/80 ,  G06V10/774 ,  G06V10/82 ,  G06V10/40 ,  G06T7/90 ,  G06N3/0464 ,  G06N3/096 ,  G06N3/09 ,  G06F16/33

Abstract: 本发明提出结构健康诊断大模型视觉语言跨模态学习方法。所述方法构建了基于图像自注意力、文本自注意力和图像‑文本交叉注意力机制的视觉语言特征提取模块，能够有效实现对结构损伤视觉语言多模态信息的特征融合表达，并且在同一网络框架下同时处理来自视觉和语言领域的异构信息，解决了传统方法为适应不同类型模态数据而专门需要设计多个网络的问题。