公开(公告)号：CN119474496A

公开(公告)日：2025-02-18

申请号：CN202411593180.9

申请日：2024-11-08

Applicant: 长安大学

Inventor： 李建新 ,  黄永乐 ,  裴莉莉 ,  崔宁宁 ,  胡欣 ,  成静贤 ,  刘泽东

IPC: G06F16/907 ,  G06F18/213 ,  G06F18/25 ,  G06F18/22 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08 ,  G06V20/54 ,  G06V10/44 ,  G06V10/82 ,  G06F16/33

Abstract: 本发明公开了一种基于跨模态检索的交通大模型智能交通事件识别方法，包括：将待识别交通事件的图像及其文本描述输入交通事件识别网络模型；交通事件识别网络模型：视觉特征提取模块用于提取图像中视觉特征；文本特征提取模块用于提取文本描述中文本特征；视觉选择性过滤模块用于选择性过滤无相关性的视觉提取特征得到视觉过滤特征；文本选择性过滤模块用于选择性过滤不必要的文本提取特征得到文本过滤特征；跨模态选择性对齐模块用于对视觉、文本提取特征进行跨模态对齐得到视觉对齐特征和文本对齐特征；计算模块用于将视觉过滤特征和视觉对齐特征及将文本过滤特征和文本对齐特征进行融合来确定识别结果。本发明提高了检索识别的准确性和效率。