-
公开(公告)号:CN119577184A
公开(公告)日:2025-03-07
申请号:CN202411522201.8
申请日:2024-10-29
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06F16/783 , G06F16/38 , G06F18/25 , G06F18/22
Abstract: 本发明公开了基于多粒度对齐的文本和视频的相似度计算方法及系统。通过深入分析文本和视频包含的层级特征,设计由粗到细的多粒度对齐框架,从而实现更精细化、更准确的语义匹配。特别是在细粒度对齐方面,通过对文本的词级特征和视频的块级特征进行聚合,以获得文本的短语级特征与视频的物体级特征,基于这两个特征实现文本与视频的细粒度对齐,使得细粒度语义对齐更加合理,从而有效地解决文本视频检索存在的细节信息缺失和跨模态语义差距的问题。