公开(公告)号：CN119248948A

公开(公告)日：2025-01-03

申请号：CN202411276167.0

申请日：2024-09-12

Applicant: 南京财经大学

Inventor： 杨帆 ,  李啸宇 ,  马福民 ,  丁晓剑 ,  王凯翔 ,  胡浩宇 ,  陈仕鑫

IPC: G06F16/51 ,  G06F16/58 ,  G06F17/16 ,  G06N3/0464 ,  G06N3/042 ,  G06N3/096 ,  G06N3/088 ,  G06F18/213 ,  G06F18/22

Abstract: 本发明属于多模态信息检索领域，公开了深度语义引导的无监督多模态哈希检索方法，其教师模型采用VLP模型提供的强大模态交互信息，构建了一个相似矩阵和一个图卷积神经网络，弥补了实值空间和汉明空间之间的语义差距；采用知识蒸馏的方式将教师模型中丰富语义信息传递给学生模型，对学生模型进行优化，从而促进小型模型的高效学习；学生模型在继承教师模型的优点的同时，避免了大规模模型的超参数调整压力，从而更适用于实际应用中的大规模数据场景。设计汉明距离优化策略，确保在实值空间中的复杂语义关系在汉明空间中得到合理的量化和表达，避免实值空间到汉明空间的过度压缩。