公开(公告)号：CN118820502A

公开(公告)日：2024-10-22

申请号：CN202410777370.X

申请日：2024-06-17

Applicant: 中国科学院自动化研究所

Inventor： 徐常胜 ,  杨振宇 ,  钱胜胜

IPC: G06F16/58 ,  G06F16/583 ,  G06F16/53 ,  G06F40/166 ,  G06F18/22 ,  G06V20/70 ,  G06N5/04

Abstract: 本发明提供一种基于LLM推理和集成的图像检索方法及装置，该方法包括：对参考图像对应的密集字幕进行LLM推理，得到编辑字幕；从图像数据集中提取出视觉特征，从密集字幕中提取出参考字幕特征，从编辑字幕中提取出编辑字幕特征；计算参考字幕特征、编辑字幕特征和视觉特征之间的多个特征相似度；根据多个特征相似度之间的相似度减少量计算出集成字幕特征，并根据视觉特征和集成字幕特征之间的相似度从图像数据集搜索出目标检索图像。本发明所述方法实现了在编辑字幕中整合互补信息并过滤掉噪声，结合语义相关性得分来计算集成字幕特征权重设计图像检索特征，提升了特征的表征能力，进而提高了图像检索的准确率。

公开(公告)号：CN118195812A

公开(公告)日：2024-06-14

申请号：CN202311706160.3

申请日：2023-12-12

Applicant: 中国科学院自动化研究所

Inventor： 徐常胜 ,  杨振宇 ,  钱胜胜 ,  薛迪展

IPC: G06Q50/00 ,  G06Q50/26 ,  G06F18/24 ,  G06F18/23213 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明提供一种社会事件检测方法、装置、电子设备及存储介质，其中方法包括：获取社会媒体数据，基于社会媒体数据构建社会消息图；将社会媒体数据转化为异构信息网络，将异构信息网络根据节点类型转化为同构社会消息图；将社会消息图输入至图表示学习网络中，由图表示学习网络得到并输出预处理社会消息图；对预处理社会消息图进行图数据增强，得到社会消息增强图；基于社会消息增强图和同构社会消息图进行多层次均匀学习，得到社会消息均匀性表示；对社会消息均匀性表示进行聚类，得到社会事件检测结果。此过程基于社会消息增强图和同构社会消息图进行多层次均匀学习，将消息表示映射到单位球面空间，进一步提高了社会事件检测的准确性和可靠性。