基于自适应度量融合的跨模态检索重排序方法

    公开(公告)号:CN111026935B

    公开(公告)日:2023-03-21

    申请号:CN201911231563.0

    申请日:2019-12-05

    Inventor: 王亮 黄岩 牛凯

    Abstract: 本发明属于信息检索、多模态计算领域,具体涉及一种基于自适应度量融合的跨模态检索重排序方法、系统、装置,旨在解决现有跨模态检索方法由于模态间异质性导致检索结果排序效果不佳的问题。本系统方法包括提取各初始查询样本、各初始检索结果样本的特征向量;计算两样本集的距离;获取初始检索结果序列及第一排序序号;通过反向检索,得到第二排序序号;基于第一、第二排序序号得到互相关分值;构建跨模态距离向量;构建单模态距离向量;获取量化间隔及第一评价分值;获取第二评价分值及融合系数;得到最终距离向量,对初始检索结果序列进行重排序;循环重排序。本发明能够一定程度缓解模态间的异质性,提升跨模态检索的效果及性能。

    基于动态知识图谱的事件预测方法及装置

    公开(公告)号:CN115062779A

    公开(公告)日:2022-09-16

    申请号:CN202210576172.8

    申请日:2022-05-24

    Abstract: 本发明提供一种基于动态知识图谱的事件预测方法及装置,该方法包括:获取第一历史周期内的目标历史事件,并根据第一历史周期内各时刻下所有目标历史事件,构建各时刻对应的第一知识图谱;将第一历史周期内所有时刻对应的第一知识图谱进行拼接,生成第二知识图谱;将第二知识图谱输入预测模型的第一预测模块中,得到第二知识图谱中各实体和各实体之间的关系在当前周期的特征表示;将第二知识图谱中各实体和各关系在当前周期的特征表示输入预测模型的第二预测模块中,得到当前周期的预测事件。本发明实现动态预测得到第二知识图谱中各实体和各实体之间的关系在当前周期的特征表示,以实现对事件进行准确地动态预测。

    一种诊断数据分析方法及系统

    公开(公告)号:CN115050465A

    公开(公告)日:2022-09-13

    申请号:CN202210476331.7

    申请日:2022-04-29

    Abstract: 本发明提供一种诊断数据分析方法及系统,该方法包括:获取目标诊断历史数据对应的医学知识子图谱,并对所述医学知识子图谱进行向量转换,得到疾病代码嵌入向量;基于关系注意力机制、节点注意力机制以及消息传递机制,根据所述疾病代码嵌入向量进行特征提取,并将提取得到的向量特征进行聚合处理,得到特征向量表示;对所述特征向量表示进行诊断预测,得到诊断预测数据。本发明将医学知识图谱与基于关系注意力机制、节点注意力机制以及消息传递机制构建的层次化注意力关系网络进行结合,根据诊断历史数据进行诊断预测,从而得到更为准确的诊断预测结果数据。

    基于相关性动态滤波的端到端多帧超分辨方法及系统

    公开(公告)号:CN114972038A

    公开(公告)日:2022-08-30

    申请号:CN202210699194.3

    申请日:2022-06-20

    Abstract: 本发明属于模式识别与机器学习领域,具体涉及了一种基于相关性动态滤波的端到端多帧超分辨方法及系统,旨在解决现有多帧超分辨依赖光流场信息进行多帧图像的空间对齐,计算复杂、超分辨效果达不到预期的问题。本发明包括:通过特征提取器提取不同图像帧的特征,计算目标帧每个像素点与支撑帧上对应点周围像素点的特征之间的相关性,获得目标帧和每一个支撑帧的特征之间的相关性矩阵;通过滤波器计算每一个支撑帧的特征的滤波核,并进行对应的支撑帧的动态滤波;通过解码器融合目标帧和滤波后的支撑帧的特征,获得超分辨图像。本发明不依赖光流场信息进行多帧图像的空间对齐,更加轻量和稳定,可以以较小的参数量和计算量取得更优的性能。

    面向无约束视觉问答指向问题的检索方法及系统

    公开(公告)号:CN108446404B

    公开(公告)日:2021-01-05

    申请号:CN201810287528.X

    申请日:2018-03-30

    Inventor: 王亮 黄岩 程文龙

    Abstract: 本发明属于模式识别领域,具体涉及一种面向无约束视觉问答指向问题的检索方法及系统。旨在解决无候选答案时的视觉问答指向问题。该方法主要包括:利用图像似物性采样的方法生成一定数目的候选答案,提取问句的文本特征和候选答案的视觉特征,把文本特征和视觉特征映射到同一共同特征空间中,然后计算共同特征空间中问句与候选答案的余弦相似度,把与文本特征余弦相似度最高的候选答案视为预测的正确答案。本方法利用成对的排序损失函数建立问句特征与候选答案特征的相关关系,同时针对无候选答案的问题,使用图像似物性采样的方法生成一定数目的候选的答案,为无候选区域的视觉问答提供了一种可行的解决方案。

    基于人体骨架序列的行为与身份联合识别方法及装置

    公开(公告)号:CN108764107B

    公开(公告)日:2020-09-11

    申请号:CN201810499463.5

    申请日:2018-05-23

    Inventor: 王亮 王洪松

    Abstract: 本发明涉及视觉识别领域,提出一种基于人体骨架序列的行为和身份联合识别方法,旨在解决在人体数据识别中,不能同时对身份信息和行为动作识别问题。该方法包括:获取待识别人体的人体骨架序列;根据人体骨架序列,利用预先构建的识别模型识别人体的身份信息和行为动作;其中,识别模型的训练方法:将训练用人体骨架序列的坐标转换到参考坐标系下,得到参考骨架序列;对参考骨架序列的各参考骨架的各关节节点坐标与预先指定的中心点的坐标比较,得到各参考骨架的各关节节点的相对坐标;对参考骨架序列进行三维坐标变换,对初始的识别模型进行训练,得到优化后的识别模型。本发明可以快速、准确的从人体骨架序列中识别出人体的身份信息和行为动作。

    一种基于多视角数据和循环网络构建序列预测模型的方法

    公开(公告)号:CN106600347B

    公开(公告)日:2020-04-21

    申请号:CN201710041240.X

    申请日:2017-01-17

    Abstract: 本发明公开了一种基于多视角数据和循环网络的序列预测方法,其包括:获取多个用户在不同时刻购买的多个物品的数据,并对数据进行预处理;对所述预处理后的数据进行组合获取物品表达,将各用户物品表达按购买时间排序,形成用户序列;将当前用户序列送到循环网络模型的输入端进行训练;所述循环网络的处理端建立当前用户的表达,输出端计算当前用户对物品的偏好值;更新所述循环网络模型参数;将下一用户序列送到循环网络的输入端进行训练,直至所有用户序列都训练一次称为一次迭代;每次迭代更新全部偏好值的和,迭代多次,直至偏好值的和达到极大值或极小值,迭代结束。

    基于自适应度量融合的跨模态检索重排序方法

    公开(公告)号:CN111026935A

    公开(公告)日:2020-04-17

    申请号:CN201911231563.0

    申请日:2019-12-05

    Inventor: 王亮 黄岩 牛凯

    Abstract: 本发明属于信息检索、多模态计算领域,具体涉及一种基于自适应度量融合的跨模态检索重排序方法、系统、装置,旨在解决现有跨模态检索方法由于模态间异质性导致检索结果排序效果不佳的问题。本系统方法包括提取各初始查询样本、各初始检索结果样本的特征向量;计算两样本集的距离;获取初始检索结果序列及第一排序序号;通过反向检索,得到第二排序序号;基于第一、第二排序序号得到互相关分值;构建跨模态距离向量;构建单模态距离向量;获取量化间隔及第一评价分值;获取第二评价分值及融合系数;得到最终距离向量,对初始检索结果序列进行重排序;循环重排序。本发明能够一定程度缓解模态间的异质性,提升跨模态检索的效果及性能。

Patent Agency Ranking