基于线性泛化回归模型的跨媒体检索方法

    公开(公告)号:CN102693316A

    公开(公告)日:2012-09-26

    申请号:CN201210171539.4

    申请日:2012-05-29

    Abstract: 本发明公开了一种基于线性泛化回归模型的跨媒体检索方法。该方法首先提取不同模态对象的语义特征,再利用线性泛化回归模型建立各个模态特征之间的回归关系,实现不同模态特征的相互转换,接着利用多类Logistic回归算法估计转换后模态对象的后验概率分布,最后利用距离度量的方法来计算测试样本和数据库样本之间的距离,从而输出检索得到的最相似的前N个数据库中的样本。本发明在跨越不同模态的语义鸿沟时,可以最大限度地防止不同模态媒体在转换时有效信息的泄露,从而保证不同模态信息传递的有效性,进一步提高跨媒体搜索的鲁棒性和准确性,具有良好的运用前景和可观的市场价值。

    跨模态检索方法、装置、设备及计算机可读存储介质

    公开(公告)号:CN112487217B

    公开(公告)日:2025-01-17

    申请号:CN201910868454.3

    申请日:2019-09-12

    Inventor: 王亮 黄岩 陈泽睿

    Abstract: 本申请实施例公开了跨模态检索方法,包括:获取第一模态数据和待检索的第二模态数据;将第一模态数据和第二模态数据输入训练好的跨模态检索网络;通过跨模态检索网络提取第一模态数据的第一特征和第二模态数据的第二特征,根据第一特征和第二特征的匹配度输出检索结果;检索结果用于表征从第一模态数据中检索出的与第二模态数据匹配的数据;其中,跨模态检索网络包括利用神经网络基于数据集中的原始数据和生成数据进行训练而来的网络;生成数据包括由生成式对抗网络中训练好的生成器基于原始数据生成的数据;生成器与生成式对抗网络中的判别器同时进行训练,用于将原始数据中属于第二模态的数据生成属于第一模态的数据。

    文本引导分子生成方法、装置及存储介质

    公开(公告)号:CN118230805A

    公开(公告)日:2024-06-21

    申请号:CN202410178684.8

    申请日:2024-02-11

    Abstract: 本申请实施例提供一种文本引导分子生成方法、装置及存储介质,所述方法包括:确定分子描述语言的语言表征向量;将所述语言表征向量输入至训练后的第一扩散语言模型中,获取所述训练后的第一扩散语言模型输出的初始分子;将所述初始分子输入至训练后的第二扩散语言模型中,获取所述训练后的第二扩散语言模型输出的目标分子。本申请实施例提供的文本引导分子生成方法、装置及存储介质,通过第一扩散语言模型和第二扩散语言模型这两阶段的扩散过程分别捕捉文本的语义描述和修正生成分子的语法错误,从而生成目标分子,能够提高生成分子的准确率。

    用于混合表格文本证据的事实验证方法、装置及存储介质

    公开(公告)号:CN118230340A

    公开(公告)日:2024-06-21

    申请号:CN202410178548.9

    申请日:2024-02-09

    Abstract: 本申请实施例提供一种用于混合表格文本证据的事实验证方法、装置及存储介质,所述方法包括:获取证据数据,所述证据数据包括表格证据数据和文本证据数据;基于预训练语言模型和关系图网络模型获取目标图节点表示矩阵;基于所述证据数据和注意力机制对所述目标图节点表示矩阵进行聚合,获取事实验证结果。本申请实施例提供的用于混合表格文本证据的事实验证方法、装置及存储介质,通过运用图神经网络方法结合预训练语言模型挖掘证据和断言以及证据和证据之间的关联,利用证据级别的信息聚合和注意力机制辅助模型区分有效和无效证据,可以提高模型基于证据进行事实验证的准确性。

    基于增量学习的行人属性识别模型训练方法及装置

    公开(公告)号:CN114724174A

    公开(公告)日:2022-07-08

    申请号:CN202210161681.4

    申请日:2022-02-22

    Inventor: 王亮 张彰 李达

    Abstract: 本发明提供一种基于增量学习的行人属性识别模型训练方法及装置,方法包括:获取用于增量学习的行人属性识别数据集,确定任务学习顺序;使用初始任务中的训练样本训练初始行人属性识别模型;对训练数据缓存池中代表性样本以及模型缓存池中的缓存模型进行更新;重复执行下述步骤,直至数据集中全部任务学习完成,得到行人属性识别模型;根据模型缓存池中缓存模型,确定预测模型及待训练模型;基于预测模型对当前任务的所有训练样本进行预测,得到更新后的当前任务;根据代表性样本和更新后当前任务中的训练样本,训练待训练模型,得到第一目标模型。本发明有效提高了行人属性识别模型在增量学习过程中对已有属性识别准确率,缓解遗忘灾难问题。

    基于关系原型网络的弱监督时序行为定位方法及装置

    公开(公告)号:CN111783713A

    公开(公告)日:2020-10-16

    申请号:CN202010659078.X

    申请日:2020-07-09

    Inventor: 王亮 黄岩 黄林江

    Abstract: 本发明涉及一种基于关系原型网络的弱监督时序行为定位方法及装置。为了解决现有技术人为标注信息对训练网络模型耗时耗力且引入主观因素的问题,本发明提出一种基于关系原型网络的弱监督时序行为定位方法,包括按预设时间间隔将待识别视频划分为多个视频片段,将每个视频片段对应的光流图像以及多个视频片段,输入预先训练好的行为定位模型;通过行为定位模型,确定每个视频片段中人类行为与预先设定的目标行为的第一相似度;根据第一相似度与预设阈值的比较结果,确定每个视频片段中人类行为所属的行为类别。本发明的方法能够对不同行为之间的关系进行建模,通过聚类损失,能够使行为各部分的特征尽可能靠近,从而实现定位完整行为片段。

    基于身体部件层面的骨架行为识别方法及装置

    公开(公告)号:CN111783711A

    公开(公告)日:2020-10-16

    申请号:CN202010658060.8

    申请日:2020-07-09

    Inventor: 王亮 黄岩 黄林江

    Abstract: 本发明涉及计算机视觉技术领域,具体涉及一种基于身体部件层面的骨架行为识别方法及装置。为了解决现有技术行为识别的准确率较低,无法满足实际使用过程的需要的问题,本发明提出一种基于身体部件层面的骨架行为识别方法及装置,该方法包括获取待识别视频中目标对象的第一骨架三维坐标,其中,第一骨架三维坐标包括第一差值三维坐标、第一相对三维坐标以及第一关节点三维坐标;基于第一骨架三维坐标,通过预先训练好的骨架行为识别模型,确定目标对象处于多个预设骨架行为类型的概率;将概率大于预设阈值的预设骨架行为类型作为目标对象对应的骨架行为类型。利用本发明的方法能够有效提高行为识别准确率。

Patent Agency Ranking