一种深度不完备多模态数据的聚类方法及相关装置

    公开(公告)号:CN116664898A

    公开(公告)日:2023-08-29

    申请号:CN202310525397.5

    申请日:2023-05-10

    Abstract: 本申请公开了一种深度不完备多模态数据的聚类方法及相关装置,方法包括获取不完备多模态数据中的各模态的原始模态数据;根据模态特点构建神经网络来提取特定表征学习架构,通过多模态聚合模型提取各原始模态数据的模态特征,针对各原始模态数据的模态特征确定各原始模态数据的隐式数据表征,基于隐式数据表征确定基准表征;基于基准表征、模态特征及隐式数据表征训练多模态聚合模型,以得到目标公共数据表征;基于目标公共数据表征采用聚类分析算法确定不完备多模态数据的目标类别簇。本申请通过基于模态特征、隐式数据表征和公共表征对多模态聚合模型进行联合学习,可以避免因模态特征固定而导致无法采用最具区别性的特征的问题,从而可以有效地提升聚类精度。

    一种多源跨域表情识别方法、装置及存储介质

    公开(公告)号:CN114612961B

    公开(公告)日:2023-04-07

    申请号:CN202210138130.6

    申请日:2022-02-15

    Abstract: 本发明公开了一种多源跨域表情识别方法、装置及存储介质,方法包括:将预处理后的图像数据划分为源域数据和目标域数据;获取源域数据一致性标签,包括基于源域数据原有的标签学习一个标注模型,用于自动对源域数据进行重新标注;利用基于类别原型的度量学习方法学习跨域不变的特征表示,用于提高源域和目标域特征表示判别性,以及减小特征表示的差异性;对表情识别模型进行训练;将目标域数据输入训练好的表情识别模型中,得到目标域数据的最佳预测标签。本发明可从多个源域数据学习语义知识并将其迁移到目标域数据,提升跨域表情识别方法的泛化性能。

    一种跨媒体哈希检索方法、装置、终端及存储介质

    公开(公告)号:CN113961727B

    公开(公告)日:2022-10-21

    申请号:CN202111067916.5

    申请日:2021-09-13

    Abstract: 本发明公开了一种跨媒体哈希检索方法、装置、终端及存储介质,方法包括:在样本数据集中选取至少一个样本数据组,得到目标训练批次;确定目标样本数据组对应的样本哈希特征;确定目标样本数据组对应的预测标签向量;根据目标样本数据组对应的样本标签向量获取目标样本数据组对应的标签哈希特征;根据样本哈希特征、标签哈希特征、样本标签向量、以及预测标签向量确定训练损失,根据训练损失对第一特征哈希学习网络和第二特征哈希学习网络的参数进行更新;采用参数收敛后的第一特征哈希学习网络确定第一媒体类型的数据的哈希码,采用参数收敛后的第二特征哈希学习网络确定第二媒体类型的数据的哈希码。本发明能够提升跨媒体哈希检索的准确性。

    一种基于跨域快速迁移的视觉拣选方法及装置

    公开(公告)号:CN113221916A

    公开(公告)日:2021-08-06

    申请号:CN202110514446.6

    申请日:2021-05-08

    Abstract: 本发明公开了一种基于跨域快速迁移的视觉拣选方法及装置,从缩小跨域特征之间的差异度出发,考虑单一相似性度量的局限性,提出了基于特征相似性度量加权融合的算法,使用多种相似性度量加权融合,对跨域特征进行全面分析、约束,以减小特征差异,提高拣选模型在真实域工作的准确率和工作效率;提出基于注意力机制的对抗学习算法,在考虑全局特征的基础上,针对零件所在的局部区域特征,使用注意力机制着重减小该区域的差异性,以学习跨域不变的特征,实现跨越仿真域与真实域之间的鸿沟,保证跨域后模型性能的鲁棒性。

    基于图神经网络的哈希检索方法、装置、终端及存储介质

    公开(公告)号:CN113886607B

    公开(公告)日:2022-07-12

    申请号:CN202111199103.1

    申请日:2021-10-14

    Abstract: 本发明公开了基于图神经网络的哈希检索方法、装置、终端及存储介质,方法包括:在样本数据集中选取至少一个样本数据;将目标样本数据分别输入至第一特征提取网络和第二特征提取网络,获取目标样本数据的第一特征和第二特征;根据目标样本数据的隐空间编码获取重构特征;根据目标样本数据的隐空间编码以及各个目标样本数据之间的相似性参数构建目标图,通过图神经网络获取目标样本数据的哈希码;根据各个目标样本数据之间的相似性参数、目标样本数据的哈希码、第二特征、第一特征和重构特征对第一特征提取网络的参数和每个隐空间编码进行更新;根据参数收敛后的第一特征提取网络获取待检索数据的哈希码。本发明能够提升哈希检索的性能。

    一种基于持续学习的多类别多尺度目标拣选方法及装置

    公开(公告)号:CN113222004A

    公开(公告)日:2021-08-06

    申请号:CN202110499381.2

    申请日:2021-05-08

    Abstract: 本发明公开了一种基于持续学习的多类别多尺度目标拣选方法及装置,通过生成对抗网络实现新旧任务特征的隐藏空间表示,从而建立知识记忆存储仓库,使用自适应知识迁移调度模块实现多任务拣选的快速切换,加速新任务的训练过程,结合正则化技术量化模型参数的重要程度,防止关键参数在训练过程中被覆盖。将数据重放框架用于智能零件拣选系统,能够克服在多类型多尺度目标拣选模型持续学习过程中出现的功能灾难性遗忘问题,确保拣选模型功能的完整性,实现目标与场景可以动态变化的持续性学习,帮助系统协调高效地解决多任务拣选问题。

    一种深度自适应多模态哈希检索方法及相关设备

    公开(公告)号:CN114691897B

    公开(公告)日:2025-05-16

    申请号:CN202210284064.3

    申请日:2022-03-22

    Abstract: 本发明公开了深度自适应多模态哈希检索方法及相关设备,本发明提供的方法,在面向多模态数据的哈希学习过程中先根据每一个模态数据的物理特性和特质,设计各自模态数据的特征学习网络,根据每次投入学习的训练样本中各个模态对最终共有特征的性能所做贡献大小,对每一个模态特征确定可学习的权重,根据权重来对各个模态的特征进行融合,实现了根据训练样本自身特性完成自适应权重的信息融合;使融合后的共有特征与哈希码的差异最小化,此过程加入从预设标签中提取的可伸缩语义特征,对哈希函数的参数进行自动更新,实现了特征空间与哈希空间的对齐,使用标签语义信息监督参数更新,能够提升多模态特征自适应融合能力和哈希学习的判别性表征能力。

Patent Agency Ranking