公开(公告)号：CN118642661A

公开(公告)日：2024-09-13

申请号：CN202411092481.3

申请日：2024-08-09

Applicant: 之江实验室

Inventor： 朱春节 ,  梅飞 ,  孔丽娟 ,  程稳 ,  李勇 ,  曾令仿 ,  刘懿 ,  盛明凯

IPC: G06F3/06 ,  G06F9/50 ,  G06F9/54

Abstract: 本发明公开了一种分布式深度学习缓存数据存储的方法和装置，其方法包括：使用细粒度的缓存数据布局方法，充分利用下一周期的随机访问序列指导数据在缓存节点的布局，然后以异步方式动态地将每个样本数据精确迁移到目标缓存节点，并将每个训练进程的数据摄取请求动态调度到目标缓存节点，使得任一时间段内各缓存节点收到的数据摄取请求数目都是相当的，从而保证每个缓存节点上的存储、网络等资源都能充分利用，当模型训练任务提升数据载入的并发度时，缓存数据摄取的并发度也相应提升，显著加快模型训练任务摄取数据的速度。

公开(公告)号：CN118035427A

公开(公告)日：2024-05-14

申请号：CN202410448201.1

申请日：2024-04-15

Applicant: 之江实验室

Inventor： 曾令仿 ,  盛明凯 ,  程稳 ,  柯洺达 ,  梅飞 ,  朱春节

IPC: G06F16/332 ,  G06F16/38 ,  G06F16/532 ,  G06F16/583 ,  G06F40/126 ,  G06F40/289 ,  G06V10/44 ,  G06V10/74 ,  G06N3/045

Abstract: 本发明公开了一种通过3D对比学习增强多模态图文检索的方法及装置，基于3D对比学习的多模态网络，通过属性信息监督模态特征之间的交互，充分挖掘模态之间的对应关系，从而能利用模态之间互补的、对齐的信息；在本发明方法中通过对原始数据集中成对的图片、文本对以及对应的属性信息进行特征抽取获得这三个维度的特征，然后送入到3D对比学习模块中，经过充分对比融合、特征对齐，获得视觉模态和文本模态之间的互补信息以及潜在对应关系。本发明通过3D对比学习增强多模态图片文本的检索，能充分利用图片的视觉模态信息、文本模态信息以及它们共享的属性信息这些特征进行联合优化，从而极大地提升了图片文本的检索准确率。

公开(公告)号：CN117370679A

公开(公告)日：2024-01-09

申请号：CN202311656866.3

申请日：2023-12-06

Applicant: 之江实验室

Inventor： 曾令仿 ,  盛明凯 ,  程稳 ,  朱健 ,  柯洺达

IPC: G06F16/9536 ,  G06F16/583 ,  G06F16/55 ,  G06F16/33 ,  G06F16/35 ,  G06F18/213 ,  G06F18/25 ,  G06F18/24 ,  G06F18/27 ,  G06N3/0455 ,  G06N3/048 ,  G06N3/08 ,  G06Q50/00

Abstract: 本发明公开了一种多模态双向蕴含社交网络虚假消息验证的方法及装置，通过图片和文本编码器对原始图片‑文本对进行特征提取，根据其蕴含关系构建对比学习；通过图片和文本编码器提取图片‑文本对所对应的特征；使用回归编码器对特征进行回归转换，对转换后得到的特征构建对比学习过程，使转换后的图片特征、文本特征分别回归到原始图片特征空间、原始文本特征空间内；通过训练好的编码器提取社交网络虚假消息中的图片‑文本对特征；将提取到的特征进行拼接和融合，随后经过分类函数得到虚假消息分类检测结果。通过本发明能充分挖掘两个模态数据之间的互补和蕴含信息，弥补单个模态信息表征不强的缺点，进而提高对社交网络信息的验证检测能力。