-
公开(公告)号:CN117370679B
公开(公告)日:2024-03-26
申请号:CN202311656866.3
申请日:2023-12-06
Applicant: 之江实验室
IPC: G06F16/9536 , G06F16/583 , G06F16/55 , G06F16/33 , G06F16/35 , G06F18/213 , G06F18/25 , G06F18/24 , G06F18/27 , G06N3/0455 , G06N3/048 , G06N3/08 , G06Q50/00
Abstract: 本发明公开了一种多模态双向蕴含社交网络虚假消息验证的方法及装置,通过图片和文本编码器对原始图片‑文本对进行特征提取,根据其蕴含关系构建对比学习;通过图片和文本编码器提取图片‑文本对所对应的特征;使用回归编码器对特征进行回归转换,对转换后得到的特征构建对比学习过程,使转换后的图片特征、文本特征分别回归到原始图片特征空间、原始文本特征空间内;通过训练好的编码器提取社交网络虚假消息中的图片‑文本对特征;将提取到的特征进行拼接和融合,随后经过分类函数得到虚假消息分类检测结果。通过本发明能充分挖掘两个模态数据之间的互补和蕴含信息,弥补单个模态信息表征不强的缺点,进而提高对社交网络信息的验证检测能力。
-
公开(公告)号:CN115982403B
公开(公告)日:2024-02-02
申请号:CN202310085564.9
申请日:2023-01-12
Applicant: 之江实验室
IPC: G06F16/583 , G06F16/55 , G06F16/51 , G06V10/80 , G06V10/82 , G06V10/764 , G06N3/0464 , G06N3/0455 , G06N3/048 , G06N3/09
Abstract: 本发明公开了一种多模态哈希检索方法及装置,该方法包括:获取带有标签的训练数据集;构建带有Transformer Encoder模块的多模态神经网络;根据所述训练数据集中的每个多模态数据经过所述多模态神经网络生成的哈希码与该多模态数据对应的标签,设计目标损失函数;根据所述目标损失函数,采用梯度下降法更新所述多模态神经网络的参数,以训练所述多模态神经网络;获取多模态原始数据并对所述多模态原始数据进行特征工程加工;将加工后的多模态原始数据输入训练后的多模态神经网络中,生成多模态哈希码;利用所述多模态哈希码,进行哈希检索。该方法使用Transformer网络实现多模态特征融合,与单模态哈希表示学习相比,检索的平均准确率(mAP)更高。
-
公开(公告)号:CN116721399B
公开(公告)日:2023-11-14
申请号:CN202310925867.7
申请日:2023-07-26
Applicant: 之江实验室
IPC: G06V20/56 , G06V20/58 , G06V20/70 , G06V10/774 , G06V10/80 , G06V10/82 , G06N3/0495 , G06N3/045 , G06N3/0464 , G06N3/048 , G06N3/08
Abstract: 本说明书公开了一种量化感知训练的点云目标检测方法及装置,可以获取训练样本,将训练样本中的点云样本数据输入到全精度网络中,得到目标检测结果,以对全精度网络进行训练,得到训练后的全精度网络,而后,将训练后的全精度网络进行模型量化,得到量化后网络,量化后网络的参数精度低于全精度网络的参数精度,而后,将训练样本输入到量化后网络中,得到量化后网络得到的目标检测结果,根据标注信息和目标检测结果,对量化后网络进行参数微调训练,得到训练后的量化后网络,最后,将训练后的量化后网络部署在无人驾驶设备中,以使无人驾驶设备通过量化后网络进行点云目标检测,从而在保证准确性的情况下提高了无人驾驶设备的点云检测效率。
-
公开(公告)号:CN116757216B
公开(公告)日:2023-11-07
申请号:CN202311024641.6
申请日:2023-08-15
Applicant: 之江实验室
IPC: G06F40/295 , G06F16/35
Abstract: 本申请涉及一种基于聚类描述的小样本实体识别方法、装置和计算机设备,通过获取待识别文本数据;将所述待识别文本数据输入实体边界定位模型,得到所述待识别文本数据中所有实体的实体边界;将所述待识别文本数据以及所述实体边界输入实体聚类模型,得到多个类别的实体;基于多个类别的所述实体,确定每个类别的类别标识以及对应实体。上述基于聚类描述的小样本实体识别方法,基于实体边界定位模型和实体聚类模型,能够精准识别实体边界,并对实体进行精准分类,明显提高了实体识别和分类效率,并且由于人工介入的减少,也会一定程度提高实体标记的准确性。
-
公开(公告)号:CN116776135A
公开(公告)日:2023-09-19
申请号:CN202311072802.9
申请日:2023-08-24
Applicant: 之江实验室
IPC: G06F18/2136 , G06N3/0464
Abstract: 本说明书公开了一种基于神经网络模型的物理场数据预测方法及装置,可以根据物理场数据整体在数据空间中各空间区域的数据稀疏情况,来对物理场数据进行划分,得到各分块数据,这样可以将具有计算价值的数据从物理场数据的整体中分割出来,使得预测模型对有价值的分块数据进行计算,以完成物理场数据的预测任务,从而相比于现有技术来说,可以显著的提升预测模型的运算效率。
-
公开(公告)号:CN116188878A
公开(公告)日:2023-05-30
申请号:CN202310450659.6
申请日:2023-04-25
Applicant: 之江实验室
IPC: G06V10/764 , G06V10/82 , G06V10/774 , G06V10/776 , G06N3/0464 , G06N3/082
Abstract: 本申请涉及一种基于神经网络结构微调的图像分类方法、装置和存储介质,用于对特征图进行处理,所述特征图由图像数据集输入神经网络所获得,所述方法包括:基于图像数据集的训练集和验证集,获取待剪枝神经网络各特征图的最小绝对偏差,从而确定各特征图的剪枝阈值对特征图进行剪枝,得到剪枝结构;量化剪枝结构,获取量化后剪枝结构的图像分类精度的损失值;基于损失值和剪枝结构的最大迭代周期,对剪枝结构进行微调,得到图像分类特征模型;最后将待测图像输入图像分类特征模型得到分类结果,实现图像分类神经网络模型剪枝范围的自适应调整和对剪枝模型的结构微调量化,提高利用显著压缩的图像分类特征模型进行图像分类处理的分类精度和速度。
-
公开(公告)号:CN116185307A
公开(公告)日:2023-05-30
申请号:CN202310448220.X
申请日:2023-04-24
Applicant: 之江实验室
Abstract: 本说明书公开了一种模型数据的存储方法、装置、存储介质及电子设备。所述模型数据的存储方法包括:接收模型数据的存储请求并获取模型数据,确定所述模型数据的属性信息,根据所述属性信息,确定所述模型数据对应的存储位置,若所述存储位置位于所述AI加速器的本地存储单元,则确定与所述属性信息相匹配的压缩方式,作为目标压缩方式,通过所述目标压缩方式对所述模型数据进行压缩,并将压缩后的模型数据存储在所述本地存储单元中的所述存储位置,以及若所述存储位置位于所述AI加速器的远端存储单元,则将所述模型数据存储在所述远端存储单元中的所述存储位置。
-
公开(公告)号:CN115774736A
公开(公告)日:2023-03-10
申请号:CN202310095934.7
申请日:2023-02-10
Applicant: 之江实验室
IPC: G06F16/2455 , G06F16/245 , G06F16/2453 , G06F16/22 , G06F16/901 , G06F16/903 , G06F9/50
Abstract: 本发明公开了一种数据延迟发送的NUMA架构时变图处理方法与装置,首选基于基线快照建立初始的时变图数据表示;根据更新快照以更新时变图数据表示,并构建快照并集;基于快照并集,在NUMA节点内部进行迭代计算,更新并累积顶点数据;将累积的顶点数据传播到其他NUMA节点以更新其他顶点数据;循环上述步骤,直至每个NUMA节点内没有可计算的活动顶点,对每个NUMA节点输出的结果进行聚合,完成NUMA架构时变图的处理。本发明关注了服务器的NUMA结构特征,实现了数据的合理分配以及数据包的灵活传输,降低了NUMA节点间的通信频率,提高计算资源的利用率,使时变图的计算效率得到显著提高。
-
公开(公告)号:CN114896434B
公开(公告)日:2022-11-18
申请号:CN202210821230.9
申请日:2022-07-13
Applicant: 之江实验室
IPC: G06F16/51 , G06F16/58 , G06F16/583 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于中心相似度学习的哈希码生成方法及装置,该方法包括:获取带有标签的训练数据集;利用哈达玛矩阵,为所述训练数据集中相同标签的数据构造一个共享的哈希中心,从而得到若干哈希中心;根据所述训练数据集中的样本经过多模态神经网络生成的哈希码与该数据对应的哈希中心之间的距离,计算得到中心相似性学习的目标损失函数;根据所述中心相似性学习的目标损失函数,训练多模态神经网络;获取多模态数据并对所述多模态数据进行预处理;将预处理后的多模态数据输入训练后的多模态神经网络中,生成多模态哈希码。
-
公开(公告)号:CN114237918A
公开(公告)日:2022-03-25
申请号:CN202210183223.0
申请日:2022-02-28
Applicant: 之江实验室
Abstract: 本发明公开了一种面向神经网络模型计算的图执行方法和装置,包括根据深度学习框架编译生成的物理计算图,创建本机上的任务执行体,通过设计为每个任务执行体分配多个空闲内存块的方案,实现整张计算图以流水并行的方式同时参与到不同批次数据的深度学习训练任务中,本发明公开的面向神经网络模型计算的图执行方法和装置,以算子核函数的执行体为基本单元,以生产和消费的张量作为整个计算图中流动的数据,执行体以流水并行的方式实现模型的训练过程。在大规模深度神经网络的分布式应用场景下,本发明对用户的使用门槛较低,并且能够使模型学习到大量分批次流入神经网络的数据的内在关联,从而获得对应场景中的“智能”感知与判断能力。
-
-
-
-
-
-
-
-
-