-
公开(公告)号:CN116523032B
公开(公告)日:2023-09-29
申请号:CN202310235411.8
申请日:2023-03-13
Applicant: 之江实验室
IPC: G06N3/094 , G06N3/096 , G06V30/19 , G06N3/0464
Abstract: 本发明公开了一种图像文本双端迁移攻击方法、装置和介质,该方法的步骤包括分析攻击目标模型、本地替代模型训练、对抗样本生成和对抗样本迁移,其中,分析攻击目标模型,即对比语言图像预训练模型,其可以接受图像与文本两端输入,之后根据输出向量的相似度进行结果预测;本地替代模型训练为根据目标模型的骨干网络训练替代模型,用于迁移攻击;对抗样本生成为对本地替代模型的进行攻击,进而获得图像和文本的对抗样本;对抗样本迁移为对抗样本输入对比语言图像预训练模型,最终导致网络无法正常工作,网络预测分类错误。本发明从图像和文本两个输入端口进行攻击,同时在本地训练相关模型进行迁移攻击,大幅提高了攻击成功率。
-
公开(公告)号:CN116089955B
公开(公告)日:2023-09-26
申请号:CN202211528529.1
申请日:2022-12-01
Applicant: 之江实验室
Abstract: 本发明公开了一种基于windows操作系统的系统调用去噪方法及装置,该方法基于提取到的系统调用参数,构造进程‑线程亲子关系图谱和时序图,对线程进行行为分析和过滤,保留在磁盘/内存/注册表/网络层面产生增、删、改行为的线程,并对这些进程产生的系统调用生成了系统调用描述文件。该方法能够有效减少在系统调用分析中原始数据的噪声,同时保留系统调用原有的亲缘和时序关系,使得计算机产生的系统调用能够以文本的形式进行描述和比较。
-
公开(公告)号:CN115080750A
公开(公告)日:2022-09-20
申请号:CN202210980846.0
申请日:2022-08-16
Applicant: 之江实验室
IPC: G06F16/35 , G06F40/289 , G06K9/62
Abstract: 本发明公开了一种基于融合提示序列的弱监督文本分类方法、系统和装置,包括如下步骤:步骤1:获取待标注文本和类别标签集合;步骤2:对待标注文本增加提示序列,提示序列中引入占位符,所述占位符表示需后序处理以预测该位置单词;本发明基于更符合现实应用的弱监督文本分类场景,极大地减少了文本分类任务中人工的介入,降低了不可避免的人工误差,极大地节约了标注成本,提高了标注效率;在不获得任何标注信息的情况下,通过对文本数据进行有效的预处理,以及充分利用预训练模型输出特征,在不微调超大预训练模型的情况下,实现自动标注精度的大幅度提升。
-
公开(公告)号:CN113836386A
公开(公告)日:2021-12-24
申请号:CN202111410689.1
申请日:2021-11-25
Applicant: 之江实验室
IPC: G06F16/953 , G06F21/64 , H04L9/32
Abstract: 本发明提供了一种并行模式搜索空间构造系统和方法,该方法为:初始化输入逻辑张量;计算并输出逻辑张量真值;构造所有候选并行模式,确定输入和输出张量并行模式迭代内容;结合输入张量并行模式迭代内容,切分输入逻辑张量为物理张量;判断物理张量计算合法性,若合法,计算物理张量结果并输出;若非法,继续输入张量并行模式迭代过程;结合输出张量并行模式迭代内容,合并物理张量运算结果为逻辑张量;对比逻辑张量真值和逻辑张量,若相等,将该并行模式添加到合法并行模式搜索空间中,并直接继续输入张量并行模式迭代过程;若不相等,继续输出张量并行模式迭代过程,直到迭代完成后,重复所述以上步骤,直到所述输入张量并行模式迭代过程完成。
-
公开(公告)号:CN115953590B
公开(公告)日:2024-01-30
申请号:CN202211597576.1
申请日:2022-12-12
Applicant: 之江实验室
IPC: G06V10/424 , G06V10/764 , G06V10/82 , G06F40/30 , G06F40/289 , G06N3/0442 , G06N3/047 , G06N3/084
Abstract: 本发明公开了一种分段式细粒度的商品图像描述生成方法、装置和介质,该方法包括以下步骤:首先构造一个粗粒度的商品图像描述生成框架,由图像特征提取器、文本解码器、映射网络三部分组成;然后针对图像特征提取器以及文本解码器进行预训练,之后通过映射网络对齐语义空间,生成粗粒度的图像描述;其次在公开的商品描述数据集上微调已有的大型文本生成网络;再将粗粒度的图像描述输入微调后的文本生成网络,生成细粒度的商品图像描述;最后可将上述生成的商品描述再次输入网络,直至生成满意的商品图像描述。本发明的商品图像描述生成方法能够提高商品描述的丰富度和细腻度,自动化批量生成细粒度的商品图像描述。
-
公开(公告)号:CN115080750B
公开(公告)日:2022-11-08
申请号:CN202210980846.0
申请日:2022-08-16
Applicant: 之江实验室
IPC: G06F16/35 , G06F40/289 , G06K9/62
Abstract: 本发明公开了一种基于融合提示序列的弱监督文本分类方法、系统和装置,包括如下步骤:步骤1:获取待标注文本和类别标签集合;步骤2:对待标注文本增加提示序列,提示序列中引入占位符,所述占位符表示需后序处理以预测该位置单词;本发明基于更符合现实应用的弱监督文本分类场景,极大地减少了文本分类任务中人工的介入,降低了不可避免的人工误差,极大地节约了标注成本,提高了标注效率;在不获得任何标注信息的情况下,通过对文本数据进行有效的预处理,以及充分利用预训练模型输出特征,在不微调超大预训练模型的情况下,实现自动标注精度的大幅度提升。
-
公开(公告)号:CN115080749B
公开(公告)日:2022-11-08
申请号:CN202210980845.6
申请日:2022-08-16
Applicant: 之江实验室
IPC: G06F16/35 , G06F40/205 , G06F40/242 , G06K9/62
Abstract: 本发明公开了一种基于自监督训练的弱监督文本分类方法、系统和装置,包括如下步骤:S1:获取待标注文本数据和对应的类别标签集合;S2:获取预训练模型;S3:将预训练模型部分权重迁移至文本分类模型;S4:通过自监督伪标策略获得文本分类伪标签;本发明提供了一种基于自监督训练的弱监督文本分类方法,更贴近于文本分类实际应用场景,用户只需提供待标注数据和类别标签集合即可,极大地减少了文本数据标注成本。目前已有较多科技巨头公司开源了各种预训练自然语言模型,这些模型已提前学习到了海量信息中的通识知识,保证了分类精度。通过采用迁移学习方法和自监督训练策略,进一步提高了分类效率和精度。
-
公开(公告)号:CN115080748A
公开(公告)日:2022-09-20
申请号:CN202210980591.8
申请日:2022-08-16
Applicant: 之江实验室
IPC: G06F16/35 , G06F40/205
Abstract: 本发明公开了一种基于带噪标签学习的弱监督文本分类方法和装置,包括如下步骤:S1:获取待标注文本和类别标签集合;S2:确定预训练自然语言模型;S3:获得待标注文本伪标签;S4:初始化文本分类模型,基于伪标签计算分类损失函数;S5:通过带噪标签损失筛选方法得到高置信度数据:将所有待标注文本的分类损失函数按升序排列,筛选前top‑N数据作为高置信度数据;本发明提供了一种基于带噪标签学习的弱监督文本分类方法和装置,解决在仅获取待标注文本和类别标签集合情况下,实现高准确率分类结果,减少文本标注成本。
-
公开(公告)号:CN116630480B
公开(公告)日:2023-09-26
申请号:CN202310862442.6
申请日:2023-07-14
Applicant: 之江实验室
Abstract: 本发明涉及交互式文本驱动图像编辑的方法、装置和电子设备,方法包括获取图像样本并判断图像样本是否合规;将图像样本输入到图像逆向模型得到原始图像逆向特征;获取文本样本并判断文本样本是否合规;将文本样本输入到文本编码器中得到文本特征;将原始图像逆向特征和文本特征输入到多模态融合模型得到编辑图像特征;将编辑图像特征输入到图像生成器得到编辑后图像;询问用户是否继续输入文本样本,若继续,继续获取文本样本;否则输出最终编辑后图像。与现有技术相比,本发明放开了传统编辑场景对于输入文本内容的限制,可实现针对于同一张原始图像进行多次文本输入,渐进式修改对应图像区域,提高图像编辑方法灵活性。
-
公开(公告)号:CN116796829A
公开(公告)日:2023-09-22
申请号:CN202310945896.X
申请日:2023-07-31
Applicant: 之江实验室
IPC: G06N3/094 , G06N3/0985 , G06N3/0475 , G06N3/045 , G06T3/00 , G06V40/16 , G06V10/74 , G06V10/764 , G06V10/774 , G06V10/82 , G06F40/30
Abstract: 本发明涉及一种文本驱动人脸编辑的对抗攻击方法、装置和介质,方法包括获取图像样本和文本样本,图像样本包括原始图像和目标图像;基于文本样本,确定固定语义映射模型;将原始图像样本输入到图像逆向模型得到原始图像逆向特征;然后输入到固定语义映射模型,其输出与原始图像逆向特征加权组合得到编辑后图像逆向特征,加权因子为可优化超参数;根据编辑后图像逆向特征生成编辑后生成图像;判断是否收敛,并对加权因子收敛迭代优化,得到最终编辑后图像逆向特征从而生成最终编辑后生成图像。与现有技术相比,本发明具有保证了对抗样本的攻击有效性,增强了对抗干扰的不可见性,提高了对抗样本的图像质量等优点。
-
-
-
-
-
-
-
-
-