-
公开(公告)号:CN113420865A
公开(公告)日:2021-09-21
申请号:CN202110660174.0
申请日:2021-06-15
Applicant: 之江实验室
Abstract: 本发明涉及一种基于多算子融合的深度神经网络推理加速方法和系统,该方法具体为:首先输入神经网络计算图,获取神经网络计算逻辑图,依据神经网络算子间计算关系,获取完整的神经网络前向计算的符号表达式;然后使用可融合算子搜索方法,利用算子符号表达式自动简化系统,化简神经网络前向计算的符号表达式,获取最简的符号表达式,实现多算子融合;再依据多算子融合结果,根据获得的最简符号表达式,构建新的神经网络计算推理逻辑图,解耦最简符号表达式,离线计算并存储为新的模型参数,构建相应的神经网络模型结构;最后加载新的模型参数实现推理加速。本发明能够减少算子执行间隙的开销,提升设备计算资源利用率,优化网络整体推理速度。
-
公开(公告)号:CN113191385A
公开(公告)日:2021-07-30
申请号:CN202110318366.3
申请日:2021-03-25
Applicant: 之江实验室
Abstract: 本发明公开了一种基于预训练标注数据不可知的图像分类自动标注方法,包括如下步骤:S1,获取待标注图像,收集预训练图像分类模型;S2,将预训练图像分类模型拆分成特征提取模型与标签预测模型,并初始化,固定标签预测模型参数,不参与后续迁移训练;S3,约束特征提取模型,使自动标注模型的输出具体类别确定,整体分布离散;S4,对特征提取模型输出特征进行聚类;S5,筛选出大小超过阈值的聚类簇,所对应的类别组成为待标注图像标签空间;S6,给所有待标注图像打上伪标签;S7,重新聚类并分配伪标签,对特征提取模型进行有监督训练;S8,迭代S3至S7;S9,使用迁移后的自动标注模型对待标注图像进行推理,得到标注结果。
-
公开(公告)号:CN113128565A
公开(公告)日:2021-07-16
申请号:CN202110317531.3
申请日:2021-03-25
Applicant: 之江实验室
Abstract: 本发明公开了面向预训练标注数据不可知的图像自动标注系统,包括:获取模块和图像标注模块,及分别与所述获取模块和图像标注模块连接的模型迁移模块;所述获取模块,用于获取一组图像标注任务和待标注图像;所述模型迁移模块,用于将一组确定的预训练图像处理模型无监督迁移至适配于待标注图像域的更新后的图像处理模型,包括依次连接的模型拆分单元、信息最大化损失约束单元、聚类单元、标签空间分类单元、标签分配单元、分配更新单元和收敛单元;所述图像标注模块,用于生成与待标注图像相匹配的标注信息,并进行可视化标注。
-
公开(公告)号:CN112884021A
公开(公告)日:2021-06-01
申请号:CN202110127717.2
申请日:2021-01-29
Abstract: 本发明公开了一种面向深度神经网络可解释性的可视分析系统,包括:深度学习模型结构和计算过程的解释性可视化模块,揭示深度学习模型内部的网络结构和数据流的逐步计算流程;训练过程数据流的解释性可视化模块,揭示整个训练过程中数据流的统计信息;神经网络特征提取功能的解释性可视化模块,将神经元权重或神经元输出以可视化方式展示给用户,以解释各层神经元的特征提取能力,通过对比可视化方式,发现模型在不同时间点、不同参数等情况下的表现差异;数据异常值的解释性可视化模块,帮助用户发现数据中的异常和训练中模型参数的异常,提示用户及时暂停和修改模型参数;用户定制功能可视化模块,支持多种可视化模块在同一个页面中进行展示。
-
公开(公告)号:CN112379886A
公开(公告)日:2021-02-19
申请号:CN202011377942.3
申请日:2020-11-30
Applicant: 北京一流科技有限公司 , 之江实验室
Abstract: 本发明公开了一种数据格式转换方法,包括:文件生成步骤,基于Protobuf以自定义或编写的文件名为xxx的Proto文件xxx.proto为输入,生成包含同一文件名的xxx_pb2.py代码,并以xxx_pb2.py为输入利用Python标准模块Jinja2分别填充模板文件template.cfg.h、template.cfg.cpp以及template.cfg.pybind.cpp,获得与xxx.proto文件中的结构化数据对应的C++端代码文件xxx.cfg.h、xxx.cfg.cpp以及Python端代码文件xxx.cfg.pybind.cpp,其中C++端代码文件xxx.cfg.h、xxx.cfg.cpp中包含结构化数据对应的C++对象,其对象的接口与ProtoBuf对齐,而Python端代码文件xxx.cfg.pybind.cpp为Pybind11对应的文件,用于将C++的接口导出到Python端;以及注册步骤,采用注册机制将所生成的xxx.cfg.pybind.cpp中定义的模块自动导出到Python。
-
公开(公告)号:CN112100383A
公开(公告)日:2020-12-18
申请号:CN202011202867.7
申请日:2020-11-02
Applicant: 之江实验室
Abstract: 本发明公开了一种面向多任务语言模型的元‑知识微调方法及平台,该方法基于跨域的典型性分数学习,获得同类任务不同数据集上高度可转移的共有知识,即元‑知识,将不同数据集对应的不同域上的同类任务的学习过程进行相互关联和相互强化,提升语言模型应用中同类下游任务在不同域数据集上的微调效果,提升了同类任务通用语言模型的参数初始化能力和泛化能力。本发明是在下游任务跨域数据集上进行微调,微调所得的压缩模型的效果不受限于该类任务的特定数据集,在预训练语言模型基础上,通过元‑知识微调网络对下游任务进行微调,由此得到与数据集无关的同类下游任务语言模型。
-
公开(公告)号:CN111506785A
公开(公告)日:2020-08-07
申请号:CN202010150112.0
申请日:2020-03-06
IPC: G06F16/9032 , G06F16/951 , G06F40/284 , G06N7/00 , G06Q50/00 , G06Q50/26
Abstract: 本发明提供一种基于社交文本的网络舆情话题识别方法,涉及文本数据处理技术领域。本发明考虑到噪音词对文本话题发现的影响,将生成词中的主题词和生成词的噪声词分开,将噪音词过滤并推断出每个词的主题词分布,从而能准确的判断出生成该词对应的网络舆情话题,提高网络舆情话题识别的准确率,为后续的舆情监测、政府或者相关管理部门舆情引导和个性化营销等实际场景提供准确的数据支持。
-
公开(公告)号:CN112801162B
公开(公告)日:2022-06-24
申请号:CN202110088346.1
申请日:2021-01-22
Applicant: 之江实验室
IPC: G06V10/764 , G06V10/82 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于图像属性先验的自适应软标签正则化方法,包括如下步骤:S1,通过神经网络中间特征层聚合构建图像的属性表达;S2,利用重参数化方法对属性概率先验进行软采样;S3,利用现有真值标签对采样软标签进行修正和截断;S4,多尺度属性先验正则化。通过模仿人眼进行图像分类是依据图像局部属性重要性的能力,在利用少量参数的情况下,有效地缓解在图像分类任务中由于方法模型对于结果的过于自信导致的过拟合问题,有效的提升图像分类的准确性。本发明实现方法简单,手段灵活,可以比较容易地应用到一般性图像分类任务中。
-
公开(公告)号:CN112381215A
公开(公告)日:2021-02-19
申请号:CN202011493383.2
申请日:2020-12-17
Applicant: 之江实验室
Abstract: 本发明公开了一种面向自动机器学习的自适应搜索空间生成方法与装置,该方法包括如下步骤:步骤一、全量收集计算机视觉领域的各类任务,形成视觉任务集合;步骤二、定义不同层次元模块,形成初始元模块搜索空间;步骤三、根据视觉任务集合和元模块集合形成视觉任务和元模块矩阵,通过概率统计计算,生成关联概率分布,用于计算目标视觉任务与已有视觉任务的相似度;步骤四、根据相似度,选取与目标视觉任务相关的视觉任务的搜索空间中的元模块,并生成面向相关视觉任务的子搜索空间;步骤五、更新视觉任务集合和元模块集合。本发明对任务与元模块图谱引入动态更新的反馈机制,有利于图谱的不断优化并增强了图谱对于其他任务的适用性。
-
公开(公告)号:CN112364945A
公开(公告)日:2021-02-12
申请号:CN202110037237.7
申请日:2021-01-12
Applicant: 之江实验室
Abstract: 本发明公开了一种基于域‑不变特征的元‑知识微调方法及平台,该方法学习同类任务不同数据集上高度可转移的共有知识,即域‑不变特征,微调网络集中学得同类任务不同数据集对应的不同域上的共同域特征,快速适应任何不同的域。本发明提升了同类任务通用语言模型的参数初始化能力和泛化能力,最终微调得到同类下游任务语言模型的通用压缩架构。在元‑知识微调网络中,本发明设计域‑不变特征的损失函数,学习与域无关的通用知识,即最小化一个域‑不变特征的学习目标来驱动语言模型具有域‑不变特征的编码能力。
-
-
-
-
-
-
-
-
-