一种基于多算子融合的深度神经网络推理加速方法和系统

    公开(公告)号:CN113420865A

    公开(公告)日:2021-09-21

    申请号:CN202110660174.0

    申请日:2021-06-15

    Abstract: 本发明涉及一种基于多算子融合的深度神经网络推理加速方法和系统,该方法具体为:首先输入神经网络计算图,获取神经网络计算逻辑图,依据神经网络算子间计算关系,获取完整的神经网络前向计算的符号表达式;然后使用可融合算子搜索方法,利用算子符号表达式自动简化系统,化简神经网络前向计算的符号表达式,获取最简的符号表达式,实现多算子融合;再依据多算子融合结果,根据获得的最简符号表达式,构建新的神经网络计算推理逻辑图,解耦最简符号表达式,离线计算并存储为新的模型参数,构建相应的神经网络模型结构;最后加载新的模型参数实现推理加速。本发明能够减少算子执行间隙的开销,提升设备计算资源利用率,优化网络整体推理速度。

    一种基于预训练标注数据不可知的图像分类自动标注方法

    公开(公告)号:CN113191385A

    公开(公告)日:2021-07-30

    申请号:CN202110318366.3

    申请日:2021-03-25

    Abstract: 本发明公开了一种基于预训练标注数据不可知的图像分类自动标注方法,包括如下步骤:S1,获取待标注图像,收集预训练图像分类模型;S2,将预训练图像分类模型拆分成特征提取模型与标签预测模型,并初始化,固定标签预测模型参数,不参与后续迁移训练;S3,约束特征提取模型,使自动标注模型的输出具体类别确定,整体分布离散;S4,对特征提取模型输出特征进行聚类;S5,筛选出大小超过阈值的聚类簇,所对应的类别组成为待标注图像标签空间;S6,给所有待标注图像打上伪标签;S7,重新聚类并分配伪标签,对特征提取模型进行有监督训练;S8,迭代S3至S7;S9,使用迁移后的自动标注模型对待标注图像进行推理,得到标注结果。

    面向预训练标注数据不可知的图像自动标注系统和装置

    公开(公告)号:CN113128565A

    公开(公告)日:2021-07-16

    申请号:CN202110317531.3

    申请日:2021-03-25

    Abstract: 本发明公开了面向预训练标注数据不可知的图像自动标注系统,包括:获取模块和图像标注模块,及分别与所述获取模块和图像标注模块连接的模型迁移模块;所述获取模块,用于获取一组图像标注任务和待标注图像;所述模型迁移模块,用于将一组确定的预训练图像处理模型无监督迁移至适配于待标注图像域的更新后的图像处理模型,包括依次连接的模型拆分单元、信息最大化损失约束单元、聚类单元、标签空间分类单元、标签分配单元、分配更新单元和收敛单元;所述图像标注模块,用于生成与待标注图像相匹配的标注信息,并进行可视化标注。

    数据格式转换系统及其方法

    公开(公告)号:CN112379886A

    公开(公告)日:2021-02-19

    申请号:CN202011377942.3

    申请日:2020-11-30

    Abstract: 本发明公开了一种数据格式转换方法,包括:文件生成步骤,基于Protobuf以自定义或编写的文件名为xxx的Proto文件xxx.proto为输入,生成包含同一文件名的xxx_pb2.py代码,并以xxx_pb2.py为输入利用Python标准模块Jinja2分别填充模板文件template.cfg.h、template.cfg.cpp以及template.cfg.pybind.cpp,获得与xxx.proto文件中的结构化数据对应的C++端代码文件xxx.cfg.h、xxx.cfg.cpp以及Python端代码文件xxx.cfg.pybind.cpp,其中C++端代码文件xxx.cfg.h、xxx.cfg.cpp中包含结构化数据对应的C++对象,其对象的接口与ProtoBuf对齐,而Python端代码文件xxx.cfg.pybind.cpp为Pybind11对应的文件,用于将C++的接口导出到Python端;以及注册步骤,采用注册机制将所生成的xxx.cfg.pybind.cpp中定义的模块自动导出到Python。

    一种面向多任务语言模型的元-知识微调方法及平台

    公开(公告)号:CN112100383A

    公开(公告)日:2020-12-18

    申请号:CN202011202867.7

    申请日:2020-11-02

    Abstract: 本发明公开了一种面向多任务语言模型的元‑知识微调方法及平台,该方法基于跨域的典型性分数学习,获得同类任务不同数据集上高度可转移的共有知识,即元‑知识,将不同数据集对应的不同域上的同类任务的学习过程进行相互关联和相互强化,提升语言模型应用中同类下游任务在不同域数据集上的微调效果,提升了同类任务通用语言模型的参数初始化能力和泛化能力。本发明是在下游任务跨域数据集上进行微调,微调所得的压缩模型的效果不受限于该类任务的特定数据集,在预训练语言模型基础上,通过元‑知识微调网络对下游任务进行微调,由此得到与数据集无关的同类下游任务语言模型。

    基于图像属性先验的自适应软标签正则化方法

    公开(公告)号:CN112801162B

    公开(公告)日:2022-06-24

    申请号:CN202110088346.1

    申请日:2021-01-22

    Abstract: 本发明公开了一种基于图像属性先验的自适应软标签正则化方法,包括如下步骤:S1,通过神经网络中间特征层聚合构建图像的属性表达;S2,利用重参数化方法对属性概率先验进行软采样;S3,利用现有真值标签对采样软标签进行修正和截断;S4,多尺度属性先验正则化。通过模仿人眼进行图像分类是依据图像局部属性重要性的能力,在利用少量参数的情况下,有效地缓解在图像分类任务中由于方法模型对于结果的过于自信导致的过拟合问题,有效的提升图像分类的准确性。本发明实现方法简单,手段灵活,可以比较容易地应用到一般性图像分类任务中。

    一种面向自动机器学习的自适应搜索空间生成方法与装置

    公开(公告)号:CN112381215A

    公开(公告)日:2021-02-19

    申请号:CN202011493383.2

    申请日:2020-12-17

    Abstract: 本发明公开了一种面向自动机器学习的自适应搜索空间生成方法与装置,该方法包括如下步骤:步骤一、全量收集计算机视觉领域的各类任务,形成视觉任务集合;步骤二、定义不同层次元模块,形成初始元模块搜索空间;步骤三、根据视觉任务集合和元模块集合形成视觉任务和元模块矩阵,通过概率统计计算,生成关联概率分布,用于计算目标视觉任务与已有视觉任务的相似度;步骤四、根据相似度,选取与目标视觉任务相关的视觉任务的搜索空间中的元模块,并生成面向相关视觉任务的子搜索空间;步骤五、更新视觉任务集合和元模块集合。本发明对任务与元模块图谱引入动态更新的反馈机制,有利于图谱的不断优化并增强了图谱对于其他任务的适用性。

    一种基于域-不变特征的元-知识微调方法及平台

    公开(公告)号:CN112364945A

    公开(公告)日:2021-02-12

    申请号:CN202110037237.7

    申请日:2021-01-12

    Abstract: 本发明公开了一种基于域‑不变特征的元‑知识微调方法及平台,该方法学习同类任务不同数据集上高度可转移的共有知识,即域‑不变特征,微调网络集中学得同类任务不同数据集对应的不同域上的共同域特征,快速适应任何不同的域。本发明提升了同类任务通用语言模型的参数初始化能力和泛化能力,最终微调得到同类下游任务语言模型的通用压缩架构。在元‑知识微调网络中,本发明设计域‑不变特征的损失函数,学习与域无关的通用知识,即最小化一个域‑不变特征的学习目标来驱动语言模型具有域‑不变特征的编码能力。

Patent Agency Ranking