公开(公告)号：CN115249315B

公开(公告)日：2023-02-03

申请号：CN202211148079.3

申请日：2022-09-21

Applicant: 之江实验室

Inventor： 张北北 ,  高丰 ,  穆晓妍 ,  王东升 ,  孙铭鸽 ,  白文媛

IPC: G06V10/764 ,  G06N20/00 ,  G06F9/48

Abstract: 本发明公开了面向异构计算设备的深度学习图像分类方法及装置，将深度学习模型建模为一个有向无环图，有向无环图的节点表深度学习模型的算子，节点之间的有向边代表深度学习模型算子间的数据传输；根据算子分别在各异构计算设备上的处理时间为节点赋值，根据算子间数据在两个计算设备间的传输时间为节点之间的有向边赋值；将每个节点之间的有向边替换为新的节点，并增加两条有向边，保持有向无环图的拓扑结构，用原有向边的权重为新的节点赋值；对算子的内存占用、设备的内存限制、算子在设备上的执行顺序、设备与设备间的数据传输、设备与设备间的数据传输顺序建模，模型的目标函数是模型的端到端推理时延，从而得到最小时延的模型。

公开(公告)号：CN115249315A

公开(公告)日：2022-10-28

申请号：CN202211148079.3

申请日：2022-09-21

Applicant: 之江实验室

Inventor： 张北北 ,  高丰 ,  穆晓妍 ,  王东升 ,  孙铭鸽 ,  白文媛

IPC: G06V10/764 ,  G06N20/00 ,  G06F9/48

Abstract: 本发明公开了面向异构计算设备的深度学习图像分类方法及装置，将深度学习模型建模为一个有向无环图，有向无环图的节点表深度学习模型的算子，节点之间的有向边代表深度学习模型算子间的数据传输；根据算子分别在各异构计算设备上的处理时间为节点赋值，根据算子间数据在两个计算设备间的传输时间为节点之间的有向边赋值；将每个节点之间的有向边替换为新的节点，并增加两条有向边，保持有向无环图的拓扑结构，用原有向边的权重为新的节点赋值；对算子的内存占用、设备的内存限制、算子在设备上的执行顺序、设备与设备间的数据传输、设备与设备间的数据传输顺序建模，模型的目标函数是模型的端到端推理时延，从而得到最小时延的模型。

公开(公告)号：CN115661602A

公开(公告)日：2023-01-31

申请号：CN202211415579.9

申请日：2022-11-11

Applicant: 之江实验室

Inventor： 张北北 ,  高丰 ,  穆晓妍 ,  胡润雨 ,  白文媛 ,  孙铭鸽

IPC: G06V10/80 ,  G06V10/82

Abstract: 本说明书公开了一种图像识别的方法、装置、存储介质及电子设备。该图像识别的方法包括：构建初始识别模型，以识别出初始识别模型中包含的各模型算子、各模型算子对应的算子类型以及各模型算子之间的数据传递类型，针对每个候选算子，并根据该候选算子对应的数据传递类型，判断该候选算子与相邻算子是否满足预设的融合条件，若是，则将该候选算子与相邻算子融合，得到融合算子；根据融合算子以及未融合的各模型算子构建目标识别模型并部署；获取待识别图像，将待识别图像输入部署后的目标识别模型中，以通过目标识别模型输出待识别图像对应的图像识别结果。

公开(公告)号：CN115240048A

公开(公告)日：2022-10-25

申请号：CN202211148073.6

申请日：2022-09-21

Applicant: 之江实验室

Inventor： 张北北 ,  高丰 ,  穆晓妍 ,  胡润雨 ,  白文媛 ,  孙铭鸽

IPC: G06V10/80 ,  G06V10/764 ,  G06V10/774 ,  G06N20/00

Abstract: 本发明公开了面向图像分类的深度学习的算子定位融合方法及装置，将深度学习模型建模为一个有向无环图，有向无环图的节点表深度学习模型的算子，节点之间的边代表深度学习模型算子间的数据传输和算子的计算先后关系；使用算子类型作为节点类型对有向无环图中的节点赋值；定义算子之间的连接关系，并使用连接关系对有向无环图中的边赋值；获得一系列由算子类型按一定顺序排列组成的算子融合规则，采用深度优先搜索算法对有向无环图中的节点进行遍历，并根据节点类型、算子融合规则、算子连接关系识别有向无环图中需要聚合的节点；将被聚合的节点所对应的算子集合，获得粗化的深度学习计算图，并通过该计算图进行图像分类。