-
公开(公告)号：CN112348172B
公开(公告)日：2022-05-06
申请号：CN202011268445.X
申请日：2020-11-13
Applicant: 之江实验室
Abstract: 本发明公开了一种基于端边云架构的深度神经网络协同推理方法，该方法通过端、边、云协同的方式加速端侧推理速度，将人工智能中的深度模型，根据神经网络的分层进行分割，将模型推理过程中的计算任务根据网络环境、端边云三方的资源配额及使用情况，发送到对应的端侧，完成推理的整个过程。本发明公开了模型分割的整体框架及分割计算任务所使用的算法组件及原理，通过端边云的协同，可以加速端侧的推理速度，提高业务场景的中的实时性，同时减少资源端的能耗。
-
公开(公告)号：CN112783650B
公开(公告)日：2024-01-16
申请号：CN202110075174.4
申请日：2021-01-20
Applicant: 之江实验室
Abstract: 本发明公开一种基于AI芯片的多模型并行推理方法。采用的技术方案包括以下步骤：步骤一：模型转换，至少将Tensorflow/Caffe AI框架训练的模型通过转换工具转换为AI芯片可解析的OM模型；步骤二：加载转换的OM模型，并遵循AscendCL库接口，采用线程方式并行执行多个模型推理。优点如下：针对单一推理模型并不能高效利用AI芯片（如华为公司的Ascend 310芯片）的算力的不足问题，以充分挖掘Ascend 310芯片的算力，研究多模型并行推理，同时能够保持良好的性能。
-
公开(公告)号：CN112486686B
公开(公告)日：2025-02-18
申请号：CN202011382009.5
申请日：2020-11-30
Applicant: 之江实验室
IPC: G06F9/50 , G06N3/0464 , G06N3/0495 , G06N3/096 , G06N3/084 , G06N3/063
Abstract: 本发明公开了一种基于云边协同的定制化深度神经网络模型压缩方法及系统，该方法基于云端经过长时间训练的高精度的网络模型，基于用户的个性化需求，将网络模型分类关注的分类和不关注的分类，然后结合关注的分类、用户的数据集和模型压缩的比例，通过基于知识整理的神经网络模型压缩方法，进行模型的轻量化，满足用户边缘侧节点资源受限的场景需求，提升模型推理的速度，同时保证一定的模型精确度。本发明基于用户关注分类需求和知识蒸馏技术的模型训练方法，并在图片分类的场景下基于公共的数据集进行了验证。
-
公开(公告)号：CN112463293B
公开(公告)日：2024-11-26
申请号：CN202011295965.X
申请日：2020-11-18
Applicant: 之江实验室
IPC: G06F9/455 , G06F9/48 , G06F9/54 , H04N21/6437
Abstract: 本发明公开了边缘场景下基于容器的可扩展分布式双队列动态分配方法，包括如下步骤：S1，获取视频流数据；S2，网关服务从视频流数据中获取视频帧，并从空闲服务器队列中挑选集群内的空闲服务器处理视频帧；S3，空闲服务器上的推理服务对视频帧进行深度神经网络推理和结果处理，完成后上报网关服务当前服务器已空闲；S4，网关服务将上报空闲的服务器重新加入空闲服务器队列。组成集群进行统一深度神经网络推理的服务器协同计算模式，相比于传统的单路视频流对应单路服务器的计算模式而言，充分利用了服务器的剩余计算资源，可以将多个服务器的剩余计算资源进行整合，完成更多路视频流处理。
-
公开(公告)号：CN112383416B
公开(公告)日：2023-05-02
申请号：CN202011200641.3
申请日：2020-11-02
Applicant: 之江实验室
IPC: H04L41/0823 , H04L41/14 , H04L69/08 , H04L67/1095 , H04L67/1097 , H04L67/1004 , H04L41/0654
Abstract: 本发明公开了基于KubeEdge和EdgeX Foundry的智能边缘设备控制平台，包括KubeEdge系统和EdgeX Foundry平台，KubeEdge系统包括云端模块和边缘模块，通过KubeEdge系统将EdgeX Foundry平台部署到边缘节点，并通过边缘模块控制EdgeX Foundry平台；所述云端模块，通过边缘模块控制边缘节点和发布边缘应用；所述边缘模块，用于资源对象的控制，上报边缘信息到云端模块，执行边缘节点应用部署和数据同步到云端。
-
Patent Agency Ranking
公开(公告)号：CN112783650A
公开(公告)日：2021-05-11
申请号：CN202110075174.4
申请日：2021-01-20
Applicant: 之江实验室
Abstract: 本发明公开一种基于AI芯片的多模型并行推理方法。采用的技术方案包括以下步骤：步骤一：模型转换，至少将Tensorflow/Caffe AI框架训练的模型通过转换工具转换为AI芯片可解析的OM模型；步骤二：加载转换的OM模型，并遵循AscendCL库接口，采用线程方式并行执行多个模型推理。优点如下：针对单一推理模型并不能高效利用AI芯片（如华为公司的Ascend 310芯片）的算力的不足问题，以充分挖掘Ascend 310芯片的算力，研究多模型并行推理，同时能够保持良好的性能。
-
公开(公告)号：CN112463293A
公开(公告)日：2021-03-09
申请号：CN202011295965.X
申请日：2020-11-18
Applicant: 之江实验室
IPC: G06F9/455 , G06F9/48 , G06F9/54 , H04N21/6437
Abstract: 本发明公开了边缘场景下基于容器的可扩展分布式双队列动态分配方法，包括如下步骤：S1，获取视频流数据；S2，网关服务从视频流数据中获取视频帧，并从空闲服务器队列中挑选集群内的空闲服务器处理视频帧；S3，空闲服务器上的推理服务对视频帧进行深度神经网络推理和结果处理，完成后上报网关服务当前服务器已空闲；S4，网关服务将上报空闲的服务器重新加入空闲服务器队列。组成集群进行统一深度神经网络推理的服务器协同计算模式，相比于传统的单路视频流对应单路服务器的计算模式而言，充分利用了服务器的剩余计算资源，可以将多个服务器的剩余计算资源进行整合，完成更多路视频流处理。
-
公开(公告)号：CN112069903B
公开(公告)日：2023-12-22
申请号：CN202010789192.4
申请日：2020-08-07
Applicant: 之江实验室
Abstract: 本发明公开了一种基于深度强化学习实现人脸识别端边卸载计算方法及装置，包括：获取真实的人脸图片，根据边端人脸识别模型训练得到分类数据，其中，分类数据包括图片名称、id、图片提取出的128维特征向量、终端预测置信度、终端预测值、边缘预测值；将深度学习与强化学习进行结合，定义马尔科夫决策过程的状态空间、动作集、奖励函数和智能体；根据定义好的马尔科夫决策过程，构建Actor神经网络和Critic神经网络，使用分类数据对构建好的Actor神经网络和Critic神经网络进行训练，获得智能卸载决策模型；对智能卸载决策模型的性能与基准查询策略进行对比评估；根据对比评估的结果，将智能卸载决策模型部署到智能终端设备中，进行人脸识别的任务卸载决策。
-
公开(公告)号：CN112486686A
公开(公告)日：2021-03-12
申请号：CN202011382009.5
申请日：2020-11-30
Applicant: 之江实验室
Abstract: 本发明公开了一种基于云边协同的定制化深度神经网络模型压缩方法及系统，该方法基于云端经过长时间训练的高精度的网络模型，基于用户的个性化需求，将网络模型分类关注的分类和不关注的分类，然后结合关注的分类、用户的数据集和模型压缩的比例，通过基于知识整理的神经网络模型压缩方法，进行模型的轻量化，满足用户边缘侧节点资源受限的场景需求，提升模型推理的速度，同时保证一定的模型精确度。本发明基于用户关注分类需求和知识蒸馏技术的模型训练方法，并在图片分类的场景下基于公共的数据集进行了验证。
-
公开(公告)号：CN112383416A
公开(公告)日：2021-02-19
申请号：CN202011200641.3
申请日：2020-11-02
Applicant: 之江实验室
Abstract: 本发明公开了基于KubeEdge和EdgeX Foundry的智能边缘设备控制平台，包括KubeEdge系统和EdgeX Foundry平台，KubeEdge系统包括云端模块和边缘模块，通过KubeEdge系统将EdgeX Foundry平台部署到边缘节点，并通过边缘模块控制EdgeX Foundry平台；所述云端模块，通过边缘模块控制边缘节点和发布边缘应用；所述边缘模块，用于资源对象的控制，上报边缘信息到云端模块，执行边缘节点应用部署和数据同步到云端。
-
-
-
-
-
-
-
-
-
Search Results
12
records
(took 0.026 seconds)
