-
公开(公告)号:CN116842994A
公开(公告)日:2023-10-03
申请号:CN202310805891.7
申请日:2023-07-03
Applicant: 上海交通大学
IPC: G06N3/045 , G06N3/0464 , G06N3/042 , G06N3/08 , G06N5/04
Abstract: 一种多神经网络执行效率动态优化方法及系统,在离线阶段针对预设的多神经网络推理负载和异构边缘计算硬件,采用智能搜索算法寻找帕累托最优的调度配置,记录搜索过程中找到的所有候选配置,并为每个候选延迟需求保存对应的低资源占用的调度配置作为最优配置查找表;同时采集每组待部署的神经网络推理负载在不同计算硬件执行状态下的执行延迟并存入执行延迟查找表;在在线阶段根据系统延迟需求,从最优配置查找表中选择匹配的最优调度配置,持续监控执行状态并预测所有神经网络推理负载的剩余总执行时间,通过反馈式频率调节机制确保延迟需求得到满足。本发明既能应对系统所处场景多样性导致的延迟需求变化,也能应对多硬件单元共享内存导致的性能干扰,解决了多个神经网络推理负载如何统一进行调度优化的问题。
-
公开(公告)号:CN116418872A
公开(公告)日:2023-07-11
申请号:CN202310181180.7
申请日:2023-03-01
Applicant: 上海交通大学
Abstract: 一种数据流驱动的工作流服务器无感知分布式调度系统,包括:设置于主节点上的有向无环图解析器和全局调度器以及设置于每个工作节点上的数据流本地调度器和本地存储单元,本发明通过设计基于数据流的调度器和充分利用数据局部性,从而提高端到端时延,提高吞吐量,从而支持乱序执行以及基于数据流架构的工作流服务器。
-
公开(公告)号:CN116032634A
公开(公告)日:2023-04-28
申请号:CN202310017341.9
申请日:2023-01-06
Applicant: 上海交通大学
Abstract: 一种基于NFT的用户信息使用、委托授权及隐私保护方法,使用结构化的数据描述用户隐私信息,通过调用智能合约铸造隐私NFT,并将其储存在世界状态后,通过智能合约管理隐私NFT的访问控制和条件查询并通过隐私NFT分类,对不同类型的隐私信息所进行对应不同的使用、委托授权使用的方式。本发明实现隐私NFT管理及多种隐私NFT使用方式,在保证用户信息隐私安全的同时实现对用户信息的委托授权使用。
-
公开(公告)号:CN116015552A
公开(公告)日:2023-04-25
申请号:CN202211700534.6
申请日:2022-12-28
Applicant: 上海交通大学
Abstract: 本发明提供了一种针对跨域数据中心的纠删码方法、系统及可读存储介质,方法包括以下步骤:S1、使用二层编码的编码方式,将k个数据块分成p个局部校验分组,并使用MSR编码在每个局部校验分组中生成l个局部校验块,然后使用RS编码生成g个全局校验块,将所有的全局校验块组成一个全局校验分组,和局部校验分组一起共生成p+1个分组;S2、对p+1个分组在N个数据中心内的放置策略进行建模,求解访问延时和恢复传输延时的优化问题,得到分组放置概率矩阵P;S3、根据分组放置概率矩阵P把p+1个块分组放置在N个数据中心内。本发明通过使用MSR和RS的双层编码,并进行放置策略优化,有效解决了数据恢复过程中跨数据中心传输流量大和用户访问延时高的问题。
-
公开(公告)号:CN115878370A
公开(公告)日:2023-03-31
申请号:CN202211710219.1
申请日:2022-12-29
Applicant: 上海交通大学
IPC: G06F11/10 , G06N3/0464 , G06N3/08
Abstract: 本发明提供了一种分布式深度学习的数据恢复方法、系统及可读存储介质,方法包括以下步骤:S1、收集神经网络模型进行训练的参数信息,并利用纠删码获得待恢复数据分布的全局信息;S2、利用人工智能来计算各类别训练数据恢复的优先级,对待恢复的数据所处的条带进行排序;S3、将计算得到的数据恢复优先级和待恢复数据分布的全局信息进行组合,构造并行的恢复方案。本发明通过人工智能为要恢复的数据建立加权优先级,并结合纠删码获得的数据块分布的全局信息来构建并行恢复方案,将纠删码获取数据全局信息的能力与人工智能恢复部分丢失数据的能力结合起来,在可接受的训练精度下大幅降低了资源消耗,加速了云存储系统中分布式深度学习的数据重建。
-
公开(公告)号:CN111124691B
公开(公告)日:2022-11-25
申请号:CN202010000285.4
申请日:2020-01-02
Applicant: 上海交通大学
Abstract: 本发明提供一种多进程共享的GPU调度方法、系统及电子设备,所述多进程共享的GPU调度方法包括:从同时运行多个相同用户程序的进程池中捕获所述用户程序的某一个内核,并将该内核确定为待调度的内核;获取待调度的内核,根据所述内核的特征确定所述内核的资源分配百分比;根据确定的内核的资源分配百分比向GPU发射所述内核。实现一种基于Volta MPS多进程共享GPU调度策略,利用资源互补策略提升GPU整体吞吐率,通过线下的profile结果决定任务的计算资源分配方式,设计并实现了一种进程池机制,在Volta MPS的基础上可以对进程的GPU计算资源进行动态分配,实现最大化GPU系统的整体吞吐量。
-
公开(公告)号:CN115061775A
公开(公告)日:2022-09-16
申请号:CN202210590110.2
申请日:2022-05-26
Applicant: 上海交通大学
IPC: G06F9/455
Abstract: 本发明提供一种基于公有云的应用程序协同配置系统、方法及设备,所述基于公有云的应用程序协同配置系统包括:硬盘IO带宽分配模块,用于周期性地监视每个虚拟机的IO带宽使用情况,并基于虚拟机的IO带宽使用情况分配调整虚拟机的带宽;IO机制参数调优模块,用于基于虚拟机的带宽调整虚拟机的客户操作系统中的IO机制参数。本发明帮助各个IO密集型应用程序取得更高的性能,以此实现整体吞吐提高,本发明建立了迭代式软硬件协同配置运作框架,设计了无需入侵用户应用程序的参数调优方法,在无需升级硬件设备与不增加云服务提供商额外负担的提前下,提高了多租户公有云的整体吞吐。
-
公开(公告)号:CN110119307B
公开(公告)日:2022-09-13
申请号:CN201810111838.6
申请日:2018-02-05
Applicant: 上海交通大学 , 腾讯科技(深圳)有限公司
IPC: G06F9/50
Abstract: 本发明公开了一种数据处理请求的处理方法、装置、存储介质及电子装置。其中,该方法包括:获取并发的多个数据处理请求对应的运行参数,其中,运行参数包括:运行时间和运行带宽;按照运行时间从小到大的顺序确定多个数据处理请求中的每个数据处理请求的处理顺序,其中,在多个数据处理请求中,运行时间较小的数据处理请求被设置为优先于运行时间较大的数据处理请求被处理;在轮到处理多个数据处理请求中的目标数据处理请求、且目标数据处理请求对应的目标运行带宽满足目标运行条件的情况下,处理目标数据处理请求。本发明解决了数据处理请求的处理效率较低的技术问题。
-
公开(公告)号:CN115034387A
公开(公告)日:2022-09-09
申请号:CN202210774598.4
申请日:2022-07-01
Abstract: 本发明提供一种基于无数据场景的神经网络实时量化方法及电子设备,所述基于无数据场景的神经网络实时量化方法包括:采用海森矩阵表示量化模型与原始模型之间的精度损失;对所述海森矩阵进行近似计算,将所述海森矩阵分解为三个矩阵的和;基于所述三个矩阵对每一层的神经网络分别按照元素、卷积核、卷积输出通道的顺序进行量化。本发明无需额外的训练数据,能够实现毫秒级别的模型量化过程,同时能够在快速量化的同时,保证神经网络的高识别精度。
-
公开(公告)号:CN112817730B
公开(公告)日:2022-08-16
申请号:CN202110209701.6
申请日:2021-02-24
Applicant: 上海交通大学
Abstract: 本发明提供一种深度神经网络服务批处理调度方法、系统及GPU,所述深度神经网络服务批处理调度方法包括:构建包含多个批处理调度策略的批处理调度策略池;基于用户输入的服务质量要求信息和神经网络模型的类型确定对应的批处理调度策略,并配置所述确定的批处理调度策略;基于批处理调度策略的配置情况对所述神经网络模型执行服务调度。本发明可以为新兴的深度神经网络技术落地提供支持,可以构建具有商业意义的、基于模型多样性感知的深度神经网络服务批处理调度系统,面向用户简化神经网络推理调度服务的优化,优化整个神经网络的服务响应速度。
-
-
-
-
-
-
-
-
-