-
公开(公告)号:CN114691314A
公开(公告)日:2022-07-01
申请号:CN202111199598.8
申请日:2021-10-14
Applicant: 上海交通大学
Abstract: 本发明提供一种基于确定性算子共存的服务调度方法及其应用的GPU,所述基于确定性算子共存的服务调度方法包括:包括:利用一共存感知的延迟预测器预测每一个算子调度组的处理时间;利用一基于余量的请求控制器以轮循的方式调度多个深度学习服务的请求,在每一个轮次中,确定接收到的所有请求的处理顺序,并基于预测的所述每一个算子调度组的处理时间确定最佳的算子调度组;利用一分段模型执行引擎处理接收到的所述算子调度组中各请求的相应算子的计算。本发明保证了多个深度学习服务混合运行的服务质量保证,同时还提高了吞吐,提升了GPU利用率。
-
公开(公告)号:CN112925627B
公开(公告)日:2022-03-29
申请号:CN202110318094.7
申请日:2021-03-25
Applicant: 上海交通大学
Abstract: 一种基于图形处理器的图采样和随机游走加速方法及系统,通过CPU从存储介质中读取图数据并转化为CSR格式后输出至GPU,GPU根据设定的工作模式:实时生成别名表并进行采样;或离线判断是否已有预先生成的别名表并进行采样。本发明能够高效、并行地执行别名方法,能够在相同硬件平台上显著提升图数据处理的性能,包括提高采样吞吐量吞吐量,以及减少整体运行时间。
-
公开(公告)号:CN112529175B
公开(公告)日:2022-03-18
申请号:CN202011224090.4
申请日:2020-11-05
Applicant: 上海交通大学
Abstract: 本发明提供一种神经网络的编译方法、系统、计算机存储介质及编译设备,所述神经网络的编译方法包括:将网络文件翻译为中间表达文件;从性能分析、单节点以及多节点协同角度对所述中间表达文件进行优化;将优化后的中间表达文件生成基于硬件接口的网络模版文件;将所述网络模版文件编译为可执行推理应用。本发明旨在设计并实现一个能够自动根据软硬件信息调节参数、生成代码的编译工具链框架、中间表示以及相应优化算法,使之在目标芯片上计算时,在不改变网络输出结果的同时,在较短的优化时间内获得更高的计算速率、更小的计算时延。且方便用户自行调试、调参。
-
公开(公告)号:CN113064712A
公开(公告)日:2021-07-02
申请号:CN202110412428.7
申请日:2021-04-16
Applicant: 上海交通大学
Abstract: 本发明提供一种基于云边环境的微服务优化部署控制方法、系统及集群,所述基于云边环境的微服务优化部署控制方法包括:包括:将微服务应用划分成为多个子结构并将每个子结构映射到云边连续体的同一节点中;基于优化目标的约束为每个微服务细粒度的分配计算资源;监测每个节点的资源使用情况,在运行时发现资源使用不均衡时,将微服务从拥塞节点迁移至其他空闲节点。本发明可以解决微服务在云边连续体环境下的部署问题,以在保证用户请求端到端延迟要求的情况下最小化微服务的资源使用。
-
公开(公告)号:CN112925627A
公开(公告)日:2021-06-08
申请号:CN202110318094.7
申请日:2021-03-25
Applicant: 上海交通大学
Abstract: 一种基于图形处理器的图采样和随机游走加速方法及系统,通过CPU从存储介质中读取图数据并转化为CSR格式后输出至GPU,GPU根据设定的工作模式:实时生成别名表并进行采样;或离线判断是否已有预先生成的别名表并进行采样。本发明能够高效、并行地执行别名方法,能够在相同硬件平台上显著提升图数据处理的性能,包括提高采样吞吐量吞吐量,以及减少整体运行时间。
-
公开(公告)号:CN112817730A
公开(公告)日:2021-05-18
申请号:CN202110209701.6
申请日:2021-02-24
Applicant: 上海交通大学
Abstract: 本发明提供一种深度神经网络服务批处理调度方法、系统及GPU,所述深度神经网络服务批处理调度方法包括:构建包含多个批处理调度策略的批处理调度策略池;基于用户输入的服务质量要求信息和神经网络模型的类型确定对应的批处理调度策略,并配置所述确定的批处理调度策略;基于批处理调度策略的配置情况对所述神经网络模型执行服务调度。本发明可以为新兴的深度神经网络技术落地提供支持,可以构建具有商业意义的、基于模型多样性感知的深度神经网络服务批处理调度系统,面向用户简化神经网络推理调度服务的优化,优化整个神经网络的服务响应速度。
-
公开(公告)号:CN112799872A
公开(公告)日:2021-05-14
申请号:CN202110191784.0
申请日:2021-02-19
Applicant: 上海交通大学
Abstract: 本申请公开了一种基于键值对存储系统的纠删码编码方法及装置,该方法包括:获取键值对存储系统中关键字之间的关联关系;根据所述关键字之间的关联关系,从所述键值对存储系统中获取对应的具有强关联性或强时间局限性的至少两个目标数据;将至少两个所述目标数据分到同一编码组中进行编码,得到对应的数据块和校验块;采用负载均衡将得到的所述数据块和所述校验块写入对应的存储节点中。通过实施本申请,能将传统纠删码技术与新型键值对存储系统进行结合设计,同时结合考虑键值对存储系统中的数据间关系,以减少数据访问的次数和时间,提升数据恢复效率。
-
公开(公告)号:CN112783689A
公开(公告)日:2021-05-11
申请号:CN202110184332.X
申请日:2021-02-08
Applicant: 上海交通大学
IPC: G06F11/10
Abstract: 本申请公开了一种基于LRC编码的部分条带写优化方法及装置,该方法包括:获取读写请求和云存储阵列的位图;根据所述位图对所述读写请求进行预处理,以识别获得所述读写请求中的部分条带写请求;响应所述部分条带写请求,根据基于读代价的动态部分条带写算法DRPS,从所述云存储阵列中读取对应的目标块;对所述目标块进行计算得到新校验块,并将所述新校验块写入所述云存储阵列中。通过实施本申请,能解决现有技术中存在的额外的传输开销和总线负载、导致系统的传输效率、服务质量以传输可靠性降低等问题。
-
公开(公告)号:CN112346869A
公开(公告)日:2021-02-09
申请号:CN202011244031.3
申请日:2020-11-10
Applicant: 上海交通大学
Abstract: 一种自适应的面向大图的统一内存管理方法,对图计算应用中的不同类型的图数据按照优先级顺序,依次通过GPU内存判断检查当前GPU内存是否已满、通过数据超出判断当前的图数据的大小是否超出GPU的可用内存容量再进行统一内存管理策略配置。本发明针对图数据的特点采用不同的图算法,结合GPU可用内存的大小,能够显著提升统一内存架构下处理超过显存容量的大图的性能,包括提高GPU带宽利用率、减少缺页的次数和处理缺页的开销,加快图计算程序的运行时间。
-
公开(公告)号:CN112083932A
公开(公告)日:2020-12-15
申请号:CN202010829332.6
申请日:2020-08-18
Applicant: 上海交通大学
Abstract: 一种虚拟化网络设备上的函数预热系统及方法,包括:资源挖掘器和资源控制器,资源挖掘器根据空闲资源表以及网络功能虚拟化服务器中实时的网络函数类型以及网络包速率,进行中断聚集以收集空闲资源,资源控制器动态维护预热函数池,并根据预热需求向资源挖掘器发送启动通知,并使用收集到的空闲资源进行函数预热操作,同时通过线程控制保证运算线程的优先执行。本发明能够挖掘收集网络功能虚拟化环境下的服务器空闲计算资源的同时,并行管理预热线程与执行线程,用于无服务器计算场景下的函数容器的预热与高效运行。
-
-
-
-
-
-
-
-
-