-
公开(公告)号:CN112835534B
公开(公告)日:2022-08-02
申请号:CN202110220806.1
申请日:2021-02-26
Applicant: 上海交通大学
IPC: G06F3/06
Abstract: 本申请公开了一种基于存储阵列数据访问的垃圾回收优化方法及装置,该方法包括:根据请求来源和预设的数据冷热分类算法对接收的数据访问请求进行分类判别,得到对应的分类信息;根据分类信息调用缓存队列算法对数据访问请求进行缓存判断,以加入至对应分类的目标缓存队列中;若目标缓存队列中的待访问数据达到预设标准阈值,则根据地址映射表将待访问数据以条带为单位写入至对应的目标节点中;若所述存储阵列中没有可写入的存储空间或者工作队列中的空白节点小于预设数量,则采用延时删除无效数据的垃圾回收机制进行数据回收。通过实施本申请,能够解决现有技术中存在的存储阵列写放大问题及引起严重的IO问题等。
-
公开(公告)号:CN112241822B
公开(公告)日:2022-07-12
申请号:CN201910648600.1
申请日:2019-07-18
Applicant: 上海交通大学
Abstract: 一种数据中心面向微服务的电力资源分配的方法和系统,基于二分图构建和维护用于指导微服务电力资源分配的模型,并计算每个微服务的关键程度,即微服务在当前状态下,在系统值得电力资源的程度,可以通过微服务在该电力资源分配情况下,是否会对整个应用的服务质量造成影响来衡量;通过检查当前时刻数据中心可用电力资源容量和每个微服务对应的资源分配情况,优先给关键程度高的微服务分配电力资源,从而在保证应用服务质量不变的情况下实现电力资源的优化分配。
-
公开(公告)号:CN112788645B
公开(公告)日:2022-06-21
申请号:CN202110197393.X
申请日:2021-02-22
Applicant: 上海交通大学
Abstract: 一种基于自适应压缩感知的分布式邻居节点分布估计方法,首先所有车辆节点以同步的网络时间作为种子,以伪随机数生成算法生成随机发射功率序列,并随机选择成为发射端或接收端,并采集经哈希处理的身份信息进行邻居节点分布估计;作为发射端的车辆节点构建本地比特位图,并将该包含车辆节点的身份信息的比特位图通过OOK调制以OFDM方式向接收端发送;作为接收端的车辆节点收到并解调得到空中叠加的OFDM信号,该过程重复多轮以获得足够信息,从中获得含有身份信息的比特位图并估计出当前通信半径下的车辆节点个数,进而通过自适应压缩感知方法恢复出整个通信半径范围内的邻居节点分布情况。
-
公开(公告)号:CN112199196B
公开(公告)日:2022-03-18
申请号:CN202011134276.0
申请日:2020-10-21
Applicant: 上海交通大学
Abstract: 本发明提供一种资源配置方法、介质及服务端。所述资源配置方法包括:获取所述服务端能够执行的任务作为第一任务;获取所述第一任务对应的数据处理模型作为第一数据处理模型,其中,各所述第一数据处理模型至少包含1个算子;对所述第一数据处理模型中的每个算子进行资源配置,以获取所述第一数据处理模型中各算子所使用的资源数量;当所述服务端接收到用户的任务请求时,获取第二任务;其中,所述第二任务包括所述服务端的当前任务和所述用户的任务请求对应的任务;当所述第二任务的数量大于1时,执行一协同资源配置子方法。本发明所述资源配置方法能够适用于多数据处理模型的复杂场景。
-
公开(公告)号:CN113407333A
公开(公告)日:2021-09-17
申请号:CN202011506442.5
申请日:2020-12-18
Applicant: 上海交通大学
Abstract: 本发明提供一种Warp级别调度的任务调度方法、系统、GPU及设备,所述Warp级别调度的任务调度方法包括:在任务为首次任务时,离线分析用户提交任务的硬件信息及配置信息;基于所述任务的硬件信息和配置信息,获取与主流任务并行时的最大并行度;在任务为非首次任务时,基于任务的硬件信息和已收集的最大并行度决策,进行在线的任务对打包决策,将选取的任务对打包成一个新任务,并将新任务提交到GPU上,以使得任务对中的原有两个GPU任务实现warp级别的任务调度。本发明在无需用户感知提前下,实现高吞吐的Warp级别调度的任务调度,可以间接为潜在的配置多种计算单元的GPU提供调度技术的支持。
-
公开(公告)号:CN112835533A
公开(公告)日:2021-05-25
申请号:CN202110213563.9
申请日:2021-02-25
Applicant: 上海交通大学
IPC: G06F3/06
Abstract: 本申请公开了一种基于机架级别的云存储阵列扩展方法及装置,该方法包括:对扩展存储阵列的输入参数进行计算,得到所述扩展存储阵列的扩展参数;根据所述扩展参数,确定所述扩展存储阵列对应的目标扩展策略;按照所述目标扩展策略,对所述原始存储阵列中的待迁移块进行相应的迁移,并更新对应的校验块。通过实施本申请,能够解决现有技术中存在的不能适用于多维编码扩展场景、扩展迁移效率较低等问题。
-
公开(公告)号:CN112817887A
公开(公告)日:2021-05-18
申请号:CN202110209483.6
申请日:2021-02-24
Applicant: 上海交通大学
Abstract: 一种分离可组合式架构下的远内存访问优化方法及系统,首先按照应用的内存读写频率将可写工作集部署在本地计算节点,将只读工作集部署在远端内存节点上;在数据传输的过程中根据硬件资源特征选取合适的默认数据块大小,通过将数据块设置索引,结合RDMA传输过程动态分块实现数据块的透明分散和整合;利用单边读写和基于队列的RDMA机制实现配合本地应用读写的双向单边操作机制;利用基于事件通知的异步读写机制设置缓冲区实现本地计算和RDMA数据读写的异步并行处理。本发明可以充分挖掘应用层计算任务使用RDMA访问远内存的性能潜力。
-
公开(公告)号:CN112817767A
公开(公告)日:2021-05-18
申请号:CN202110209494.4
申请日:2021-02-24
Applicant: 上海交通大学
Abstract: 一种分离可组合式架构下的图计算工作集优化实现方法及系统,以数据段为单位,对待处理的图计算任务进行数据段识别;将图计算数据段按照四象限法划分为四大集合,进而根据读写访问热度进一步将四个集合划分为热工作集,即不可迁移工作集和冷工作集,即可迁移工作集;自动化调节可迁移工作集的本地与远程比例,根据图计算遍历过程中边数据只读不写的特性,向远程内存阶段进行单边远内存访问并读回索引所对应的数据块,实现灵活地将图计算任务的部分运行时数据拓展到远程内存资源。
-
公开(公告)号:CN108804556B
公开(公告)日:2020-10-20
申请号:CN201810494066.9
申请日:2018-05-22
Applicant: 上海交通大学
IPC: G06F16/22 , G06F16/2458 , G06F16/27
Abstract: 本发明公开了一种基于时间旅行和时态聚合查询的分布式处理框架系统,包括分区单元、局部索引单元和全局索引单元;所述分区单元负责将所有数据分区到分布式节点;所述局部索引单元用于管理每个分区中的时态数据;所述全局索引单元用于管理分区间隔。本发明为时态大数据提出了一个分布式内存分析框架,该框架易于理解和实施,但不会损失效率,能满足高吞吐量和低延迟的需求。
-
公开(公告)号:CN111553834A
公开(公告)日:2020-08-18
申请号:CN202010332908.8
申请日:2020-04-24
Applicant: 上海交通大学
IPC: G06T1/20
Abstract: 一种基于FPGA的并发图数据预处理方法,从图数据格式信息输入集合和算法信息输入集合中提取源图数据块和图数据特征并生成图数据与图算法组合矩阵,进行的图数据格式预转换;然后根据图数据的幂律性,通过流式驱动调度确定进程分配方式后,再根据异构平台中FPGA加速器的属性参数进行匹配的数据分块与并行设计;从而实现整个并行图处理过程在FPGA上的数据预处理与调度优化的实现流程。本发明通过结合GPU和FPGA加速平台的并发调度策略,在选择最优的数据格式后通过整体预处理和调度优化得到了资源利用率和整体性能的显著提升,保证了图计算过程的高效性。
-
-
-
-
-
-
-
-
-