-
公开(公告)号:CN118642658A
公开(公告)日:2024-09-13
申请号:CN202410859077.8
申请日:2024-06-28
Applicant: 上海交通大学
IPC: G06F3/06 , H04L67/1097
Abstract: 本发明提供了一种适用于簇索引的基于远端内存的分组存储方法及系统,包括:步骤S1:采用簇访问感知的向量分组技术存储向量,完成分组后启动系统服务;步骤S2:系统读簇时通过一次I/O请求读取簇的分组内向量数据和分组外向量地址,再发起多个独立的I/O请求读取所有的分组外向量。本发明的方法不破坏算法语义,保证向量搜索算法读到的向量和原本的实现一致,所以不同的聚类算法能很容易使用本发明优化实现;本发明遵循解耦合存储思想,通过存地址代替存数据降低了向量索引的存储压力。
-
公开(公告)号:CN116149795A
公开(公告)日:2023-05-23
申请号:CN202310215218.8
申请日:2023-03-06
Applicant: 上海交通大学
IPC: G06F9/455
Abstract: 本发明提供了一种基于RDMA的虚拟机分布式Fork方法,包括:在虚拟机打包执行状态过程中,对目标的虚拟机的内存内容以及模拟的硬件状态进行打包,存储于文件中;在虚拟机执行状态恢复过程中,利用用户态程序使用RDMA处理虚拟机的缺页错误;具体为:父虚拟机所在物理机执行虚拟机打包执行状态过程,返回打包虚拟机的标识或打包失败的错误;若虚拟机执行状态打包成功,则子虚拟机所在物理机通过父虚拟机所在物理机的标识以及打包虚拟机的标识,执行虚拟机状态恢复过程,完成分布式Fork的过程。本发明实现了按需传输虚拟机内存镜像的功能,降低了虚拟机内存镜像传输的时间开销,从而降低了虚拟机分布式Fork的时延。
-
公开(公告)号:CN105404546A
公开(公告)日:2016-03-16
申请号:CN201510761788.2
申请日:2015-11-10
Applicant: 上海交通大学
Abstract: 本发明提供了一种基于RDMA和HTM的分布式并发控制方法,包括步骤1:根据程序需要访问的数据选择执行的服务器;步骤2:通过选定的服务器获取程序需要访问的远端数据,并对远端数据进行保护;步骤3:读取全部远端数据并缓存至执行服务器后,在HTM中执行程序。本发明采用混合的并发控制方法,利用HTM的和RDMA的特性实现程序对于本地和分布式数据访问的保护。本发明对于现有数据库系统的事务性支持,能够降低并发控制所带来的开销,增加数据库系统的吞吐量和降低数据库事务执行的延迟。提升数据库系统的资源利用率以及商场应用服务的性能,进而可以带来可观的社会效益和经济效益。
-
公开(公告)号:CN119088699A
公开(公告)日:2024-12-06
申请号:CN202411200303.8
申请日:2024-08-29
Applicant: 上海交通大学
IPC: G06F11/36
Abstract: 本发明提供了一种基于kernel参数分析和插桩验证的GPU访问数据追踪方法及系统,包括kernel插桩步骤:对目标kernel逐个插桩,生成插桩后的kernel;访问数据预测步骤:分析待启动kernel的参数,预测kernel修改的显存范围,并调用插桩后的kernel验证预测结果;访问数据更新步骤:根据验证结果更新访问数据追踪结果;若验证通过则添加本次预测范围到访问数据范围;若验证未通过,则将访问数据更新为全部已分配显存范围。本发明能够不依赖于GPU厂商提供的硬件支持,如硬件访问位及配套的驱动程序;采用了预测加验证的方法,降低了插桩带来的运行时性能开销,具有广泛的应用前景。
-
公开(公告)号:CN116389543A
公开(公告)日:2023-07-04
申请号:CN202310265789.2
申请日:2023-03-17
Applicant: 上海交通大学
IPC: H04L67/141 , H04L67/563
Abstract: 本发明提供了一种内核态RDMA的QP共享算法与混合连接池优化方法和系统,包括:在内核态中使用RDMA,通过RDMA QP共享算法来避免NIC网卡因共享给多个用户进程而出现的溢出的情况,并且引入混合连接池的设计,在不影响原有性能的前提下,将原来毫秒级别的连接时延降低至微秒级别。
-
公开(公告)号:CN111538603A
公开(公告)日:2020-08-14
申请号:CN202010311855.1
申请日:2020-04-20
Applicant: 上海交通大学
Abstract: 本发明提供了一种机器学习和RDMA加速的键值存储读访问方法及系统,包括:步骤S1:采用机器学习模型来预测服务器端键值存储的位置,令客户端通过远程过程调用获取服务器端的学习完的模型;步骤S2:在客户端处理用户的键值请求时,令客户端首先通过获取的机器学习模型来预测键值请求的键所对应的地址,最后通过RDMA单向操作来读回请求的键所对应的值。本发明采用RDMA单向(one-sided)操作来绕过服务器端CPU处理键值请求,有效的减少服务器端处理器的利用。
-
公开(公告)号:CN105512342B
公开(公告)日:2019-03-26
申请号:CN201610005809.2
申请日:2016-01-05
Applicant: 上海交通大学
IPC: G06F16/90
Abstract: 本发明提供了一种基于HTM和NVRAM的内存事务性计算的持久性方法,包括:步骤1:分配NVRAM,并用分配的NVRAM记录HTM执行的事务中修改的数据;步骤2:检查是否需要清理NVRAM,若需要清理,则将该NVRAM的数据写回到磁盘。本发明利用NVRAM和HTM的特性,使得事务性的程序不需要将数据记录到磁盘即可以返回,这样可以低延迟的实现内存事务计算的持久性。本发明能够显著降低数据库系统事务执行的延迟,提升数据库系统的资源利用率以及应用服务的性能。
-
公开(公告)号:CN105512342A
公开(公告)日:2016-04-20
申请号:CN201610005809.2
申请日:2016-01-05
Applicant: 上海交通大学
IPC: G06F17/30
CPC classification number: G06F17/30943
Abstract: 本发明提供了一种基于HTM和NVRAM的内存事务性计算的持久性方法,包括:步骤1:分配NVRAM,并用分配的NVRAM记录HTM执行的事务中修改的数据;步骤2:检查是否需要清理NVRAM,若需要清理,则将该NVRAM的数据写回到磁盘。本发明利用NVRAM和HTM的特性,使得事务性的程序不需要将数据记录到磁盘即可以返回,这样可以低延迟的实现内存事务计算的持久性。本发明能够显著降低数据库系统事务执行的延迟,提升数据库系统的资源利用率以及应用服务的性能。
-
公开(公告)号:CN118916525A
公开(公告)日:2024-11-08
申请号:CN202410982368.6
申请日:2024-07-22
Applicant: 上海交通大学
IPC: G06F16/903 , G06F16/901
Abstract: 本发明提供了一种适用于图索引的计算传输流水线并行方法及系统,包括:步骤S1:从当前候选点出发,基于内存中的压缩向量计算当前候选点邻居与目标向量的近似距离,更新近似候选集;步骤S2:检查近似候选集,当近似候选集中所有点均已被访问或总访问计数超过最大访问限制,结束查询,返回真实候选集;否则,选择近似候选集中第一个未访问的候选点作为下一个候选点,发送异步I/O请求读取下一个候选点对应的完整向量与邻边,并将该候选点标记为已访问;在等待IO完成的同时,计算当前候选点与目标向量的真实距离,更新真实候选集;步骤S3:收到I/O完成通知,保留下一个候选点的完整向量;基于下一个候选点更新当前候选点,重复触发步骤S1至步骤S3。
-
公开(公告)号:CN118885331A
公开(公告)日:2024-11-01
申请号:CN202410769668.6
申请日:2024-06-14
Applicant: 上海交通大学
Abstract: 本发明提供了一种适用于通用图形处理器的状态保存与恢复方法和系统,在状态保存的过程中,该方法允许GPU应用继续执行,同时在发射GPGPU核函数前,该方法会预测核函数访问的内存,并通过写时拷贝、设置脏位等方法,保证状态保存数据的准确性;在状态恢复的过程中,该方法通过重执行核函数的方式恢复脏内存,以及借助按需装载的方式加速程序的恢复过程。与现有技术相比,本发明具有低开销、硬件和工作负载适配范围广的特点,可以用于支撑容灾备份、热迁移和快速启动等重要系统需求。
-
-
-
-
-
-
-
-
-