-
公开(公告)号:CN111651379B
公开(公告)日:2023-09-12
申请号:CN202010357810.8
申请日:2020-04-29
Applicant: 中国科学院计算技术研究所
IPC: G06F12/1081 , G06F12/1009
Abstract: 本发明提出一种DAX设备地址转换缓存方法及系统,包括:构建由映射文件首地址寄存器MFA、对象偏移寄存器OFS、文件编号寄存器FID和地址转换表构成的DAX地址转换缓存;根据地址转换函数,将持久化地址内文件编号和持久化地址内对象偏移分别写入该文件编号寄存器和该对象偏移寄存器;快表将CPU发出的虚拟地址转换为物理地址,DAX地址转换缓存将通过该文件编号寄存器内存储的数据检索该地址转换表,将检索结果对应的首地址和对象偏移寄存器内数据相加,得到直接访问地址,并将该直接访问地址作为该虚拟地址的转换结果反馈给CPU。本发明可将地址转换函数的指令开销减少一半,并极大增强其处理多映射文件的效率。
-
公开(公告)号:CN113505130A
公开(公告)日:2021-10-15
申请号:CN202110776008.7
申请日:2021-07-09
Applicant: 中国科学院计算技术研究所
IPC: G06F16/22
Abstract: 本发明提供一种哈希表的处理方法,所述哈希表为聚合的可拓展哈希表,包括多个可拓展哈希表,每个可拓展哈希表构成所述聚合的可拓展哈希表的一层,所述可拓展哈希表包括不少于一个的桶,所述桶用于存储键值对数据;所述可拓展哈希表具有相同编号的桶构成所述聚合的可拓展哈希表的一个段;所述聚合的可拓展哈希表包括共享目录,所述共享目录用于管理聚合的可扩展哈希表的全局深度以及段的指针。本发明有效降低了rehash造成的延迟陡增和吞吐骤降,同时保证了哈希表的高性能。
-
公开(公告)号:CN107765992B
公开(公告)日:2021-01-15
申请号:CN201610702578.0
申请日:2016-08-22
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F3/06 , G06F16/22 , G06F16/23 , G06F16/2455
Abstract: 本发明公开了一种处理数据的方法和装置,涉及数据处理技术领域,用以减少向NVM中写入数据的次数,从而减少系统的消耗,延长NVM的使用寿命。该方法应用于支持KV存储系统的服务器中,服务器包括NVM;该方法包括:接收更新操作,该更新操作包括第一Key和与第一Key对应的目标Value;将第一Key和目标Value写入NVM的空闲存储空间;将NVM中存储的第一Key对应的源索引项更新为目标索引项,源索引项包括源Value所在的Key‑Value对在NVM中的位置信息,目标索引项包括目标Value所在的Key‑Value对在NVM中的位置信息。
-
公开(公告)号:CN107463509B
公开(公告)日:2020-12-15
申请号:CN201610396787.7
申请日:2016-06-05
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F12/0802 , G06F12/123
Abstract: 本发明实施例提供了应用于计算机系统中的缓存管理方法、缓存管理器和计算机系统,包括缓存控制器选择缓存中待替换的第一数据块,其中,第一数据块为最近最少使用LRU链表的第一位置记录的数据块,LRU链表用于记录所述缓存中被访问的数据块的信息;缓存控制器确定第一数据块的最大历史重用距离大于预设阈值,其中,第一数据块的最大历史重用距离是根据第一数据块至少两次被访问时在LRU链表中的位置获得;缓存控制器禁止从缓存中淘汰所述第一数据块。本发明实施例通过有选择的禁止从缓存中淘汰数据块,能够有效的避免数据中心中的具有缓存价值的数据块频繁的换入和换出缓存,进而减少对缓存不必要的写入。
-
公开(公告)号:CN111444012A
公开(公告)日:2020-07-24
申请号:CN202010139287.1
申请日:2020-03-03
Applicant: 中国科学院计算技术研究所
IPC: G06F9/50
Abstract: 本发明提出一种保证延迟敏感应用延迟SLO的动态调控资源方法及系统。在分布式存储系统的服务节点中创建多个请求队列,不同类型的请求位于不同的队列,根据该服务节点的逻辑线程资源和目标尾延迟需求,为请求队列分配线程组并实时动态调控线程资源,且各请求队列的线程组与的物理CPU资源相绑定;客户端发送应用访问请求至该服务节点,该服务节点根据该应用访问请求的类型,将该应用访问请求存入与其类型相对应的请求队列作为当前队列,并使用为该当前队列分配的线程组处理该应用访问请求,将处理结果发送给该客户端。本发明能够保证延迟敏感型应用的尾延迟满足目标需求,同时还能够使得批处理类应用的带宽维持在较高水平。
-
公开(公告)号:CN106326133B
公开(公告)日:2020-06-16
申请号:CN201510369203.2
申请日:2015-06-29
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
Abstract: 本发明提供一种存储系统、存储管理装置、存储器、混合存储装置及存储管理方法。所述存储系统包括存储器和管理器;所述管理器接收数据写请求,确定待写入的数据页的数据类别,为数据类别不同的待写入数据页指定不同的逻辑块,向所述存储器发送数据写指令,所述数据写指令携带至少一个指定的逻辑块对应的待写入数据页;所述存储器用于接收所述数据写指令,根据所述数据写指令将所述至少一个指定的逻辑块对应的待写入数据页写入所述至少一个指定的逻辑块对应的物理块中,每个物理块中写入同一个逻辑块对应的待写入数据页。使用本发明,可有效减少SSD的物理块擦除时产生的写放大。
-
公开(公告)号:CN111159176A
公开(公告)日:2020-05-15
申请号:CN201911196972.1
申请日:2019-11-29
Applicant: 中国科学院计算技术研究所
IPC: G06F16/22 , G06F16/27 , G06F16/2458 , G06F16/2455
Abstract: 本发明提供了一种海量流数据的存储方法,包括:接收来自客户端的流数据;将所述流数据以行式格式存储到分布式段式存储系统,形成行式流数据;将所述流数据以列式格式异步地存储到分布式段式存储系统,形成列式流数据;所述行式流数据存储完成后向客户端返回确认消息。
-
公开(公告)号:CN106469088B
公开(公告)日:2020-04-28
申请号:CN201510519679.X
申请日:2015-08-21
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F9/48
Abstract: 本发明为一种I/O请求调度方法及调度器,实施例公开了一种基于时间片的请求调度方法,在进入当前调度时段时,为每个I/O请求对象分配一个时间片,并为每个I/O请求对象设定调度时间阈值;在当前调度时段内,轮流从时间片尚未用完且具有I/O请求的I/O请求对象中选择I/O请求对象,调度所选择的I/O请求对象的I/O请求并记录调度时长,当调度时长达到所选择的I/O请求对象的调度时间阈值时,或者,当调度时长尚未达到所选择的I/O请求对象的调度时间阈值但所选择的I/O请求对象的I/O请求均被调度完成时,结束对所选择的I/O请求对象的I/O请求的调度。本申请可以避免响应I/O请求对象的I/O请求的时间过长的问题。
-
公开(公告)号:CN109002467A
公开(公告)日:2018-12-14
申请号:CN201810588554.6
申请日:2018-06-08
Applicant: 中国科学院计算技术研究所
IPC: G06F17/30
Abstract: 本发明涉及一种向量化执行的数据库排序方法,包括:将输入数据向量化为多个输入数据行组;在计算节点的内存中开辟大小为最适粒度的缓冲区;将该输入数据行组依次追加至该缓冲区的末尾空位;仅当该缓冲区满或所有该输入数据行组均已追加至该缓冲区时,将存入该缓冲区的输入数据行组调入该计算节点的处理器缓存进行排序以得到缓存输出数据行组,将该缓存输出数据行组输出至该内存并清空该缓冲区;当该内存满或所有该缓存输出数据行组均已输出至该内存时,将该内存中的该缓存输出行组排序以生成输出数据行组,将该输出数据行组保存至该计算结点的磁盘并释放内存;合并所有该输出数据行组以得到顺序排列的全序输出数据行组。
-
公开(公告)号:CN108737293A
公开(公告)日:2018-11-02
申请号:CN201710244046.1
申请日:2017-04-14
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: H04L12/875 , H04L29/08
Abstract: 本申请公开了一种处理请求的方法和装置,该方法包括:接收端接收第一请求和第二请求,其中,所述第一请求为第一发送端在第一发送时刻发送的请求,所述第二请求为所述第一发送端在第二发送时刻发送的请求,所述第一请求和所述第二请求为第一应用程序生成的不同的请求;所述接收端获取所述第一发送时刻和所述第二发送时刻;所述接收端根据所述第一发送时刻和所述第二发送时刻的时序处理所述第一请求和所述第二请求,其中,所述第一发送时刻和所述第二发送时刻的时序与所述第一请求和所述第二请求的处理顺序相同。从而可以减小同一个应用生成的不同请求的时延波动,增强计算机网络的稳定性。
-
-
-
-
-
-
-
-
-