-
公开(公告)号：CN112596895B
公开(公告)日：2023-09-12
申请号：CN202011403412.1
申请日：2020-12-02
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提出一种SQL语义感知的弹性倾斜处理方法和系统，针对MapReduce平台由于倾斜分片而导致处理的并行度下降问题，提出了基于细粒度定长子分片的两级弹性并行处理机制，提高处理倾斜分片的并行度，同时减少子分片之间的同步开销；并且针对MapReduce平台由于倾斜分片而导致的容错性能降低问题，提出了子分片级检查点机制，实现倾斜负载的快速故障恢复。
-
公开(公告)号：CN113505130B
公开(公告)日：2023-07-21
申请号：CN202110776008.7
申请日：2021-07-09
Applicant: 中国科学院计算技术研究所
IPC: G06F16/22
Abstract: 本发明提供一种哈希表的处理方法，所述哈希表为聚合的可拓展哈希表，包括多个可拓展哈希表，每个可拓展哈希表构成所述聚合的可拓展哈希表的一层，所述可拓展哈希表包括不少于一个的桶，所述桶用于存储键值对数据；所述可拓展哈希表具有相同编号的桶构成所述聚合的可拓展哈希表的一个段；所述聚合的可拓展哈希表包括共享目录，所述共享目录用于管理聚合的可扩展哈希表的全局深度以及段的指针。本发明有效降低了rehash造成的延迟陡增和吞吐骤降，同时保证了哈希表的高性能。
-
-
公开(公告)号：CN112596895A
公开(公告)日：2021-04-02
申请号：CN202011403412.1
申请日：2020-12-02
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提出一种SQL语义感知的弹性倾斜处理方法和系统，针对MapReduce平台由于倾斜分片而导致处理的并行度下降问题，提出了基于细粒度定长子分片的两级弹性并行处理机制，提高处理倾斜分片的并行度，同时减少子分片之间的同步开销；并且针对MapReduce平台由于倾斜分片而导致的容错性能降低问题，提出了子分片级检查点机制，实现倾斜负载的快速故障恢复。
-
公开(公告)号：CN111651379A
公开(公告)日：2020-09-11
申请号：CN202010357810.8
申请日：2020-04-29
Applicant: 中国科学院计算技术研究所
IPC: G06F12/1081 , G06F12/1009
Abstract: 本发明提出一种DAX设备地址转换缓存方法及系统，包括：构建由映射文件首地址寄存器MFA、对象偏移寄存器OFS、文件编号寄存器FID和地址转换表构成的DAX地址转换缓存；根据地址转换函数，将持久化地址内文件编号和持久化地址内对象偏移分别写入该文件编号寄存器和该对象偏移寄存器；快表将CPU发出的虚拟地址转换为物理地址，DAX地址转换缓存将通过该文件编号寄存器内存储的数据检索该地址转换表，将检索结果对应的首地址和对象偏移寄存器内数据相加，得到直接访问地址，并将该直接访问地址作为该虚拟地址的转换结果反馈给CPU。本发明可将地址转换函数的指令开销减少一半，并极大增强其处理多映射文件的效率。
-
Patent Agency Ranking
公开(公告)号：CN107220069B
公开(公告)日：2020-06-05
申请号：CN201710532420.8
申请日：2017-07-03
Applicant: 中国科学院计算技术研究所
IPC: G06F8/30
Abstract: 本发明涉及一种针对非易失性内存的Shuffle方法，包括以下步骤：利用分区ID将Map任务的输出数据分别写入持久化缓冲区；拉取Reduce任务对应的所述持久化缓冲区中的数据。
-
公开(公告)号：CN106326132B
公开(公告)日：2020-03-27
申请号：CN201510369175.4
申请日：2015-06-29
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
Abstract: 本发明提供一种存储系统、存储管理装置、存储器、混合存储装置及存储管理方法。所述存储系统，包括存储器和管理器；所述存储器包括多个物理块；所述管理器用于接收数据写请求，为待写入数据页确定逻辑块，将所述待写入数据页的逻辑地址记录至所述逻辑块中，并向所述存储器发送数据写指令，所述数据写指令携带所述待写入数据页及所述待写入数据页的逻辑空间信息；所述存储器用于接收所述数据写指令，由所述数据写指令中的所述待写入数据页的逻辑空间信息获取所述逻辑块的信息，根据所述逻辑块的信息确定所述逻辑块对应的物理块，将所述待写入数据页写入所述逻辑块对应的物理块中。使用本发明，可减少存储器的闪存转换层的工作，提升存储器的性能。
-
公开(公告)号：CN106326134B
公开(公告)日：2019-10-01
申请号：CN201510374763.7
申请日：2015-06-30
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F12/02
Abstract: 本发明实施例公开了一种FTL地址映射的方法及装置，涉及通信技术领域，能够解决现有技术中的页映射方法，实现过程复杂，导致读写过程高延迟的问题。本发明的方法包括：将逻辑地址空间划分为若干个逻辑地址段；建立虚拟地址空间；建立逻辑地址段和与逻辑地址段对应的虚拟地址段之间的页级映射表，以及虚拟地址段中虚拟块和与虚拟地址段中虚拟块映射的物理地址空间中的物理块之间的块级映射表；当主机读或写数据时，获取主机读或写数据对应的目标逻辑页地址；根据目标逻辑页地址和页级映射表，确定目标虚拟页地址；根据目标虚拟页地址和块级映射表，确定目标物理页地址。本发明适用于FTL地址映射。
-
公开(公告)号：CN105447059B
公开(公告)日：2019-10-01
申请号：CN201410515092.7
申请日：2014-09-29
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
Abstract: 本发明实施例公开了一种数据处理方法及装置，用于对热数据进行热度统计，并根据热度统计的接管对数据进行重分布。本发明实施例方法包括：在与所述LSM Tree的第一目标层对应的存储空间中确定待合并的第一数据，所述第一数据的键key值为第一key值；在与所述LSM Tree的第二目标层对应的存储空间中确定key值为所述第一key值的第二数据；确定所述第一数据为最近接收的热数据；从所述第二目标层对应的存储空间中删除所述第二数据；将所述第一数据从所述第一目标层对应的存储空间迁移到所述第二目标层对应的存储空间中；将所述第一数据重新写入所述存储系统的内存空间。
-
公开(公告)号：CN110187832A
公开(公告)日：2019-08-30
申请号：CN201910419053.X
申请日：2014-05-21
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F3/06 , G06F12/0868 , G06F12/0871 , G06F12/121
Abstract: 本发明实施例提供了一种数据操作的方法、设备和系统，涉及计算机领域，以解决现有技术中CPU对块设备进行数据操作的效率低的问题。该方法包括：接收CPU发送的操作指令；当该操作指令为读指令时，读取该块设备中的第一数据块，并将该第一数据块中的待读取数据返回至CPU；当该操作指令为写指令时，将该写指令指示的待写入数据写入到缓存中，并将包括该待写入数据的第二数据块写入该块设备。该方法用于对块设备中的数据进行操作。
-
-
-
-
-
-
-
-
-
Search Results
147
records
(took 0.076 seconds)
