-
公开(公告)号:CN113010477A
公开(公告)日:2021-06-22
申请号:CN202110310068.X
申请日:2021-03-23
Applicant: 中兴通讯股份有限公司 , 上海交通大学
Abstract: 本申请提出一种持久内存文件系统元数据的检索方法和装置、存储结构,涉及数据处理技术领域。该方法包括:基于待检索路径确定待检索哈希值,待检索路径用于查找元数据的存储路径;依据待检索哈希值、指纹库和存储路径哈希值,确定待检索路径对应的存储地址,指纹库用于记录存储路径哈希值的特征,存储路径哈希值是元数据的存储路径对应的哈希值;从待检索路径对应的存储地址获得元数据。通过基于待检索路径确定待检索哈希值,方便对待检索路径进行处理;通过指纹库先对存储路径哈希值的特征进行筛选,能够加快检索速度,提高元数据的检索效率;从待检索路径对应的存储地址获得元数据,保证检索结果的准确性。
-
公开(公告)号:CN107544756B
公开(公告)日:2020-11-06
申请号:CN201710657877.1
申请日:2017-08-03
Applicant: 上海交通大学
Abstract: 本发明提供了一种基于SCM的Key‑Value日志型本地存储方法,存储方法包括以下步骤:SCM内存划分步骤:对SCM内存进行按功能划分分区,即划分为超级块区、检查点区、页管理区、静态哈希表区、数据存储区这五个不同的逻辑分区;多层次内存管理步骤:构建三层内存管理模块,在不同层面上对内存进行管理,实现页面的动态分配和回收;高并发哈希表构建步骤:使用静态哈希表来索引key‑value对象,使用动态分配的数组存放哈希冲突的元素。本发明中的实现方法根据异构内存介质的硬件特性合理调度分配存储空间,提高存储介质的利用率,延长硬件的使用寿命,提高混合键值存储系统并发性和数据吞吐量。
-
公开(公告)号:CN107506139B
公开(公告)日:2020-09-08
申请号:CN201710693791.4
申请日:2017-08-14
Applicant: 上海交通大学
IPC: G06F3/06
Abstract: 一种面向相变存储器的写请求优化装置,包括脏数据标记模块、访存请求生成模块、访存请求调度模块和访存请求执行模块。当最后一级缓存向内存写入脏数据时,若脏数据与内存中的原数据不相同,则产生部分预写请求,访存请求调度模块将部分预写请求发送至访存请求执行模块,访存请求执行模块利用部分预写请求的写入数据执行SET操作。由于需要SET操作的位置已经预先被部分预写请求执行SET操作了,使得,访存请求执行模块真正执行写请求时,只会执行RESET操作,从而大幅减少了写请求的执行时间,与此同时,部分预写请求只会对脏字进行SET操作,而非整个脏的内存行,从而极大减少对相变存储器的写操作次数,降低对相变存储器介质寿命的影响。
-
公开(公告)号:CN107728937B
公开(公告)日:2020-09-04
申请号:CN201710834389.3
申请日:2017-09-15
Applicant: 上海交通大学
Abstract: 本发明提供了一种使用非易失性内存介质的键值对持久存储方法及系统,同时使用易失性内存介质和非易失性内存介质构建持久键值存储系统,在易失性内存介质中构建静态散列表接收来自客户端的读写访问请求;在非易失性内存介质中构建动态散列表存储键值对的元数据和键值对在数据区的内存偏移地址,在非易失性内存中的动态散列表之后构建数据存储区,存放键值对大小、键值对数据和键值对校验和;使用结合键值对校验和的检查点的机制,维护持久键值存储系统的数据一致性。本发明利用了不同内存特性的优点,提升性能的同时实现了对键值数据对的持久有效存储、兼顾了内存利用的高效率,降低了维护一致性的系统代价。
-
公开(公告)号:CN111400307A
公开(公告)日:2020-07-10
申请号:CN202010105294.X
申请日:2020-02-20
IPC: G06F16/22 , G06F16/23 , G06F16/2458 , G06F21/62
Abstract: 本发明提供了一种支持远程并发访问的持久哈希表访问系统,包括:数据存储模块:组织和管理哈希表的元数据及数据的持久存储,并支持通用哈希表读写访问接口;远程访问模块:建立服务端与客户端的RDMA通信连接,实现客户端的远程访问;后台处理模块:后台辅助客户端的远程写请求,更新相关数据及元数据,以保证哈希表的元数据和数据处于一致状态;数据恢复模块:在服务端开启持久哈希表时检测故障一致性,当数据不一致时恢复哈希表中的所有数据到一致状态。本发明能够降低远程读写延迟,减少服务端负载压力,支持高并发远程访问,保障高效数据一致性。
-
公开(公告)号:CN111314731A
公开(公告)日:2020-06-19
申请号:CN202010106040.X
申请日:2020-02-20
IPC: H04N21/232 , H04N21/238 , H04N21/262
Abstract: 本发明提供了一种面向视频文件大数据的RDMA混合传输方法,包括:步骤1:RDMA初始化建立;步骤2:获取视频数据请求;步骤3:对视频数据请求进行识别分类;步骤4:对视频数据请求进行传输。本发明针对分布式文件系统下视频大数据传输的问题,提供了一种RDMA混合传输方法,所述的方法和装置能够很好的降低视频大数据传输延迟;同时能够适配分布式非易失性内核态文件系统,优化了分布式系统中视频流的传输过程,具有良好的市场前景和应用价值。
-
公开(公告)号:CN111125049A
公开(公告)日:2020-05-08
申请号:CN201911348068.8
申请日:2019-12-24
IPC: G06F16/182 , G06F16/16 , G06F16/13 , G06F3/06
Abstract: 本发明提供了一种基于RDMA与非易失内存的分布式文件数据块读写方法及系统,包括:步骤M1:管理层节点对服务层节点数据存储空间所组成的共享内存池进行统一编址与管理;步骤M2:在客户端节点、管理节点及服务节点间建立RDMA连接后,响应客户端读写请求,管理节点间维持元数据一致性;步骤M3:分布式文件数据分块并发读、分布式文件数据分块并发写,服务节点响应客户端请求,将海量数据按块粒度进行切分,客户端节点在备份组平行服务节点间进行单边并发分块读与单边并发分块写操作。本发明能够在分布式系统中为客户端提供高效数据读写服务,本发明能够避免写操作对读操作的阻塞。
-
公开(公告)号:CN105260336B
公开(公告)日:2018-12-18
申请号:CN201510790111.1
申请日:2015-11-17
Applicant: 上海交通大学
Abstract: 本发明公开了一种可字节寻址的可字节寻址的非易失性存储器的热插拔方法,包括所述存储器的热添加和热移除;热添加包括物理添加和逻辑添加,热移除包括逻辑移除和物理移除;物理添加用于将所述存储器由不带电的裸设备转化为操作系统可管理的块设备;逻辑添加用于将所述存储器从操作系统可管理的块设备转换为可映射虚拟地址的内存设备;逻辑移除用于将可映射虚拟地址的内存设备转换为操作系统可管理的块设备;物理移除用于将所述存储器从操作系统可管理的块设备转化为不带电的裸设备。本发明提供的方法及装置适合在各种体系架构的计算机系统上对可字节寻址的非易失性存储器资源进行调度和扩展,具有良好的市场前景和应用价值。
-
公开(公告)号:CN104793934B
公开(公告)日:2018-03-23
申请号:CN201510167707.6
申请日:2015-04-09
Applicant: 上海交通大学
IPC: G06F9/44
Abstract: 本发明提供了一种利用支持体系结构动态变化的图文法验证体系结构的方法,通过对通用图文法中图的形式化定义进行扩展,引入了接口、接口标签集、状态及附加属性,能够从高层抽象软件系统的组成结构、连接方式以及系统结构配置及属性等要素,更完整地支持软件体系结构的建模、分析和动态演化。软件体系结构的基本元素,如构件和连接,映射成为图中的节点和边,利用Breeze图文法图重写规则可以描述系统的动态重配置,并利用Breeze图文法的形式化基础,推导验证体系结构重配置前后的一致性和完整性。采用本发明,可以有效应对软件系统在功能日益复杂、规模日益庞大、运行于开放的网络环境和变化的用户需求这四方面的挑战。
-
公开(公告)号:CN107728937A
公开(公告)日:2018-02-23
申请号:CN201710834389.3
申请日:2017-09-15
Applicant: 上海交通大学
CPC classification number: G06F3/0604 , G06F3/0611 , G06F3/064 , G06F3/0647 , G06F3/0685 , G06F11/1004
Abstract: 本发明提供了一种使用非易失性内存介质的键值对持久存储方法及系统,同时使用易失性内存介质和非易失性内存介质构建持久键值存储系统,在易失性内存介质中构建静态散列表接收来自客户端的读写访问请求;在非易失性内存介质中构建动态散列表存储键值对的元数据和键值对在数据区的内存偏移地址,在非易失性内存中的动态散列表之后构建数据存储区,存放键值对大小、键值对数据和键值对校验和;使用结合键值对校验和的检查点的机制,维护持久键值存储系统的数据一致性。本发明利用了不同内存特性的优点,提升性能的同时实现了对键值数据对的持久有效存储、兼顾了内存利用的高效率,降低了维护一致性的系统代价。
-
-
-
-
-
-
-
-
-