基于RDMA与非易失内存的分布式文件数据块读写方法及系统

    公开(公告)号:CN111125049B

    公开(公告)日:2023-06-23

    申请号:CN201911348068.8

    申请日:2019-12-24

    Abstract: 本发明提供了一种基于RDMA与非易失内存的分布式文件数据块读写方法及系统,包括:步骤M1:管理层节点对服务层节点数据存储空间所组成的共享内存池进行统一编址与管理;步骤M2:在客户端节点、管理节点及服务节点间建立RDMA连接后,响应客户端读写请求,管理节点间维持元数据一致性;步骤M3:分布式文件数据分块并发读、分布式文件数据分块并发写,服务节点响应客户端请求,将海量数据按块粒度进行切分,客户端节点在备份组平行服务节点间进行单边并发分块读与单边并发分块写操作。本发明能够在分布式系统中为客户端提供高效数据读写服务,本发明能够避免写操作对读操作的阻塞。

    基于RDMA与非易失性内存的基数树访问系统

    公开(公告)号:CN111400306B

    公开(公告)日:2023-03-28

    申请号:CN202010104445.X

    申请日:2020-02-20

    Abstract: 本发明提供了一种基于RDMA与非易失性内存的基数树访问系统,包括:数据存储模块:采用非易失性持久内存作为基数树的存储介质;远程读写模块:建立服务端CPU与客户端的RDMA通信连接;后台处理模块:在客户端进行远程读写时进行后台处理,保证数据的一致性。S1:在基数树初始化阶段,构建一块数据块,以支持远端数据的插入、更新和删除;S2:在基数树初始数据块存满后,重构数据结构为基数树结构,其中包含前缀节点和数据节点,并将树结构的前缀节点写入到客户端;S3:定期检查基数树的数据节点。本发明树能够在有效保障数据一致性的前提下,极大减轻服务端CPU的压力,提高吞吐率,从而提高远程数据读写的整体性能。

    用于语义识别的编程规范知识图谱构建系统及方法

    公开(公告)号:CN112346711A

    公开(公告)日:2021-02-09

    申请号:CN201910723480.7

    申请日:2019-08-07

    Abstract: 一种用于语义识别的编程规范知识图谱的构建系统及方法,包括:信息抽取模块、关系发现模块、层次构建模块,其中:信息抽取模块从编程规范数据中抽取实体、属性及关系,关系发现模块从以抽取的实体中,进一步发掘知识图谱中编程规范实体之间的关系,层次构建模块对编程规范建立类型层次结构。本发明利用知识图谱的优势来解决程序员查找编程规范时遇到的问题,有效的整合了不同文档中的编程规范,具有良好的拓展性,同时构建了编程规范的层次结构,有利于程序员理解各个文档中的编程规范之间的关系。

    面向非易失性内存的JavaScript对象持久化框架

    公开(公告)号:CN111309310A

    公开(公告)日:2020-06-19

    申请号:CN202010135451.1

    申请日:2020-03-02

    Abstract: 本发明公开了一种面向非易失性内存的JavaScript对象持久化框架,包括:持久性对象池模块、共享内存模块、数据一致性保障模块以及垃圾回收模块;持久性对象池模块负责创建与管理JavaScript持久性对象;共享内存模块支持持久性对象池模块创建管理的JavaScript持久化对象并行访问共享持久内存;数据一致性保证模块为上层应用程序调用JavaScript持久化对象提供一致性保障机制;垃圾回收模块负责回收处理无效的JavaScript持久化对象所占用的内存。本发明所述框架能够较为便捷的添加至现有的V8网页引擎当中,所述方法也可以方便的移植到面向非易失性内存的数据库系统中,具有广泛的市场应用价值。

    一种提高PM访存请求并行度的解析装置与方法

    公开(公告)号:CN107506152B

    公开(公告)日:2020-05-08

    申请号:CN201710818645.X

    申请日:2017-09-12

    Abstract: 本发明提供一种提高PM访存请求并行度的解析装置与方法,包括地址范围划分模块、Bank序列号识别模块、Bank序列号平衡模块,局部性策略控制模块。访存请求经地址范围划分模块,区分DRAM请求与PM请求;经Bank序列号识别模块,识别访存请求中的Bank序列号;经Bank序列号平衡模块,将Bank号集中的访存请求转化为分散的请求,并确保这些访存请求分配给不同的调度队列;局部性策略控制模块,用于批量处理具有行缓存局部性特征的访存请求;最大限度的使用Open‑page模式,使得具有局部性特征的访存请求能够被高效的调度;本发明能够方便快捷的解析DRAM和PM访存指令,对于PM类型的访存请求提高其Bank并行度及行缓存局部性。

    一种提高PM访存请求并行度的解析装置与方法

    公开(公告)号:CN107506152A

    公开(公告)日:2017-12-22

    申请号:CN201710818645.X

    申请日:2017-09-12

    Abstract: 本发明提供一种提高PM访存请求并行度的解析装置与方法,包括地址范围划分模块、Bank序列号识别模块、Bank序列号平衡模块,局部性策略控制模块。访存请求经地址范围划分模块,区分DRAM请求与PM请求;经Bank序列号识别模块,识别访存请求中的Bank序列号;经Bank序列号平衡模块,将Bank号集中的访存请求转化为分散的请求,并确保这些访存请求分配给不同的调度队列;局部性策略控制模块,用于批量处理具有行缓存局部性特征的访存请求;最大限度的使用Open-page模式,使得具有局部性特征的访存请求能够被高效的调度;本发明能够方便快捷的解析DRAM和PM访存指令,对于PM类型的访存请求提高其Bank并行度及行缓存局部性。

    面向RDMA与非易失性内存的网络访问编程框架部署方法及系统

    公开(公告)号:CN111078607B

    公开(公告)日:2023-06-23

    申请号:CN201911346712.8

    申请日:2019-12-24

    Abstract: 本发明提供了一种面向RDMA与非易失性内存的网络访问编程框架部署方法及系统,包括:步骤M1:客户端请求包括RDMA缓冲区数据填充及一次基于CRC32的校验码计算;步骤M2:进行服务端请求处理,服务端请求处理包括RDMA缓冲区轮询及请求处理触发;步骤M3:在客户端读写阶段中,客户端读写通过RDMA单边读写单元直接访问远程机器的非易失内存,读写特定地址。本发明能够提供普适的使用RDMA技术远程访问非易失性内存的功能接口;本发明能够通过日志结构的数据存储与访问机制可保证高并发性及远程原子性;本发明能够支持使用者自定义业务逻辑,具有广泛的应用价值。

    基于库源码和客户源码挖掘的API误用检测方法及系统

    公开(公告)号:CN115705290A

    公开(公告)日:2023-02-17

    申请号:CN202110916755.6

    申请日:2021-08-11

    Abstract: 一种基于库源码和客户源码挖掘的API误用检测方法,分别通过频繁子图挖掘算法挖掘客户代码中频繁出现的API使用模式作为API使用模式约束、通过收集库源码中每个目标API类及其父类的所有方法进行代码解析构建出抽象语法树,然后使用推导策略从中抽取出API库源码约束;再将两种约束表示成API使用图后进行约束合并和约束优化,并采用图匹配算法进行API误用检测,根据得到的候选API误用计算其误用可疑程度,实现API误用检测。本发明利用第三方库源码来挖掘到更全面和精确的API约束,有效解决来自客户代码的API约束缺乏全面性和充足信息的问题,显著提高API误用检测的召回率和精确度。

    自动生成编程规范问题答案的系统及方法

    公开(公告)号:CN112328800A

    公开(公告)日:2021-02-05

    申请号:CN201910717702.4

    申请日:2019-08-05

    Abstract: 一种自动生成编程规范问题答案的系统及方法,包括:子图匹配模块、机器阅读理解模块和学习排序模块,本发明通过构建编程规范知识图谱,通过子图匹配模块将自然语言问题转换为符合SPARQL协议的语句,利用编程规范知识图谱中结构化的信息查询得到候选答案。再通过机器阅读理解模块从自然语言问题中选取所有的名词、名词短语和主语,将这些词标记为关键词,使用Apache Solr引擎搜索得到最相关的10个自然段,并且使用基于TF‑IDF的算法对搜索得到的自然段进行打分,再对每个自然段使用训练好的深度学习模型得到候选答案,最后通过学习排序模块对候选答案进行合并生成新的候选答案,然后使用逻辑回归分类器按照正确的概率对新的候选答案进行排序。

    基于日志文件系统的非易失内存构建磁盘cache的方法及系统

    公开(公告)号:CN111414320A

    公开(公告)日:2020-07-14

    申请号:CN202010104313.7

    申请日:2020-02-20

    Abstract: 本发明提供了一种基于日志文件系统的非易失内存构建磁盘cache的方法及系统,包括:非易失内存cache包括非易失内存数据cache和非易失内存元数据cache;在非易失内存cache的初始化阶段,检查非易失内存中设置的关机标记,当检查到不是正常关机时,则非易失内存cache执行故障恢复操作保证系统一致性;在非易失内存cache的初始化完成后,在数据cache执行数据提交,在元数据cache执行元数据提交操作,在非易失内存cache的存储空间不足时,由数据cache执行数据回写操作,由元数据cache执行元数据回写操作;本发明避免数据的双重写,减少元数据的写放大,提高系统整体性能。

Patent Agency Ranking