一种基于大数据存储RBF纳管配额集中管控方法及装置

    公开(公告)号:CN117130783A

    公开(公告)日:2023-11-28

    申请号:CN202311090696.7

    申请日:2023-08-28

    Abstract: 本发明提供了一种基于大数据存储RBF纳管配额集中管控方法及装置,该方法通过Router作为中心,实现对多存储系统的资源配额限制。管理员可通过命令行方式向Router发送配额设置请求,限制资源目录的文件个数和存储空间。每个Router周期性地同步配额信息,从各存储系统获取已使用资源量,确保配额与实际使用一致。用户操作在提交前经过配额限制判断。配额设置值持久化至Zookeeper,支持系统重启和同步。系统通过分发请求至不同存储系统实现负载均衡。该方法降低了管理成本,提高了资源利用效率,确保了存储系统的稳定性和性能。该装置包括配额设置、数据同步与配额矫正、配额限制模块,能够有效实施该方法。

    一种HDFS写故障恢复方法、计算机设备及存储介质

    公开(公告)号:CN116974823A

    公开(公告)日:2023-10-31

    申请号:CN202310954198.6

    申请日:2023-07-31

    Abstract: 本发明提出了一种HDFS写故障恢复方法、计算机设备及存储介质,其中,方法包括:在HDFS系统中预设任务管理器和数据重写队列,并执行以下步骤:通过任务管理器监控写请求的数据写入过程;响应于监控到数据节点抛出异常,由任务管理器截获异常并生成唯一的故障标记;由任务管理器控制将写请求中的数据并转存到预设的数据重写队列中,并利用故障标记分别标记数据以及数据节点;跳过对当前数据节点的数据写入并执行对下一数据节点的数据写入;由任务管理器从数据重写队列中获取数据,并根据故障标记重新向对应的数据节点发起数据写入操作。本发明能够通过任务处理器拦截异常,避免HDFS系统在发现异常后即执行数据块回收,并能够利用重写队列实现单点恢复。

    一种安全认证方法、装置、网络访问服务设备及存储介质

    公开(公告)号:CN116346498A

    公开(公告)日:2023-06-27

    申请号:CN202310501138.9

    申请日:2023-04-28

    Abstract: 本发明提供一种安全认证方法、装置、网络访问服务设备及存储介质,涉及大数据存储系统领域,方法应用于网络访问服务设备,包括:当接收到客户端发送的访问请求信息时,根据访问请求信息确定客户端请求访问的目标租户资源,并确定目标租户资源对应的目标安全认证处理器;利用目标安全认证处理器对客户端进行安全认证处理;在确定客户端通过安全认证时,允许客户端访问目标租户资源;网络访问服务设备在接收到客户端发送的访问请求信息时,可依照客户端请求访问的目标租户资源利用对应的目标安全认证处理器对客户端进行安全认证处理,从而可确保租户资源能够配置不同的安全认证处理器,进而可满足用户不同的安全认证需求。

    一种数据迁移方法、装置、设备及存储介质

    公开(公告)号:CN116431608A

    公开(公告)日:2023-07-14

    申请号:CN202310416383.X

    申请日:2023-04-13

    Abstract: 本申请公开了一种数据迁移方法、装置、设备及存储介质,涉及数据迁移技术领域,包括:获取待迁移HBase集群中待迁移的数据表,得到待迁移数据表列表;根据所述待迁移数据表列表创建新快照,并将所述新快照迁移至目标HBase集群中;对位于所述目标HBase集群的所述新快照中的所述待迁移数据表列表对应的数据内容进行恢复,得到恢复后的数据表;对所述恢复后的数据表进行数据校验,若校验通过则表明所述待迁移数据表列表迁移成功。本申请可以利用HBase集群自身的功能对集群进行迁移,减少集群业务中断时间,在迁移时能够保证数据的可用性,同时节约了成本,保证了数据的安全。

    对数据执行链路监控的方法、系统、装置、设备及介质

    公开(公告)号:CN117215873A

    公开(公告)日:2023-12-12

    申请号:CN202311206549.1

    申请日:2023-09-18

    Abstract: 本发明涉及大数据业务技术领域,公开了一种对数据执行链路监控的方法、系统、装置、设备及介质,该方法包括:获取数据访问请求执行过程中每个步骤的执行信息;根据执行信息中的上下游关系信息,得到数据访问请求执行过程的目标执行链路;根据执行信息,得到每个步骤的执行频次、数据访问请求执行过程的总执行耗时和异常步骤;将执行频次、总执行耗时以及异常步骤进行汇总,得到目标执行链路的告警关联信息。本发明解决了日志存在信息记录杂乱,排查日志的时间成本高,影响了监控数据执行链路的时效性的问题。

Patent Agency Ranking