-
公开(公告)号：CN113626405A
公开(公告)日：2021-11-09
申请号：CN202110779799.9
申请日：2021-07-09
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/182 , H04L1/00
Abstract: 本发明提供一种HDFS网络数据传输优化方法、系统、终端及存储介质，包括：发送端读取待发送数据并计算待发送数据的校验和；将待发送数据和校验和封装至文件，并将待发送数据和校验和的位置信息记录至文件标头；将所述文件发送至接收端，所述文件由接收端解析出所述待发送数据后，待发送数据经校验落盘存储。本发明通过在传输过程中不再对校验和进行落盘而是动态生成数据校验和，不仅节省了大量的存储资源，而且在内存计算checksum相较于从磁盘直接读取checksum文件效率更高；checksum不落盘可以简化接收端在接收数据时的处理逻辑，提升接收处理数据的效率。
-
公开(公告)号：CN113626381A
公开(公告)日：2021-11-09
申请号：CN202110738495.8
申请日：2021-06-30
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/13 , G06F16/182
Abstract: 本发明提供一种基于分布式文件系统交织读预读的优化方法、装置，所述方法包括如下步骤：步骤1：接收读请求；步骤2：根据接收到的读请求判断是否是随机读，若是，执行步骤3，否则，执行步骤4；步骤3：根据整对象及对象中的数据块的预读标记进行预读信息恢复；步骤4：发起预读；步骤5：读结束。交织读的识别方法，设计数据块与对象的预读标记，实现预读信息的快速恢复，同时设计完整的交织读预读逻辑，模块嵌入性能较好，完美实现交织读模式下的识别与预读。增加交织读模式下的读性能。提升产品多业务模式性能稳定性，增加友好的用户体验。模块嵌入性好，便于开发与维护。
-
公开(公告)号：CN113590573A
公开(公告)日：2021-11-02
申请号：CN202110714798.6
申请日：2021-06-25
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/182 , G06F9/54
Abstract: 本发明公开了一种分布式集群的请求的路由方法和装置，方法包括：从客户端接收分布式文件系统的服务请求，从服务请求中解析出客户端信息并将客户端信息记录到日志；基于服务请求在分布式文件系统确定对应的子集群，将服务请求转发到子集群并将子集群的连接信息记录到日志；从子集群接收针对服务请求的反馈信息，将反馈信息与对应于反馈信息的客户端信息相关联地记录到日志；响应于反馈信息包括服务执行失败，而将对应于反馈信息的客户端信息基于连接信息而发送到子集群。本发明能够便于快速定位服务失败和输入输出阻塞，并且有助于分析联邦集群的负载均衡，提高分布式集群的可用性。
-
公开(公告)号：CN113609094B
公开(公告)日：2025-02-14
申请号：CN202110779540.4
申请日：2021-07-09
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/182 , G06F16/172
Abstract: 本发明公开了一种控制数据下刷的方法、系统、设备和存储介质，方法包括：响应于接收到写请求，依次对数据包进行写操作，并判断当前数据包的写操作是否为缓存写；响应于所述当前数据包的写操作为缓存写，将所述数据包的数据写入数据缓存层，并判断数据的大小是否达到分布式对象的大小；响应于所述数据的大小达到分布式对象的大小，对所述数据进行持久化，并判断当前待确认批量结构的数量是否超过阈值；以及响应于当前待确认批量结构的数量超过阈值，对持久化后的数据进行范围检测，并根据所述范围检测的结果进行下刷。本发明通过分批、异步下刷和整体应答的机制，同时在数据缓存层采用整条带下刷机制，两层协作保障数据快速持久化与安全应答。
-
公开(公告)号：CN119322587A
公开(公告)日：2025-01-17
申请号：CN202411337793.6
申请日：2024-09-24
Applicant: 济南浪潮数据技术有限公司
IPC: G06F3/06
Abstract: 本申请实施例提供了一种存储空间的管理方法及装置、存储介质及电子设备，涉及计算机领域，包括：获取待处理的对象数据；响应于客户端发送的业务请求，从分布式存储系统的存储硬盘中确定出所述对象数据对应的第一存储空间；在检测到所述第一存储空间中包含异常存储空间的情况下，对所述异常存储空间进行隔离，并记录所述异常存储空间的第一空间位置和第一时间信息；从所述存储硬盘中确定出执行所述业务请求所需要的第二存储空间，并通过所述第二存储空间完成所述客户端与所述分布式存储系统之间的数据交互。
-
Patent Agency Ranking
公开(公告)号：CN117631997A
公开(公告)日：2024-03-01
申请号：CN202311372802.0
申请日：2023-10-20
Applicant: 济南浪潮数据技术有限公司
IPC: G06F3/06
Abstract: 本发明涉及分布式存储技术领域，公开了数据存储空间分配方法、装置、设备及存储介质，本发明基于预设空间分配比例，配置数据分配器；数据分配器包括第一分配器和第二分配器；基于预设可用空间占比，分别确定第一分配器和第二分配器对应的可用逻辑空间；基于获取到的目标数据对应的数据分配器，在数据分配器对应的可用逻辑空间内为目标数据分配逻辑地址；将目标数据写入逻辑地址对应的物理地址中。如此，可以通过第一分配器和第二分配器将对数据和元数据的存储空间的分配分离，将数据和元数据分别存在对应的存储空间中，避免两者相互影响，减少存储空间的碎片化。
-
公开(公告)号：CN113626382B
公开(公告)日：2024-02-23
申请号：CN202110741785.8
申请日：2021-06-30
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/13 , G06F16/172 , G06F16/182
Abstract: 本申请提供一种分布式文件系统中聚合对象的索引方法，包括：接收小文件写入请求并将对应的小文件写入obj缓存；在小文件数据写入量满足聚合缓存的预设容量时，组建数据缓存队列；数据缓存队列包括数据队列和obj缓存的索引队列；将数据队列中的数据写入普通池，并将索引队列中索引数据写入高速池；根据索引队列中的索引数据更新文件聚合元数据。本申请针对聚合对象ino图表进行优化，将filemap表设计到高速池中，以减小对普通磁盘的性能影响。同时针对索引文件对象，按照聚合大件的生命周期进行管理，避免产生垃圾对象的残留。本申请还提供一种分布式文件系统中聚合对象的索引系统、计算机可读存储介质和电子设备，具有上述有益效果。
-
公开(公告)号：CN117082642A
公开(公告)日：2023-11-17
申请号：CN202311160542.0
申请日：2023-09-08
Applicant: 济南浪潮数据技术有限公司
IPC: H04W76/10
Abstract: 本发明涉及分布式存储技术领域，公开了网络连接建立方法、系统和网络集群，本发明获取目标集群中第一节点和第二节点的当前网络状态；基于第一节点和第二节点的当前网络状态，确定初始网络连接模式；将初始网络连接模式发送给第二节点；初始网络连接模式用于第二节点基于第二节点的配置信息确定当前网络连接模式；基于第二节点发送的当前网络连接模式初始化网络连接，以在第一节点和第二节点之间建立网络连接。如此，可以根据节点的当前网络状态，选择两个节点之间的网络连接模式，在保证网络连接稳定性的前提下减少集群中的进程数量，从而兼顾较少的进程数量和网络故障时的连接稳定性。
-
公开(公告)号：CN115733800A
公开(公告)日：2023-03-03
申请号：CN202211448029.7
申请日：2022-11-18
Applicant: 济南浪潮数据技术有限公司
IPC: H04L47/12 , H04L43/0876 , H04L47/52
Abstract: 本申请公开了一种网卡选择方法、系统、电子设备及介质，主要涉及网卡相关技术领域，该方法包括：根据网卡连接对象的IP地址信息和网卡的状态信息，选择网卡存储在待选网卡列表；释放除待选网卡列表外的其余网卡的占用资源；根据待选网卡列表中各网卡的流量信息获取目标网卡；通过上述方法，在选取目标网卡时，会根据流量信息进行选择，并将未使用的网卡占用的资源进行释放。避免对空闲网卡注册的内存等资源的浪费和工作网卡的流量不均衡问题，使业务的总带宽得到提高；其中本申请提供的网卡选择系统、电子设备及介质，与上述方法对应，具有相同的效果。
-
公开(公告)号：CN113824812B
公开(公告)日：2023-02-28
申请号：CN202110992067.8
申请日：2021-08-27
Applicant: 济南浪潮数据技术有限公司
IPC: H04L67/06 , H04L41/0654 , G06F16/182 , H04L101/686
Abstract: 本申请涉及HDFS服务获取服务节点IP的方法、装置及存储介质。其中方法包括：通过名字节点确定读写操作的数据节点后，从HDFS的全部HDFS客户端中选取指定数量的HDFS客户端作为服务节点，服务节点用于提供HDFS服务；按照HDFS客户端的指定数量、HDFS客户端IP的长度构建IPS数组来存放服务节点的IP；对IPS数组中存储的IP进行处理，将IPS数组中的第一个位置存储的IP设置为HDFS服务本地IP；按照IPS数组提供服务节点IP顺序进行故障切换。HDFS服务提供文件系统读写服务过程中，通过本申请，当前HDFS客户端出现故障导致无法继续提供读写服务时，按照IPS数组中服务节点IP顺序进行故障切换，由下一顺位的服务节点IP对应的HDFS客户端提供读写文件系统的服务，提高HDFS服务的稳定性、冗余性。
-
-
-
-
-
-
-
-
-
Search Results
44
records
(took 0.031 seconds)
