-
公开(公告)号：CN116910099A
公开(公告)日：2023-10-20
申请号：CN202311139421.8
申请日：2023-09-06
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/2455 , G06F16/22 , G06F16/2453 , G06F16/2458
Abstract: 本申请公开了一种数据处理方法、装置、设备及介质，数据处理方法包括：获取各第一数据单元和各第二数据单元，其中，各第一数据单元和各第二数据单元分别由第一数据集和第二数据集中的目标数据得到；对各第一数据单元和各第二数据单元执行条件过滤操作，根据第一关联条件对经条件过滤操作后剩余的各第一数据单元和各第二数据单元进行关联过滤操作；对经关联过滤操作后剩余的各第一数据单元执行重组操作，得到各第一数据单元集；根据第一数据单元集对经关联过滤操作后剩余的各第二数据单元执行重组操作，得到各第二数据单元集；其中，各第一数据单元集无交集；对具有映射关系的第一数据单元集和第二数据单元集执行数据处理操作，得到数据处理结果。
-
公开(公告)号：CN115630065A
公开(公告)日：2023-01-20
申请号：CN202211272183.3
申请日：2022-10-18
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/22 , G06F16/2453 , G06F3/06
Abstract: 本发明提出一种基于多压缩模式子分区表的存储和查询方法，包括：步骤S1、接收一系列按照预定格式流传输的块数据；步骤S2、基于预定格式进行解析，获取所述块数据中的数据组成；步骤S3、分析数据组成的不同部分，对应的采用不同压缩模式对数据块进行压缩；步骤S4、基于所采用的压缩模式，在第一查找表中匹配对应的分区号段，在压缩数据中单独设置的索引分区类型字段，将所述匹配到的索引分区号段作为附加数据；步骤S5、基于所述的分区号标志，存储到对应的子分区表中，并记录对应数据的索引和压缩模式字段；步骤S6、在数据存储过程中，对不同的子分区表，分配不同大小的连续空间进行存储；步骤S7、用户基于数据压缩模式或数据格式类型，在对应的索引存储表中进行检索。
-
公开(公告)号：CN117435629A
公开(公告)日：2024-01-23
申请号：CN202311733338.3
申请日：2023-12-18
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/2455 , G06F16/2453 , G06F16/28
Abstract: 本发明公开一种数据处理方法、装置、设备及介质，包括：将初始数据划分为若干个行组单元，将由各行组单元按列压缩得到的各压缩单元进行存储；行组单元包含初始数据中的多行数据，压缩单元所包含数据通过压缩单元所对应的索引项表示；若压缩单元中的数据需要更新，则将发生更新的各行数据按行存储形式存储到该压缩单元对应的更新数据单元；根据数据查询指令确定待查询的数据列；根据压缩单元对应的索引项确定压缩单元是否可过滤；若存在与压缩单元对应的更新数据单元，根据压缩单元的过滤情况或压缩单元中待查询的数据列是否发生过更新，确定压缩单元对应的更新数据单元是否可过滤；从不可过滤的压缩单元和不可过滤的更新数据单元中查询目标数据。
-
Patent Agency Ranking
公开(公告)号：CN115630065B
公开(公告)日：2023-08-22
申请号：CN202211272183.3
申请日：2022-10-18
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/22 , G06F16/2453 , G06F3/06
Abstract: 本发明提出一种基于多压缩模式子分区表的存储和查询方法，包括：步骤S1、接收一系列按照预定格式流传输的块数据；步骤S2、基于预定格式进行解析，获取所述块数据中的数据组成；步骤S3、分析数据组成的不同部分，对应的采用不同压缩模式对数据块进行压缩；步骤S4、基于所采用的压缩模式，在第一查找表中匹配对应的分区号段，在压缩数据中单独设置的索引分区类型字段，将所述匹配到的索引分区号段作为附加数据；步骤S5、基于所述的分区号标志，存储到对应的子分区表中，并记录对应数据的索引和压缩模式字段；步骤S6、在数据存储过程中，对不同的子分区表，分配不同大小的连续空间进行存储；步骤S7、用户基于数据压缩模式或数据格式类型，在对应的索引存储表中进行检索。
-
公开(公告)号：CN115361434A
公开(公告)日：2022-11-18
申请号：CN202210930712.8
申请日：2022-08-04
Applicant: 天津神舟通用数据技术有限公司
IPC: H04L67/145 , H04L67/1004
Abstract: 本发明涉及一种分布式系统高负载情况下的多路径心跳检测方法，其技术特点是：包括同步运行的独立心跳检测方法、业务功能心跳检测方法和对端主动应答心跳检测方法，如果任何一种心跳检测方法结果是正常的，则本轮心跳检测结果是正常的。本发明设计合理，其融合了高频检测、长超时时间、多路径检测的心跳检测方法，通过独立的心跳检测、业务功能、对端主动应答以及动态识别超时事件等方法，可以在较短的时间内识别出心跳故障状态，又可以在系统高压力下应对系统误判心跳故障问题，极大提升了数据库的稳定性和可用性。
-
公开(公告)号：CN115309550A
公开(公告)日：2022-11-08
申请号：CN202210930830.9
申请日：2022-08-04
Applicant: 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种MPP并行数据库实例级副本均衡方法，其技术特点是：存储IO的均衡策略为每个WAL日志配置单独存储硬盘，为业务数据配置一个共享的大容量存储硬盘；物理内存的均衡策略采用动态的数据页面缓冲区分配方式；计算资源的均衡策略采用自适应工作方式；回切原主实例策略包括平滑模式rebalance和速度模式rebalance以满足不同的场景需求。本发明充分考虑MPP并行数据库中并行计算、批量装载数据以及一次写入多次查询的特点，分别从存储IO、物理内存、计算资源和回切原主实例这四个方面进行实例级副本的均衡，最终实现了在不妥协从实例的冗余能力的基础上最大化主实例的计算服务能力。
-
公开(公告)号：CN115309837A
公开(公告)日：2022-11-08
申请号：CN202210930836.6
申请日：2022-08-04
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/28 , G06F16/2457 , G06Q30/02
Abstract: 本发明涉及一种基于列式存储的流水排序方法，其技术特点是：包括异步IO线程、流水化线程和排序线程，其根据所有CU的元信息构建CU序列，并根据CU序列的最小值信息构造边界序列，在排序过程中，将CU视为一个数据集合，对于相邻的两个CU，使用后一个CU的最小值做边界将数据划分为两部分，前一部分可以作为子集合单独排序，后一部分和第二个CU组成一个新的集合，再和后面的CU继续进行相同的处理，实现流水排序。本发明设计合理，实现了对采用列式存储并且近似有序的数据集合进行快速排序功能，具有处理速度快、占用资源小等特点。
-
公开(公告)号：CN116910099B
公开(公告)日：2023-11-17
申请号：CN202311139421.8
申请日：2023-09-06
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/2455 , G06F16/22 , G06F16/2453 , G06F16/2458
Abstract: 本申请公开了一种数据处理方法、装置、设备及介质，数据处理方法包括：获取各第一数据单元和各第二数据单元，其中，各第一数据单元和各第二数据单元分别由第一数据集和第二数据集中的目标数据得到；对各第一数据单元和各第二数据单元执行条件过滤操作，根据第一关联条件对经条件过滤操作后剩余的各第一数据单元和各第二数据单元进行关联过滤操作；对经关联过滤操作后剩余的各第一数据单元执行重组操作，得到各第一数据单元集；根据第一数据单元集对经关联过滤操作后剩余的各第二数据单元执行重组操作，得到各第二数据单元集；其中，各第一数据单元集无交集；对具有映射关系的第一数据单元集和第二数据单元集执行数据处理操作，得到数据处理结果。
-
-
-
-
-
-
-
Search Results
8
records
(took 0.031 seconds)
