-
公开(公告)号：CN114356230A
公开(公告)日：2022-04-15
申请号：CN202111584289.2
申请日：2021-12-22
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F3/06
Abstract: 本发明提供了一种提高列存储引擎读性能的方法，包括如下步骤：S1、将数据单元DC存储至文件对象PCFile中，并对文件对象PCFile建立文件索引，将该文件索引进行存储；S2、设置对象存储缓存模块读取模式，用以列存储引擎在不同情况下调用对象存储缓存模块；S3、设置热度值，并根据热度值对对象存储缓存模块设置淘汰方法。本发明所述的一种提高列存储引擎读性能的方法满足了计算任务运行的数据资源需求，有效的增强了列存储引擎在读取对象存储数据的速度，解决了传统方法中列存储引擎读取对象存储数据缓慢的问题，为传统数据库与对象存储的结合提供了新的方法。
-
公开(公告)号：CN115840539B
公开(公告)日：2023-05-16
申请号：CN202310107307.0
申请日：2023-02-14
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F3/06
Abstract: 本申请实施例公开了一种数据处理方法、装置、电子设备及存储介质。该方法包括：在获取到数据处理请求的情况下，确定数据处理请求对应的目标处理类型；若目标处理类型为读处理，根据数据处理请求确定出待读取数据在持久化数据文件中的物理行号及物理列号；基于预先将持久化数据文件切分的子表格的表格描述，确定包含物理行号对应的数据的目标子表格；利用物理行号以及数据单元的描述信息，从预先对目标子表格的物理列号对应的目标列划分的数据单元中，确定出包含物理行号对应的数据的目标数据单元；利用物理行号，确定出待读取数据在目标数据单元的逻辑行号；读取目标数据单元中逻辑行号记录的数据，以完成对待读取数据的读取处理。
-
公开(公告)号：CN115840539A
公开(公告)日：2023-03-24
申请号：CN202310107307.0
申请日：2023-02-14
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F3/06
Abstract: 本申请实施例公开了一种数据处理方法、装置、电子设备及存储介质。该方法包括：在获取到数据处理请求的情况下，确定数据处理请求对应的目标处理类型；若目标处理类型为读处理，根据数据处理请求确定出待读取数据在持久化数据文件中的物理行号及物理列号；基于预先将持久化数据文件切分的子表格的表格描述，确定包含物理行号对应的数据的目标子表格；利用物理行号以及数据单元的描述信息，从预先对目标子表格的物理列号对应的目标列划分的数据单元中，确定出包含物理行号对应的数据的目标数据单元；利用物理行号，确定出待读取数据在目标数据单元的逻辑行号；读取目标数据单元中逻辑行号记录的数据，以完成对待读取数据的读取处理。
-
Patent Agency Ranking
公开(公告)号：CN112306996A
公开(公告)日：2021-02-02
申请号：CN202011279673.7
申请日：2020-11-16
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 本发明提供了一种实现多集群间联合查询和快速数据迁移的方法，包括：将每个用户的数据进行单独隔离，形成虚拟集群；每个虚拟集群为一个单独的子集群，每个子集群包含多种业务数据；多个子集群由同一个coordinator集群统一管理；多个子集群还均连接元数据集群，所述元数据集群存储着每个子集群的元数据。本发明所述的实现多集群间联合查询和快速数据迁移的方法实现多VC（虚拟集群）间的数据流转，因为多VC彼此共用相同的元数据服务，VC1可以直接把VC2的数据拉到本地，直接参与计算，这些过程都是在集群数据库内部执行的，对用户不感知。
-
公开(公告)号：CN114706861B
公开(公告)日：2022-09-16
申请号：CN202210638950.1
申请日：2022-06-08
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 本发明提供了一种在列存储引擎中按列动态分组存储的方法，将数据表中所有列数据按照预设的行数切分成若干个DC行，按照顺序进行编号，同时生成对应的描述信息BSI。将描述信息存储到元数据中；数据按照列分组定义进行切分，分别存储到不同的数据文件中；读取数据时，存储单元首先预加载数据表的元数据信息，基于元数据找到对应的数据文件，读取对应的数据块。本发明所述的一种在列存储引擎中按列动态分组存储的方法，在通过列分组在写入数据时规避写放大问题，在读取数据时解决读放大问题，进而提升列存数据库的读写性能。
-
公开(公告)号：CN114356230B
公开(公告)日：2024-04-23
申请号：CN202111584289.2
申请日：2021-12-22
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F3/06
Abstract: 本发明提供了一种提高列存储引擎读性能的方法，包括如下步骤：S1、将数据单元DC存储至文件对象PCFile中，并对文件对象PCFile建立文件索引，将该文件索引进行存储；S2、设置对象存储缓存模块读取模式，用以列存储引擎在不同情况下调用对象存储缓存模块；S3、设置热度值，并根据热度值对对象存储缓存模块设置淘汰方法。本发明所述的一种提高列存储引擎读性能的方法满足了计算任务运行的数据资源需求，有效的增强了列存储引擎在读取对象存储数据的速度，解决了传统方法中列存储引擎读取对象存储数据缓慢的问题，为传统数据库与对象存储的结合提供了新的方法。
-
公开(公告)号：CN116226237A
公开(公告)日：2023-06-06
申请号：CN202310474282.8
申请日：2023-04-27
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F16/2458 , G06F16/242 , G06F16/2453
Abstract: 本申请提供的一种支持多个计算引擎的分布式查询计划生成方法及装置，涉及分布式数据查询领域，该方法包括：在一个数据库中集成多种计算引擎；生成不同的物理计划，对物理计划的代价进行评估，在生成物理计划过程中，包括：为不同的计算引擎支持不同的代价模型，生成所有计算引擎都会支持的物理计划和根据不同的计算引擎能力，为不同的计算引擎生成该引擎特有的物理计划；选择最优计划的同时确定执行该计划的最优计算引擎。本申请通过生成不同的物理计划化进行代价评估，相对以现有物理计划进行代价评估选出的物理计划，将更优越。
-
公开(公告)号：CN114706861A
公开(公告)日：2022-07-05
申请号：CN202210638950.1
申请日：2022-06-08
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 本发明提供了一种在列存储引擎中按列动态分组存储的方法，将数据表中所有列数据按照预设的行数切分成若干个DC行，按照顺序进行编号，同时生成对应的描述信息BSI。将描述信息存储到元数据中；数据按照列分组定义进行切分，分别存储到不同的数据文件中；读取数据时，存储单元首先预加载数据表的元数据信息，基于元数据找到对应的数据文件，读取对应的数据块。本发明所述的一种在列存储引擎中按列动态分组存储的方法，在通过列分组在写入数据时规避写放大问题，在读取数据时解决读放大问题，进而提升列存数据库的读写性能。
-
-
-
-
-
-
-
Search Results
8
records
(took 0.047 seconds)
