-
公开(公告)号：CN117435629A
公开(公告)日：2024-01-23
申请号：CN202311733338.3
申请日：2023-12-18
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/2455 , G06F16/2453 , G06F16/28
Abstract: 本发明公开一种数据处理方法、装置、设备及介质，包括：将初始数据划分为若干个行组单元，将由各行组单元按列压缩得到的各压缩单元进行存储；行组单元包含初始数据中的多行数据，压缩单元所包含数据通过压缩单元所对应的索引项表示；若压缩单元中的数据需要更新，则将发生更新的各行数据按行存储形式存储到该压缩单元对应的更新数据单元；根据数据查询指令确定待查询的数据列；根据压缩单元对应的索引项确定压缩单元是否可过滤；若存在与压缩单元对应的更新数据单元，根据压缩单元的过滤情况或压缩单元中待查询的数据列是否发生过更新，确定压缩单元对应的更新数据单元是否可过滤；从不可过滤的压缩单元和不可过滤的更新数据单元中查询目标数据。
-
公开(公告)号：CN115630065B
公开(公告)日：2023-08-22
申请号：CN202211272183.3
申请日：2022-10-18
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/22 , G06F16/2453 , G06F3/06
Abstract: 本发明提出一种基于多压缩模式子分区表的存储和查询方法，包括：步骤S1、接收一系列按照预定格式流传输的块数据；步骤S2、基于预定格式进行解析，获取所述块数据中的数据组成；步骤S3、分析数据组成的不同部分，对应的采用不同压缩模式对数据块进行压缩；步骤S4、基于所采用的压缩模式，在第一查找表中匹配对应的分区号段，在压缩数据中单独设置的索引分区类型字段，将所述匹配到的索引分区号段作为附加数据；步骤S5、基于所述的分区号标志，存储到对应的子分区表中，并记录对应数据的索引和压缩模式字段；步骤S6、在数据存储过程中，对不同的子分区表，分配不同大小的连续空间进行存储；步骤S7、用户基于数据压缩模式或数据格式类型，在对应的索引存储表中进行检索。
-
公开(公告)号：CN103198159A
公开(公告)日：2013-07-10
申请号：CN201310153332.9
申请日：2013-04-27
Applicant: 国家计算机网络与信息安全管理中心 , 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于事务重做的异构集群多副本一致性维护方法，其特点是：包括查询执行阶段：集群事务管理模块跟踪活动事务表，录制事务操作；集群为主数据节点生成事务重做日志；集群将事务重做日志文件发送给所有副本数据节点并管理节点状态；副本维护阶段：副本数据节点接收来自于主数据节点的事务重做日志文件；故障恢复阶段：数据库管理员将查找出故障节点对应的存档日志，将所有副本数据节点的数据恢复到同主数据节点一致的状态。本发明解决了现有技术存在代价高、性能差的问题，弥补了二进制日志传输方式无法支持异构数据库的不足，实现了多副本之间的快速一致性维护，保证无共享集群的高可用性，同时能够支持集群数据库节点的异构化。
-
公开(公告)号：CN119828970A
公开(公告)日：2025-04-15
申请号：CN202411905660.4
申请日：2024-12-23
Applicant: 天津神舟通用数据技术有限公司
Abstract: 本申请提供一种数据处理方法及相关设备，涉及数据库应用领域，所述方法包括：在接收到目标数据的写入请求的情况下，为目标数据申请存储空间，存储空间包括至少一个范围，范围包括数据页面和校验页面；将第一范围的校验信息写入第一范围对应的校验页面，第一范围的校验信息为将目标数据写入第一范围对应的数据页面时，计算得到的校验信息，校验信息用于进行冗余校验，第一范围为至少一个范围中的任一范围；将第一范围写入持久化存储。可以利用校验信息检测数据是否损坏，提高了数据存储的可靠性，降低了因静默错误等原因导致的数据损坏风险；同时减少出现的写放大问题、减少配置额外副本占用的存储空间，能够有效地平衡了存储开销和数据可靠性。
-
公开(公告)号：CN116360709B
公开(公告)日：2023-08-08
申请号：CN202310629133.4
申请日：2023-05-31
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F3/06
Abstract: 本发明提供一种数据存取系统，包括，第一SSD缓存阵列，包括多个并联的SSD存储器；处理器，分别连接到多个并联的SSD存储器；第二双SSD目录备份存储器，包括两个互为备份的SSD存储器，且与第一SSD缓存阵列相连；第一HDD磁盘阵列，包括多个HDD磁盘，用于存储数据；多个传感器，用于探测SSD存储器和HDD磁盘的状态数据；性能管理单元，包括第一接口，分别连接到第一SSD缓存阵列中的每个SSD存储器；第三接口，分别连接到第一HDD磁盘阵列中的每个HDD磁盘；第二接口，与处理器相连；第四接口，连接到多个传感器，获取传感器探测的状态数据；第五接口，连接到第二双SSD目录备份存储器。
-
Patent Agency Ranking
公开(公告)号：CN115309837A
公开(公告)日：2022-11-08
申请号：CN202210930836.6
申请日：2022-08-04
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/28 , G06F16/2457 , G06Q30/02
Abstract: 本发明涉及一种基于列式存储的流水排序方法，其技术特点是：包括异步IO线程、流水化线程和排序线程，其根据所有CU的元信息构建CU序列，并根据CU序列的最小值信息构造边界序列，在排序过程中，将CU视为一个数据集合，对于相邻的两个CU，使用后一个CU的最小值做边界将数据划分为两部分，前一部分可以作为子集合单独排序，后一部分和第二个CU组成一个新的集合，再和后面的CU继续进行相同的处理，实现流水排序。本发明设计合理，实现了对采用列式存储并且近似有序的数据集合进行快速排序功能，具有处理速度快、占用资源小等特点。
-
公开(公告)号：CN105335479B
公开(公告)日：2018-11-23
申请号：CN201510657159.5
申请日：2015-10-12
Applicant: 国家计算机网络与信息安全管理中心 , 天津神舟通用数据技术有限公司
IPC: G06F17/30
Abstract: 本发明涉及一种基于SQL的文本数据统计实现方法，其技术特点是：对输入SQL语法进行解析；在结构化数据仓库中建立和子查询投影结构一致的临时表；识别全文索引引擎数据分布规则；将基于SQL的简单子查询翻译为全文索引引擎语法，并在全文索引引擎中执行；获取全文索引查询结果并将结果导入到结构化数据仓库引擎临时表中；完成查询结果导入过程，向数据仓库下发重写后的基于临时表SQL查询语句，并向客户端返回查询结果。本发明结合全文索引引擎和结构化数据仓库引擎的特点，实现对海量文本数据的基于通用SQL语言的统计分析方法，解决了传统方法统计功能薄弱和结构化数据仓库无法支持高效文本检索的问题，大大提高了文本数据统计分析的易用性。
-
公开(公告)号：CN102750368B
公开(公告)日：2014-03-26
申请号：CN201210200158.4
申请日：2012-06-18
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F17/30
Abstract: 本发明涉及一种数据库集群数据高速导入方法，其技术特点是：包括以下步骤：步骤1：数据导入驱动组件与数据库集群的交互模块建立连接并获取各个数据库节点连接信息；步骤2：数据导入驱动组件通过步骤1建立的数据库集群连接获取目标表的模式信息及分片存储信息并与相关数据库节点建立连接；步骤3：数据导入驱动组件向相关数据库节点进行数据导入，交互控制模块接收数据导入结果，并更新目标表的相关统计信息。本发明的数据导入驱动组件，解放了控制节点，实现在尽可能少受数据库集群干预的情况下完成数据的导入；同时，采用独立数据导入的方式，可以方便的通过增加客户端来实现并行导入，提升导入性能，从而满足企业对数据高速导入的要求。
-
公开(公告)号：CN102323946B
公开(公告)日：2013-03-27
申请号：CN201110259524.9
申请日：2011-09-05
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F17/30
Abstract: 一种并行数据库中算子复用的实现方法，包括如下步骤：步骤1、使用普通的查询规划方法为查询生成串行的查询计划，所述查询计划是一个二叉树结构；步骤2、自顶向下扫描执行所述查询计划，寻找可复用的物化类算子，并更改查询计划结构，将线程级物化算子改为全局复用的物化算子；步骤3、对步骤2生成的更改后的查询计划进行并行化处理，生成用于多个线程并行执行的计划森林；步骤4、对步骤3生成的计划森林进行全局复用算子合并处理，生成用于可供多个线程并行执行且可复用物化算子的有向图计划；步骤5、各个线程并行执行所述有向图中的各自的计划部分，第一个执行到全局复用算子的线程称之为主线程，由主线程锁住该全局复用算子并真正执行该算子及其以下的计划，其他线程等待；步骤6、所述主线程执行完该算子之后解锁，其他线程开始从该全局复用算子中读取数据并继续各自的计划树；步骤7、所述主线程等待所有的计划都读取完毕全局复用算子的数据之后释放该算子物化的数据。
-
公开(公告)号：CN102750368A
公开(公告)日：2012-10-24
申请号：CN201210200158.4
申请日：2012-06-18
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F17/30
Abstract: 本发明涉及一种数据库集群数据高速导入方法，其技术特点是：包括以下步骤：步骤1：数据导入驱动组件与数据库集群的交互模块建立连接并获取各个数据库节点连接信息；步骤2：数据导入驱动组件通过步骤1建立的数据库集群连接获取目标表的模式信息及分片存储信息并与相关数据库节点建立连接；步骤3：数据导入驱动组件向相关数据库节点进行数据导入，交互控制模块接收数据导入结果，并更新目标表的相关统计信息。本发明的数据导入驱动组件，解放了控制节点，实现在尽可能少受数据库集群干预的情况下完成数据的导入；同时，采用独立数据导入的方式，可以方便的通过增加客户端来实现并行导入，提升导入性能，从而满足企业对数据高速导入的要求。
-
-
-
-
-
-
-
-
-
Search Results
24
records
(took 0.042 seconds)
