-
公开(公告)号：CN102033938A
公开(公告)日：2011-04-27
申请号：CN201010597139.0
申请日：2010-12-10
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F17/30
Abstract: 本发明方法是基于一种二级映射的方法来实现满足负载均衡的动态扩展技术。即首先在第一维对集群的数据按照hash方法进行负载的均衡分布，这是第一级映射。在第一维的基础上采用一个M:N的映射表来进行第二级的映射，从而在第一维实现数据的分布负载均衡，在第二维实现集群的动态扩展。本发明使用了二级映射方法，既保留了集群中常用的hash分发方法的数据分布负载均衡特点，又支持了动态扩展的需要。同时利用了元数据库的事务特性保证了对二级映射表更新时的读写隔离性，保证了扩展的动态在线。和静态扩展技术动辄需要停机几分钟相比，本发明不仅不需停止应用业务，而且操作简单，每扩展一个节点的时间在秒级。
-
公开(公告)号：CN116910099A
公开(公告)日：2023-10-20
申请号：CN202311139421.8
申请日：2023-09-06
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/2455 , G06F16/22 , G06F16/2453 , G06F16/2458
Abstract: 本申请公开了一种数据处理方法、装置、设备及介质，数据处理方法包括：获取各第一数据单元和各第二数据单元，其中，各第一数据单元和各第二数据单元分别由第一数据集和第二数据集中的目标数据得到；对各第一数据单元和各第二数据单元执行条件过滤操作，根据第一关联条件对经条件过滤操作后剩余的各第一数据单元和各第二数据单元进行关联过滤操作；对经关联过滤操作后剩余的各第一数据单元执行重组操作，得到各第一数据单元集；根据第一数据单元集对经关联过滤操作后剩余的各第二数据单元执行重组操作，得到各第二数据单元集；其中，各第一数据单元集无交集；对具有映射关系的第一数据单元集和第二数据单元集执行数据处理操作，得到数据处理结果。
-
公开(公告)号：CN116360709A
公开(公告)日：2023-06-30
申请号：CN202310629133.4
申请日：2023-05-31
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F3/06
Abstract: 本发明提供一种数据存取系统，包括，第一SSD缓存阵列，包括多个并联的SSD存储器；处理器，分别连接到多个并联的SSD存储器；第二双SSD目录备份存储器，包括两个互为备份的SSD存储器，且与第一SSD缓存阵列相连；第一HDD磁盘阵列，包括多个HDD磁盘，用于存储数据；多个传感器，用于探测SSD存储器和HDD磁盘的状态数据；性能管理单元，包括第一接口，分别连接到第一SSD缓存阵列中的每个SSD存储器；第三接口，分别连接到第一HDD磁盘阵列中的每个HDD磁盘；第二接口，与处理器相连；第四接口，连接到多个传感器，获取传感器探测的状态数据；第五接口，连接到第二双SSD目录备份存储器。
-
公开(公告)号：CN115630065A
公开(公告)日：2023-01-20
申请号：CN202211272183.3
申请日：2022-10-18
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/22 , G06F16/2453 , G06F3/06
Abstract: 本发明提出一种基于多压缩模式子分区表的存储和查询方法，包括：步骤S1、接收一系列按照预定格式流传输的块数据；步骤S2、基于预定格式进行解析，获取所述块数据中的数据组成；步骤S3、分析数据组成的不同部分，对应的采用不同压缩模式对数据块进行压缩；步骤S4、基于所采用的压缩模式，在第一查找表中匹配对应的分区号段，在压缩数据中单独设置的索引分区类型字段，将所述匹配到的索引分区号段作为附加数据；步骤S5、基于所述的分区号标志，存储到对应的子分区表中，并记录对应数据的索引和压缩模式字段；步骤S6、在数据存储过程中，对不同的子分区表，分配不同大小的连续空间进行存储；步骤S7、用户基于数据压缩模式或数据格式类型，在对应的索引存储表中进行检索。
-
公开(公告)号：CN102323946A
公开(公告)日：2012-01-18
申请号：CN201110259524.9
申请日：2011-09-05
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F17/30
Abstract: 一种并行数据库中算子复用的实现方法，包括如下步骤：步骤1、使用普通的查询规划方法为查询生成串行的查询计划，所述查询计划是一个二叉树结构；步骤2、自顶向下扫描执行所述查询计划，寻找可复用的物化类算子，并更改查询计划结构，将线程级物化算子改为全局复用的物化算子；步骤3、对步骤2生成的更改后的查询计划进行并行化处理，生成用于多个线程并行执行的计划森林；步骤4、对步骤3生成的计划森林进行全局复用算子合并处理，生成用于可供多个线程并行执行且可复用物化算子的有向图计划；步骤5、各个线程并行执行所述有向图中的各自的计划部分，第一个执行到全局复用算子的线程称之为主线程，由主线程锁住该全局复用算子并真正执行该算子及其以下的计划，其他线程等待；步骤6、所述主线程执行完该算子之后解锁，其他线程开始从该全局复用算子中读取数据并继续各自的计划树；步骤7、所述主线程等待所有的计划都读取完毕全局复用算子的数据之后释放该算子物化的数据。
-
Patent Agency Ranking
公开(公告)号：CN116910099B
公开(公告)日：2023-11-17
申请号：CN202311139421.8
申请日：2023-09-06
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/2455 , G06F16/22 , G06F16/2453 , G06F16/2458
Abstract: 本申请公开了一种数据处理方法、装置、设备及介质，数据处理方法包括：获取各第一数据单元和各第二数据单元，其中，各第一数据单元和各第二数据单元分别由第一数据集和第二数据集中的目标数据得到；对各第一数据单元和各第二数据单元执行条件过滤操作，根据第一关联条件对经条件过滤操作后剩余的各第一数据单元和各第二数据单元进行关联过滤操作；对经关联过滤操作后剩余的各第一数据单元执行重组操作，得到各第一数据单元集；根据第一数据单元集对经关联过滤操作后剩余的各第二数据单元执行重组操作，得到各第二数据单元集；其中，各第一数据单元集无交集；对具有映射关系的第一数据单元集和第二数据单元集执行数据处理操作，得到数据处理结果。
-
公开(公告)号：CN105426427A
公开(公告)日：2016-03-23
申请号：CN201510740873.0
申请日：2015-11-04
Applicant: 国家计算机网络与信息安全管理中心 , 天津神舟通用数据技术有限公司
CPC classification number: G06F16/273 , G06F3/0689 , G06F11/1469 , G06F16/211 , G06F16/2365
Abstract: 本发明涉及一种基于RAID 0存储的MPP数据库集群副本实现方法，其技术特点是包括副本分布算法模块、副本状态维护模块、访问重定向模块、数据一致性维护模块并通过以下步骤实现：进行数据库存储部署；计算副本存储位置；创建副本存储实体；进行副本元信息维护；进行副本数据访问；使用数据一致性维护模块进行副本数据一致性维护。本发明设计合理，其为MPP数据库集群引入系统层面的数据冗余，通过牺牲一定的存储空间来换取数据安全，提高了系统可用性；当出现硬件故障或副本数据被破坏(失效)时，系统自动将对该数据分片的访问导向另一个可用副本，实现对外不间断服务,并且解决单一数据并发访问“过热”问题，提高系统的吞吐性能。
-
公开(公告)号：CN105302638A
公开(公告)日：2016-02-03
申请号：CN201510740736.7
申请日：2015-11-04
Applicant: 国家计算机网络与信息安全管理中心 , 天津神舟通用数据技术有限公司
IPC: G06F9/48
Abstract: 本发明涉及一种基于系统负载的MPP集群任务调度方法，其技术特点是包括设置在MPP集群主控节点上的多功能任务调度器和设置在各个节点上的系统负载计算模块，并按以下步骤实现：各个节点上的系统负载计算模块实时监控节点的负载变化并反馈至MPP集群主控节点上；MPP集群主控节点上的多功能任务调度器根据任务的分布信息以及对应节点的负载情况完成任务的排队和调度。本发明在MPP集群主控节点上设置多功能任务调度器并实时收集群内所有计算节点的系统负载信息，MPP集群主控节点依据任务的分布信息以及对应节点的负载情况，完成对任务的排队和调度，通过对系统负载的实时监控，实现动态并发控制，可以有效提高资源的利用率，使系统达到最佳吞吐性能。
-
公开(公告)号：CN102981857A
公开(公告)日：2013-03-20
申请号：CN201210514328.6
申请日：2012-12-04
Applicant: 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种数据库集群的并行压缩海量数据装载方法，其主要技术特点是：包括步骤1：建立包括数据装载工具、驱动程序和数据库集群的并行压缩海量数据装载的组件架构；步骤2、客户端通过数据装载工具和驱动程序向数据库集群发送数据装载命令，获取各个数据库节点的连接信息后，连接各个数据库并且发送需要装载的数据；数据库集群服务器给客户端提供集群各个数据库节点的连接信息以及各个表的相关信息；数据库节点接收客户端发送过来的数据并存储下来。本发明使用海量数据通信协议以及并行优化处理和压缩优化处理方法，充分利用服务器的多CPU和网络资源并融合在海量数据装载过程中，提升了数据库集群的搭建速度。
-
公开(公告)号：CN115309550A
公开(公告)日：2022-11-08
申请号：CN202210930830.9
申请日：2022-08-04
Applicant: 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种MPP并行数据库实例级副本均衡方法，其技术特点是：存储IO的均衡策略为每个WAL日志配置单独存储硬盘，为业务数据配置一个共享的大容量存储硬盘；物理内存的均衡策略采用动态的数据页面缓冲区分配方式；计算资源的均衡策略采用自适应工作方式；回切原主实例策略包括平滑模式rebalance和速度模式rebalance以满足不同的场景需求。本发明充分考虑MPP并行数据库中并行计算、批量装载数据以及一次写入多次查询的特点，分别从存储IO、物理内存、计算资源和回切原主实例这四个方面进行实例级副本的均衡，最终实现了在不妥协从实例的冗余能力的基础上最大化主实例的计算服务能力。
-
-
-
-
-
-
-
-
-
Search Results
24
records
(took 0.034 seconds)
