-
公开(公告)号：CN115630065A
公开(公告)日：2023-01-20
申请号：CN202211272183.3
申请日：2022-10-18
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/22 , G06F16/2453 , G06F3/06
Abstract: 本发明提出一种基于多压缩模式子分区表的存储和查询方法，包括：步骤S1、接收一系列按照预定格式流传输的块数据；步骤S2、基于预定格式进行解析，获取所述块数据中的数据组成；步骤S3、分析数据组成的不同部分，对应的采用不同压缩模式对数据块进行压缩；步骤S4、基于所采用的压缩模式，在第一查找表中匹配对应的分区号段，在压缩数据中单独设置的索引分区类型字段，将所述匹配到的索引分区号段作为附加数据；步骤S5、基于所述的分区号标志，存储到对应的子分区表中，并记录对应数据的索引和压缩模式字段；步骤S6、在数据存储过程中，对不同的子分区表，分配不同大小的连续空间进行存储；步骤S7、用户基于数据压缩模式或数据格式类型，在对应的索引存储表中进行检索。
-
公开(公告)号：CN110196859A
公开(公告)日：2019-09-03
申请号：CN201910495097.0
申请日：2019-06-10
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/23 , G06F16/242 , G06F16/27
Abstract: 本发明涉及一种基于JDBC分发器的数据库读写分离集群实时一致性方法，包括以下步骤：应用程序调用神通数据库JDBC驱动建立数据库连接时，由神通数据库JDBC驱动创建读写分离分发器；应用程序通过神通数据库JDBC在已建立的数据库连接上发送SQL语句，读写分离分发器对输入的SQL语句进行分析，生成执行策略：如果是主机执行策略，则读写分离分发器将SQL语句分发到主机执行并返回执行结果，如果是备机执行策略，则读写分离分发器将SQL语句分发到备机执行并返回执行结果。本发明设计合理，既可以通过备份服务分担主机的负载，又保证了数据查询的一致性，用户应用程序可以在不做任何修改的情况下直接利用读写分离系统提高并发性。
-
公开(公告)号：CN105303252A
公开(公告)日：2016-02-03
申请号：CN201510657269.1
申请日：2015-10-12
Applicant: 国家计算机网络与信息安全管理中心 , 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于遗传算法的多阶段神经网络模型训练方法，其技术特点是包括以下步骤：对数据进行预处理以消除字段的量纲影响；根据输入层、隐含层、输出层节点数，构建多输入层网络结构；采用遗传算法训练初始权重和阈值；利用迭代算法更新权重；根据迭代次数及模型误差判断是否满足模型终止条件：如果满足，则模型结束，否则重新更新权重。本发明针对过程控制中参数分阶段影响输出的问题，构建一个多阶段神经网络结构，根据遗传算法具有全局搜索的特点，采用其为网络结构选择一组较合理的初始权重，从而尽可能地防止网络训练进行局部极小点，解决了只有一个输入层的神经网络结构无法解决工程控制中具有前后顺序的参数影响产品加工的问题。
-
公开(公告)号：CN112099961B
公开(公告)日：2024-02-06
申请号：CN202010993476.5
申请日：2020-09-21
Applicant: 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于锁状态缓存的分布式锁管理器的实现方法，包括步骤1、上层模块调用锁模块，进入锁模块并进行快速加锁；步骤2、检查是否有其他事务已经持有锁，处理锁冲突；步骤3、等待本节点事务放锁；步骤4、向主节点请求加锁，主节点处理加锁请求；步骤5、向持有锁的远程节点请求放锁，从节点处理放锁请求；步骤6、加锁成功，记录加锁信息并返回到上层模块。本发明设计合理，其通过主节点锁管理器和从节点锁状态缓存方式，即可以协调各个节点的加锁请求，保证数据库的一致性，又利用了数据库事务DML操作为主的特性，即节点上的锁状态缓存在大部分情况下都是有效的，有效减少了远程节点的访问开销，提高了加锁效率。
-
公开(公告)号：CN116996505B
公开(公告)日：2023-12-15
申请号：CN202311252984.8
申请日：2023-09-27
Applicant: 天津神舟通用数据技术有限公司
IPC: H04L67/06 , H04L67/288 , H04L67/56 , H04L67/60
Abstract: 本发明提供一种基于调度引擎的文件交换控制方法和系统，包括：定义文件交换任务，向调度引擎中的API节点发送启动文件交换任务请求；调度引擎中的API节点收到任务请求后，生成启动任务的调度命令；调度引擎中的多个调度节点轮询调度命令；当某个调度节点捕获到调度命令后，对调度命令加上分布式锁，阻止其他调度节点获取；该调度节点选择一个执行节点，向该执行节点发送文件交换任务指令；执行节点接收到任务指令后，对任务信息进行解析，获取任务类型，以及任务指定的交换节点，向交换节点发送文件交换请求；交换节点对待交换的文件进行切片后，根据并发数设置，调用文件交换服务并发交换文件；服务端并发接收并存储文件。
-
Patent Agency Ranking
公开(公告)号：CN112100190B
公开(公告)日：2023-12-15
申请号：CN202010993803.7
申请日：2020-09-21
Applicant: 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于更新序列的分布式锁状态同步方法，其主要技术特点是：在每个从节点锁对象上设置更新序列，主节点维护各个从节点持有锁状态的记录，并在每个记录上设置更新序列；从节点向主节点发送加锁请求；主节点根据请求节点锁状态进行加锁处理，返回加锁成功消息，或者向当前持有锁的冲突节点发送放锁请求；从节点收根据从节点锁状态进行放锁处理并返回放锁成功消息；主节点检查冲突节点锁状态当前的更新序列，再次尝试加锁处理；从节点检查锁状态当前的更新序列并再次尝试加锁。本发明设计合理，能够有效地维护各个节点之间锁状态的一致性，保证了数据库服务的正常运行，防止数据库服务的中断，提高了系统运行的安全性和可靠性。
-
公开(公告)号：CN116996505A
公开(公告)日：2023-11-03
申请号：CN202311252984.8
申请日：2023-09-27
Applicant: 天津神舟通用数据技术有限公司
IPC: H04L67/06 , H04L67/288 , H04L67/56 , H04L67/60
Abstract: 本发明提供一种基于调度引擎的文件交换控制方法和系统，包括：定义文件交换任务，向调度引擎中的API节点发送启动文件交换任务请求；调度引擎中的API节点收到任务请求后，生成启动任务的调度命令；调度引擎中的多个调度节点轮询调度命令；当某个调度节点捕获到调度命令后，对调度命令加上分布式锁，阻止其他调度节点获取；该调度节点选择一个执行节点，向该执行节点发送文件交换任务指令；执行节点接收到任务指令后，对任务信息进行解析，获取任务类型，以及任务指定的交换节点，向交换节点发送文件交换请求；交换节点对待交换的文件进行切片后，根据并发数设置，调用文件交换服务并发交换文件；服务端并发接收并存储文件。
-
公开(公告)号：CN116644090A
公开(公告)日：2023-08-25
申请号：CN202310931499.7
申请日：2023-07-27
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/242 , G06F16/215 , G06F16/2455 , G06F16/9035
Abstract: 本申请公开了一种数据查询方法、装置、设备及介质，数据查询方法包括：获取数据查询请求，根据数据查询请求生成数据限制指令和数据扫描指令；其中，若数据查询请求中包含数据筛选规则，则数据限制指令中包含与数据筛选规则对应的数据筛选条件；若数据限制指令中包含数据筛选条件，则将数据筛选条件添加到数据扫描指令中；根据数据扫描指令执行数据扫描操作，按照数据限制指令从扫描到的数据得到目标数据，目标数据为数据查询请求对应的数据查询结果；其中，根据数据扫描指令执行数据扫描操作包括：若数据扫描指令中包含数据筛选条件，则根据数据筛选条件确定无需扫描的数据，并对需要扫描的数据进行扫描。
-
公开(公告)号：CN115309837A
公开(公告)日：2022-11-08
申请号：CN202210930836.6
申请日：2022-08-04
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/28 , G06F16/2457 , G06Q30/02
Abstract: 本发明涉及一种基于列式存储的流水排序方法，其技术特点是：包括异步IO线程、流水化线程和排序线程，其根据所有CU的元信息构建CU序列，并根据CU序列的最小值信息构造边界序列，在排序过程中，将CU视为一个数据集合，对于相邻的两个CU，使用后一个CU的最小值做边界将数据划分为两部分，前一部分可以作为子集合单独排序，后一部分和第二个CU组成一个新的集合，再和后面的CU继续进行相同的处理，实现流水排序。本发明设计合理，实现了对采用列式存储并且近似有序的数据集合进行快速排序功能，具有处理速度快、占用资源小等特点。
-
公开(公告)号：CN108536808B
公开(公告)日：2022-04-29
申请号：CN201810296682.3
申请日：2018-04-04
Applicant: 国家计算机网络与信息安全管理中心 , 天津神舟通用数据技术有限公司
Abstract: 本发明公开了一种基于Spark计算框架的数据获取方法和装置。该方法包括：在接收到表对象访问请求之后，获取Spark的计算资源信息以及MPP集群中待访问的数据表的数据分布信息；根据计算资源信息和数据分布信息，生成多个Partition；其中，每个Partition对应数据表中的部分数据；通过生成的多个Partition，从MPP集群中获取数据表。本发明充分利用MPP集群的数据存储特性，通过多个Partition，直接从MPP的存储节点快速获取数据集。进一步地，在计算资源充足的情况下，可以对存储节点的数据表进行进一步的拆分，以达到提高并行度，提升数据导入性能的目的。可以根据MPP集群的数据分布情况，优先从本地存储中获取数据，减少数据传输开销、节约网络带宽、减少网络延迟、提高计算性能。
-
-
-
-
-
-
-
-
-
Search Results
40
records
(took 0.047 seconds)
