-
公开(公告)号：CN116737803A
公开(公告)日：2023-09-12
申请号：CN202311004734.2
申请日：2023-08-10
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/2458 , G06F3/0486 , G06F9/50 , G06F16/26
Abstract: 本发明提供了一种基于有向无环图的可视化数据挖掘编排方法。用户可以从预设的数据处理组件库中拖拽一个或多个组件到画布中，并建立连线关系形成有向无环图，并显示在界面上。用户设置组件的参数信息后，这些参数会自动加载到有向无环图中。流程编排完成后，生成数据传递到后台进行处理。在流程运行过程中，提供状态监控和日志查看功能。同时，有向无环图还具备版本管理的能力。本发明通过结合前端可视化技术和有向无环图的形式，解决了传统数据挖掘工具复杂、门槛高以及使用成本不断增加的问题。
-
公开(公告)号：CN116662373A
公开(公告)日：2023-08-29
申请号：CN202310926727.1
申请日：2023-07-27
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/242 , G06F8/41
Abstract: 本申请公开了一种数据访问控制方法、装置、设备及介质，数据访问控制方法包括：获取用于表征数据访问请求的初始SQL语句，对所述初始SQL语句进行解析，生成AST语法树；根据所述AST语法树确定所述初始SQL语句对应的数据访问请求方的访问规则，生成包含所述访问规则的目标SQL语句；执行所述目标SQL语句，以控制所述数据访问请求方按照所述访问规则进行数据访问操作；或使数据源执行所述目标SQL语句，以控制所述数据访问请求方按照所述访问规则进行数据访问操作。
-
公开(公告)号：CN115630065B
公开(公告)日：2023-08-22
申请号：CN202211272183.3
申请日：2022-10-18
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/22 , G06F16/2453 , G06F3/06
Abstract: 本发明提出一种基于多压缩模式子分区表的存储和查询方法，包括：步骤S1、接收一系列按照预定格式流传输的块数据；步骤S2、基于预定格式进行解析，获取所述块数据中的数据组成；步骤S3、分析数据组成的不同部分，对应的采用不同压缩模式对数据块进行压缩；步骤S4、基于所采用的压缩模式，在第一查找表中匹配对应的分区号段，在压缩数据中单独设置的索引分区类型字段，将所述匹配到的索引分区号段作为附加数据；步骤S5、基于所述的分区号标志，存储到对应的子分区表中，并记录对应数据的索引和压缩模式字段；步骤S6、在数据存储过程中，对不同的子分区表，分配不同大小的连续空间进行存储；步骤S7、用户基于数据压缩模式或数据格式类型，在对应的索引存储表中进行检索。
-
公开(公告)号：CN112099996B
公开(公告)日：2022-04-05
申请号：CN202010993792.2
申请日：2020-09-21
Applicant: 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于页面更新序号的数据库集群多节点重做日志恢复方法，包括以下步骤：在页面头部分配空间作为页面更新序号；集群中所有的节点在更新数据页面时，更新页面更新序号和本节点的重做日志；重新启动数据库集群，最先启动的节点成为主节点，由主节点进行实例恢复；主节点从共享磁盘加载控制文件，从控制文件中读取每一个节点的重做日志信息作为扫描句柄，保存在扫描句柄数组中；遍历所有的扫描句柄，恢复重做日志；所有扫描句柄已经扫描完毕，重做日志恢复结束。本发明在新增重做日志和在实例恢复时，利用页面更新序号判断页面是否连续，将相同页面在不同节点之间的修改按序恢复，保证数据的一致性，提高了系统运行的可靠性。
-
公开(公告)号：CN110209701A
公开(公告)日：2019-09-06
申请号：CN201910495179.5
申请日：2019-06-10
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/2455 , G06F16/23
Abstract: 本发明涉及一种基于内存多级缓存的数据快速分页查询访问的方法,包括以下步骤：在数据库启动时，创建一张哈希表作为全局缓存结构；在事务开始时，创建一张哈希表作为该事务的局部缓存结构；在事务进行的过程中，完成表更新操作；当一个事务发起表的总行数查询时，以OID为键在全局缓存结构中查找表的总行数，以OID为键在事务局部缓存结构中查找当前事务影响该表的变化行数，两个数值相加作为此次查询表的总行数；在事务提交时，数据库系统将更新过的当前事务局部缓存结构中各个表的变化行数累加到全局缓存结构中相应表的总行数上。本发明设计合理，大大减少并发冲突，同时最大限度减少了内存中表的总行数的维护对表的更新性能产生的影响。
-
Patent Agency Ranking
公开(公告)号：CN103198159A
公开(公告)日：2013-07-10
申请号：CN201310153332.9
申请日：2013-04-27
Applicant: 国家计算机网络与信息安全管理中心 , 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于事务重做的异构集群多副本一致性维护方法，其特点是：包括查询执行阶段：集群事务管理模块跟踪活动事务表，录制事务操作；集群为主数据节点生成事务重做日志；集群将事务重做日志文件发送给所有副本数据节点并管理节点状态；副本维护阶段：副本数据节点接收来自于主数据节点的事务重做日志文件；故障恢复阶段：数据库管理员将查找出故障节点对应的存档日志，将所有副本数据节点的数据恢复到同主数据节点一致的状态。本发明解决了现有技术存在代价高、性能差的问题，弥补了二进制日志传输方式无法支持异构数据库的不足，实现了多副本之间的快速一致性维护，保证无共享集群的高可用性，同时能够支持集群数据库节点的异构化。
-
公开(公告)号：CN102752372A
公开(公告)日：2012-10-24
申请号：CN201210199980.3
申请日：2012-06-18
Applicant: 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于文件的数据库同步方法，其主要技术特点是：采用在源端数据库安装数据同步工具组件，并且在目标端数据库安装ETL服务组件，ETL服务组件与数据同步工具组件之间通过协议控制并以文件方式从源端数据库向目标端数据库进行同步。本发明设计合理，以文件方式快速地从源端数据库向目标端数据库进行数据库同步，能高效地保存所要同步的数据库数据，并且在异构数据库和操作系统环境中，均能解析文件进行数据的同步操作，从而支持向多种异构数据库进行同步的特性，同时，采用全量同步和增量同步方法，提高了数据库同步效率。
-
公开(公告)号：CN116737803B
公开(公告)日：2023-11-17
申请号：CN202311004734.2
申请日：2023-08-10
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/2458 , G06F3/0486 , G06F9/50 , G06F16/26
Abstract: 本发明提供了一种基于有向无环图的可视化数据挖掘编排方法。用户可以从预设的数据处理组件库中拖拽一个或多个组件到画布中，并建立连线关系形成有向无环图，并显示在界面上。用户设置组件的参数信息后，这些参数会自动加载到有向无环图中。流程编排完成后，生成数据传递到后台进行处理。在流程运行过程中，提供状态监控和日志查看功能。同时，有向无环图还具备版本管理的能力。本发明通过结合前端可视化技术和有向无环图的形式，解决了传统数据挖掘工具复杂、门槛高以及使用成本不断增加的问题。
-
公开(公告)号：CN110533112B
公开(公告)日：2023-04-07
申请号：CN201910830182.8
申请日：2019-09-04
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F18/23213 , G06F18/2411 , G06F18/25
Abstract: 本发明涉及一种车联网大数据跨域分析融合方法，其主要技术特点是：建立车联网云数据挖掘架构，该车联网云数据挖掘架构包括分布式数据访问引擎、并行挖掘引擎及代理节点和Web服务器集群；采用车联网数据挖掘算法进行数据挖掘；采用共享内存并行计算技术实现共享内存的并行功能。本发明采用由分布式数据访问引擎、并行挖掘引擎、Web服务器集群及代理节点构成的可支持并行计算的云数据挖掘架构，提高了面向海量数据的支撑能力；通过数据预处理技术、不确定数据预处理技术车联网行业数据处理与融合技术，优化流数据等车联网特有数据的支持；基于车联网流数据的挖掘、分析、聚类技术、行为识别、异常检测等新型数据挖掘算法，提升系统的智能化水平。
-
公开(公告)号：CN105426427A
公开(公告)日：2016-03-23
申请号：CN201510740873.0
申请日：2015-11-04
Applicant: 国家计算机网络与信息安全管理中心 , 天津神舟通用数据技术有限公司
CPC classification number: G06F16/273 , G06F3/0689 , G06F11/1469 , G06F16/211 , G06F16/2365
Abstract: 本发明涉及一种基于RAID 0存储的MPP数据库集群副本实现方法，其技术特点是包括副本分布算法模块、副本状态维护模块、访问重定向模块、数据一致性维护模块并通过以下步骤实现：进行数据库存储部署；计算副本存储位置；创建副本存储实体；进行副本元信息维护；进行副本数据访问；使用数据一致性维护模块进行副本数据一致性维护。本发明设计合理，其为MPP数据库集群引入系统层面的数据冗余，通过牺牲一定的存储空间来换取数据安全，提高了系统可用性；当出现硬件故障或副本数据被破坏(失效)时，系统自动将对该数据分片的访问导向另一个可用副本，实现对外不间断服务,并且解决单一数据并发访问“过热”问题，提高系统的吞吐性能。
-
-
-
-
-
-
-
-
-
Search Results
40
records
(took 0.043 seconds)
