-
公开(公告)号:CN110533112B
公开(公告)日:2023-04-07
申请号:CN201910830182.8
申请日:2019-09-04
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F18/23213 , G06F18/2411 , G06F18/25
Abstract: 本发明涉及一种车联网大数据跨域分析融合方法,其主要技术特点是:建立车联网云数据挖掘架构,该车联网云数据挖掘架构包括分布式数据访问引擎、并行挖掘引擎及代理节点和Web服务器集群;采用车联网数据挖掘算法进行数据挖掘;采用共享内存并行计算技术实现共享内存的并行功能。本发明采用由分布式数据访问引擎、并行挖掘引擎、Web服务器集群及代理节点构成的可支持并行计算的云数据挖掘架构,提高了面向海量数据的支撑能力;通过数据预处理技术、不确定数据预处理技术车联网行业数据处理与融合技术,优化流数据等车联网特有数据的支持;基于车联网流数据的挖掘、分析、聚类技术、行为识别、异常检测等新型数据挖掘算法,提升系统的智能化水平。
-
公开(公告)号:CN115145961B
公开(公告)日:2025-05-16
申请号:CN202210778517.8
申请日:2022-07-01
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/2455 , G06F16/901
Abstract: 本发明涉及一种神通数据库三层缓存段搜索管理结构及页面查找方法,其技术特点是:包括线程级缓存、段搜索全局缓存和物理空间;线程级缓存是一个线程的局部缓存;段搜索全局缓存包括全局缓存结点及全局缓存结点管理的一批空闲页面项,每个缓存结点管理的页面项按照空闲空间档位组织成多级链表;物理空间采用PFS页面进行管理,段内所有PFS页面均为多叉树状结构,一个PFS页面管理若干个数据页面,每个PFS页面记录一批数据页面以及它们的空间空闲值。本发明设计合理,提高了多线程并发查找页面的性能,有效地提高了并发性和吞吐率,解决了每次查找页面时都去访问段的PFS树造成大量I/O以及多个线程并发对PFS树进行搜索时产生的资源竞争的问题。
-
公开(公告)号:CN118331945B
公开(公告)日:2024-11-15
申请号:CN202410502718.4
申请日:2024-04-25
Applicant: 北京星航机电装备有限公司 , 天津神舟通用数据技术有限公司
IPC: G06F16/21 , G06F16/2453 , G06F16/27 , G06F9/445
Abstract: 本申请公开了一种面向航天离散制造的实时非实时数据迁移方法,所述方法包括:对任一数据源,每隔预设周期,确定该数据源的数据表的最新关键属性;其中,所述最新关键属性用于表征最近的预设周期内,该数据源的数据变化情况;确定所述最新关键属性对应的增量数据;将所述增量数据由该数据源迁移到目标地址。
-
公开(公告)号:CN115174452B
公开(公告)日:2024-05-31
申请号:CN202210765191.5
申请日:2022-07-01
Applicant: 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于Oracle数据库协议代理的应用移植方法,其技术特点是:使用TNS协议代理程序对原Oracle网络进行拦截及监听;建立应用与TNS协议代理程序之间的连接、TNS协议代理程序与神通数据库之间的连接以及两个连接的映射关系;应用客户端通过TNS协议代理程序进行认证授权;认证授权后,TNS协议代理程序解析应用客户端发送的数据包并转发给神通数据库处理,神通数据库处理后通过TNS协议代理程序将处理结果发送给Oracle驱动。本发明采用将通信协议翻译转换为与神通数据库之间的协议模式,有效地解决了缺少应用系统源码难以进行移植的问题,并且任何语言开发的应用系统都可以访问神通数据库,提高了开发效率、降低了开发难度、扩大了应用范围。
-
公开(公告)号:CN112099961B
公开(公告)日:2024-02-06
申请号:CN202010993476.5
申请日:2020-09-21
Applicant: 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于锁状态缓存的分布式锁管理器的实现方法,包括步骤1、上层模块调用锁模块,进入锁模块并进行快速加锁;步骤2、检查是否有其他事务已经持有锁,处理锁冲突;步骤3、等待本节点事务放锁;步骤4、向主节点请求加锁,主节点处理加锁请求;步骤5、向持有锁的远程节点请求放锁,从节点处理放锁请求;步骤6、加锁成功,记录加锁信息并返回到上层模块。本发明设计合理,其通过主节点锁管理器和从节点锁状态缓存方式,即可以协调各个节点的加锁请求,保证数据库的一致性,又利用了数据库事务DML操作为主的特性,即节点上的锁状态缓存在大部分情况下都是有效的,有效减少了远程节点的访问开销,提高了加锁效率。
-
公开(公告)号:CN112100190B
公开(公告)日:2023-12-15
申请号:CN202010993803.7
申请日:2020-09-21
Applicant: 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于更新序列的分布式锁状态同步方法,其主要技术特点是:在每个从节点锁对象上设置更新序列,主节点维护各个从节点持有锁状态的记录,并在每个记录上设置更新序列;从节点向主节点发送加锁请求;主节点根据请求节点锁状态进行加锁处理,返回加锁成功消息,或者向当前持有锁的冲突节点发送放锁请求;从节点收根据从节点锁状态进行放锁处理并返回放锁成功消息;主节点检查冲突节点锁状态当前的更新序列,再次尝试加锁处理;从节点检查锁状态当前的更新序列并再次尝试加锁。本发明设计合理,能够有效地维护各个节点之间锁状态的一致性,保证了数据库服务的正常运行,防止数据库服务的中断,提高了系统运行的安全性和可靠性。
-
公开(公告)号:CN112099996A
公开(公告)日:2020-12-18
申请号:CN202010993792.2
申请日:2020-09-21
Applicant: 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于页面更新序号的数据库集群多节点重做日志恢复方法,包括以下步骤:在页面头部分配空间作为页面更新序号;集群中所有的节点在更新数据页面时,更新页面更新序号和本节点的重做日志;重新启动数据库集群,最先启动的节点成为主节点,由主节点进行实例恢复;主节点从共享磁盘加载控制文件,从控制文件中读取每一个节点的重做日志信息作为扫描句柄,保存在扫描句柄数组中;遍历所有的扫描句柄,恢复重做日志;所有扫描句柄已经扫描完毕,重做日志恢复结束。本发明在新增重做日志和在实例恢复时,利用页面更新序号判断页面是否连续,将相同页面在不同节点之间的修改按序恢复,保证数据的一致性,提高了系统运行的可靠性。
-
公开(公告)号:CN110533112A
公开(公告)日:2019-12-03
申请号:CN201910830182.8
申请日:2019-09-04
Applicant: 天津神舟通用数据技术有限公司
IPC: G06K9/62
Abstract: 本发明涉及一种车联网大数据跨域分析融合方法,其主要技术特点是:建立车联网云数据挖掘架构,该车联网云数据挖掘架构包括分布式数据访问引擎、并行挖掘引擎及代理节点和Web服务器集群;采用车联网数据挖掘算法进行数据挖掘;采用共享内存并行计算技术实现共享内存的并行功能。本发明采用由分布式数据访问引擎、并行挖掘引擎、Web服务器集群及代理节点构成的可支持并行计算的云数据挖掘架构,提高了面向海量数据的支撑能力;通过数据预处理技术、不确定数据预处理技术车联网行业数据处理与融合技术,优化流数据等车联网特有数据的支持;基于车联网流数据的挖掘、分析、聚类技术、行为识别、异常检测等新型数据挖掘算法,提升系统的智能化水平。
-
公开(公告)号:CN112100190A
公开(公告)日:2020-12-18
申请号:CN202010993803.7
申请日:2020-09-21
Applicant: 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于更新序列的分布式锁状态同步方法,其主要技术特点是:在每个从节点锁对象上设置更新序列,主节点维护各个从节点持有锁状态的记录,并在每个记录上设置更新序列;从节点向主节点发送加锁请求;主节点根据请求节点锁状态进行加锁处理,返回加锁成功消息,或者向当前持有锁的冲突节点发送放锁请求;从节点收根据从节点锁状态进行放锁处理并返回放锁成功消息;主节点检查冲突节点锁状态当前的更新序列,再次尝试加锁处理;从节点检查锁状态当前的更新序列并再次尝试加锁。本发明设计合理,能够有效地维护各个节点之间锁状态的一致性,保证了数据库服务的正常运行,防止数据库服务的中断,提高了系统运行的安全性和可靠性。
-
公开(公告)号:CN112099961A
公开(公告)日:2020-12-18
申请号:CN202010993476.5
申请日:2020-09-21
Applicant: 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于锁状态缓存的分布式锁管理器的实现方法,包括步骤1、上层模块调用锁模块,进入锁模块并进行快速加锁;步骤2、检查是否有其他事务已经持有锁,处理锁冲突;步骤3、等待本节点事务放锁;步骤4、向主节点请求加锁,主节点处理加锁请求;步骤5、向持有锁的远程节点请求放锁,从节点处理放锁请求;步骤6、加锁成功,记录加锁信息并返回到上层模块。本发明设计合理,其通过主节点锁管理器和从节点锁状态缓存方式,即可以协调各个节点的加锁请求,保证数据库的一致性,又利用了数据库事务DML操作为主的特性,即节点上的锁状态缓存在大部分情况下都是有效的,有效减少了远程节点的访问开销,提高了加锁效率。
-
-
-
-
-
-
-
-
-