公开(公告)号：CN117149885B

公开(公告)日：2024-01-26

申请号：CN202311422024.1

申请日：2023-10-31

Applicant: 天津神舟通用数据技术有限公司

Inventor： 刘碧楠 ,  何清法 ,  周勇亮 ,  李彬 ,  于凯 ,  顾云苏 ,  周丽霞 ,  胡薇 ,  吴嵩

IPC: G06F16/25 ,  G06F16/23 ,  G06F16/242 ,  G06F16/2458 ,  G06F16/27

Abstract: 本发明公开了一种基于数据库主节点转发的读写分离实现方法，包括：步骤1：数据库主节点接收应用程序发送过来的SQL语句；步骤2：对SQL语句进行语法解析和语义分析，获得SQL语句类型以及操作的对象ID；步骤3：判断SQL语句是否为只读操作；步骤4：如果是，将SQL语句发送到从节点执行，等待接收到从节点执行结果后返回客户端；否则，直接在主节点执行SQL语句，将执行结果返回客户端；步骤5：如果不是，在主节点执行SQL语句；记录SQL语句更新的所有对象的ID；事务提交时，将本事务更新过的所有对象ID对应的LSN设置为本事务的提交LSN，供后续只读语句执行到步骤4时使用。因此主数据库可以专注于处理写操作，从而提高了写操作的性能和响应时间。

公开(公告)号：CN117131069B

公开(公告)日：2023-12-22

申请号：CN202311398767.X

申请日：2023-10-26

Applicant: 天津神舟通用数据技术有限公司

Inventor： 李彬 ,  何清法 ,  刘碧楠 ,  周丽霞 ,  马岳 ,  刘爱莉 ,  顾云苏 ,  吴嵩 ,  赵冬伟 ,  胡薇

IPC: G06F16/242 ,  G06F16/22 ,  G06F16/2455

Abstract: 本发明公开一种数据库单表分组扫描方法，包括：步骤S1：在SQL语句中提供分组数量和当前要获取的分组序号；步骤S2：启动分组扫描begin阶段，得到当前页面；步骤S3：启动分组扫描next阶段，从分组扫描获取PFS页面；步骤S4：分组扫描返回有效PFS页面则执行步骤S6，否则执行步骤S5；步骤S5：分组扫描已经结束，结束堆扫描；步骤S6：当前PFS页面是否存在下一个有效范围，是则继续，否则执行步骤S3；步骤S7获取有效范围，解析8个页面上的所有行，并将所有行放到待发送缓冲区；步骤S8将缓冲区中的数据发送给前端，并回到步骤S6。本发明对表中数据进行跳跃式分组访问为并行获取数据库单表数据提供支撑。

公开(公告)号：CN117149885A

公开(公告)日：2023-12-01

申请号：CN202311422024.1

申请日：2023-10-31

Applicant: 天津神舟通用数据技术有限公司

Inventor： 刘碧楠 ,  何清法 ,  周勇亮 ,  李彬 ,  于凯 ,  顾云苏 ,  周丽霞 ,  胡薇 ,  吴嵩

IPC: G06F16/25 ,  G06F16/23 ,  G06F16/242 ,  G06F16/2458 ,  G06F16/27

Abstract: 本发明公开了一种基于数据库主节点转发的读写分离实现方法，包括：步骤1：数据库主节点接收应用程序发送过来的SQL语句；步骤2：对SQL语句进行语法解析和语义分析，获得SQL语句类型以及操作的对象ID；步骤3：判断SQL语句是否为只读操作；步骤4：如果是，将SQL语句发送到从节点执行，等待接收到从节点执行结果后返回客户端；否则，直接在主节点执行SQL语句，将执行结果返回客户端；步骤5：如果不是，在主节点执行SQL语句；记录SQL语句更新的所有对象的ID；事务提交时，将本事务更新过的所有对象ID对应的LSN设置为本事务的提交LSN，供后续只读语句执行到步骤4时使用。因此主数据库可以专注于处理写操作，从而提高了写操作的性能和响应时间。

公开(公告)号：CN117131069A

公开(公告)日：2023-11-28

申请号：CN202311398767.X

申请日：2023-10-26

Applicant: 天津神舟通用数据技术有限公司

Inventor： 李彬 ,  何清法 ,  刘碧楠 ,  周丽霞 ,  马岳 ,  刘爱莉 ,  顾云苏 ,  吴嵩 ,  赵冬伟 ,  胡薇

IPC: G06F16/242 ,  G06F16/22 ,  G06F16/2455

Abstract: 本发明公开一种数据库单表分组扫描方法，包括：步骤S1：在SQL语句中提供分组数量和当前要获取的分组序号；步骤S2：启动分组扫描begin阶段，得到当前页面；步骤S3：启动分组扫描next阶段，从分组扫描获取PFS页面；步骤S4：分组扫描返回有效PFS页面则执行步骤S6，否则执行步骤S5；步骤S5：分组扫描已经结束，结束堆扫描；步骤S6：当前PFS页面是否存在下一个有效范围，是则继续，否则执行步骤S3；步骤S7获取有效范围，解析8个页面上的所有行，并将所有行放到待发送缓冲区；步骤S8将缓冲区中的数据发送给前端，并回到步骤S6。本发明对表中数据进行跳跃式分组访问为并行获取数据库单表数据提供支撑。

公开(公告)号：CN110533112B

公开(公告)日：2023-04-07

申请号：CN201910830182.8

申请日：2019-09-04

Applicant: 天津神舟通用数据技术有限公司

Inventor： 胡美琦 ,  谭炜波 ,  孙磊 ,  蒋旭 ,  陈振巍 ,  吴嵩 ,  李翔 ,  刘碧楠 ,  周丽霞

IPC: G06F18/23213 ,  G06F18/2411 ,  G06F18/25

Abstract: 本发明涉及一种车联网大数据跨域分析融合方法，其主要技术特点是：建立车联网云数据挖掘架构，该车联网云数据挖掘架构包括分布式数据访问引擎、并行挖掘引擎及代理节点和Web服务器集群；采用车联网数据挖掘算法进行数据挖掘；采用共享内存并行计算技术实现共享内存的并行功能。本发明采用由分布式数据访问引擎、并行挖掘引擎、Web服务器集群及代理节点构成的可支持并行计算的云数据挖掘架构，提高了面向海量数据的支撑能力；通过数据预处理技术、不确定数据预处理技术车联网行业数据处理与融合技术，优化流数据等车联网特有数据的支持；基于车联网流数据的挖掘、分析、聚类技术、行为识别、异常检测等新型数据挖掘算法，提升系统的智能化水平。

公开(公告)号：CN102760161A

公开(公告)日：2012-10-31

申请号：CN201210191566.8

申请日：2012-06-12

Applicant: 天津神舟通用数据技术有限公司

Inventor： 徐昶 ,  冯柯 ,  蔡华林 ,  蒋志勇 ,  何清法 ,  周丽霞 ,  顾云苏 ,  曹晖 ,  李阳 ,  饶路

IPC: G06F17/30 ,  G06F11/34

Abstract: 本发明公开了一种按事务聚集的日志组织结构及基于其上的恢复协议，可应用于大型计算机上的事务性数据管理系统。日志文件被顺序组织为若干个日志片，每个日志片存放同一个事务的日志内容，每个日志片保留一份事务号及同事务的前项日志片指针，同个日志片上的日志项所涉及的数据页面号以数组形式存储。系统在运行中，各事务只写自己的日志片，并在事务提交时将日志片写入日志文件。恢复时，通过扫描所有的日志片进行重做，以及回退所有活跃事务的日志片进行回退，使系统恢复到持久的、一致的状态。本发明解决了传统事务性数据管理系统中的写日志并发瓶颈问题，并有效减少了系统日志量。

公开(公告)号：CN117435629A

公开(公告)日：2024-01-23

申请号：CN202311733338.3

申请日：2023-12-18

Applicant: 天津神舟通用数据技术有限公司

Inventor： 张昕尧 ,  何清法 ,  李晓鹏 ,  贾宗秀 ,  刘尧 ,  姬涛涛 ,  周丽霞 ,  吴嵩 ,  胡薇

IPC: G06F16/2455 ,  G06F16/2453 ,  G06F16/28

Abstract: 本发明公开一种数据处理方法、装置、设备及介质，包括：将初始数据划分为若干个行组单元，将由各行组单元按列压缩得到的各压缩单元进行存储；行组单元包含初始数据中的多行数据，压缩单元所包含数据通过压缩单元所对应的索引项表示；若压缩单元中的数据需要更新，则将发生更新的各行数据按行存储形式存储到该压缩单元对应的更新数据单元；根据数据查询指令确定待查询的数据列；根据压缩单元对应的索引项确定压缩单元是否可过滤；若存在与压缩单元对应的更新数据单元，根据压缩单元的过滤情况或压缩单元中待查询的数据列是否发生过更新，确定压缩单元对应的更新数据单元是否可过滤；从不可过滤的压缩单元和不可过滤的更新数据单元中查询目标数据。

公开(公告)号：CN102752372A

公开(公告)日：2012-10-24

申请号：CN201210199980.3

申请日：2012-06-18

Applicant: 天津神舟通用数据技术有限公司

Inventor： 孙鹏 ,  蒋志勇 ,  蒋旭 ,  谢卫平 ,  周丽霞 ,  赵殿魁 ,  关刚 ,  王效忠 ,  周宇 ,  饶路

IPC: H04L29/08 ,  G06F17/30

Abstract: 本发明涉及一种基于文件的数据库同步方法，其主要技术特点是：采用在源端数据库安装数据同步工具组件，并且在目标端数据库安装ETL服务组件，ETL服务组件与数据同步工具组件之间通过协议控制并以文件方式从源端数据库向目标端数据库进行同步。本发明设计合理，以文件方式快速地从源端数据库向目标端数据库进行数据库同步，能高效地保存所要同步的数据库数据，并且在异构数据库和操作系统环境中，均能解析文件进行数据的同步操作，从而支持向多种异构数据库进行同步的特性，同时，采用全量同步和增量同步方法，提高了数据库同步效率。

公开(公告)号：CN102737132A

公开(公告)日：2012-10-17

申请号：CN201210209362.2

申请日：2012-06-25

Applicant: 天津神舟通用数据技术有限公司

Inventor： 曹晖 ,  冯柯 ,  毛云青 ,  何清法 ,  周丽霞 ,  蒋志勇 ,  赵殿奎 ,  关刚 ,  王效忠 ,  李海峰

IPC: G06F17/30

Abstract: 本发明公开了一种基于数据库行列混合存储的多规则复合压缩方法。结合当前软硬件发展趋势以及数据库业界所面临的严重性能瓶颈，提出了将数据库内数据按元组行组织、按属性列压缩的混合存储压缩模式，既具备了列存储高压缩率的特性同时兼具行存储便于随机定位访问的优点。同时针对不同的数据分布特点提出了多种属性列内的规则编码方法，尤其针对数据库单表内各属性列间可能存在的关系提出了列间压缩规则，结合后端的通用压缩算法，能够高效的为上层数据库应用提供多级别的复合压缩功能，并保证在指定压缩率条件下最大化编解码速度。

公开(公告)号：CN102054050A

公开(公告)日：2011-05-11

申请号：CN201110033362.7

申请日：2011-01-30

Applicant: 天津神舟通用数据技术有限公司

Inventor： 谢卫平 ,  何清法 ,  顾云苏 ,  冯柯 ,  蒋志勇 ,  周丽霞 ,  尚博 ,  孙鹏 ,  胡秀龙 ,  彭贺

IPC: G06F17/30

Abstract: 本发明涉及一种神通数据库的包机制的实现方法，包括包的创建方法、包的执行方法、包的编译方法和包的删除方法，通过包的创建、包的执行、包的编译和包的删除处理对包的系统表、包管理器和包实例进行管理，从而在神通数据库上实现包机制的功能。本发明实现了神通数据库与基于Oracle开发的应用程序的无缝对接功能，通过将复杂的应用逻辑转化为神通数据库服务器上的包，可以大大减少网络上数据的传输，降低应用开发的工作量，提高了神通数据库的执行效率。