-
公开(公告)号:CN113704724B
公开(公告)日:2022-01-11
申请号:CN202111279611.0
申请日:2021-11-01
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 本发明提供了一种基于Kerberos机制实现数据库登录认证的方法,包括准备认证和动态认证两个阶段,准备认证阶段调取插件,建立Kerberos与数据库间的联系,动态认证阶段客户端将用户名发送到服务端;服务端解析用户名信息,确定否为Kerberos认证方式,若是,则进行标记并将相关认证数据发给客户端;客户端收到认证数据进行客户端身份验证;验证通过后,客户端把服务端的认证主体信息发给KDC,KDC对客户端和服务端均进行身份合法信息认证;客户端通过票据授权服务获取授权票据凭证cred进而发送给服务端;服务端解密cred获得客户端信息,与客户端认证标识进行比较,相同则登录成功,kerberos认证杜绝了登录密码泄露的可能性,并且保证了数据请求方的合法性和数据供给方的合法性。
-
公开(公告)号:CN113704724A
公开(公告)日:2021-11-26
申请号:CN202111279611.0
申请日:2021-11-01
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 本发明提供了一种基于Kerberos机制实现数据库登录认证的方法,包括准备认证和动态认证两个阶段,准备认证阶段调取插件,建立Kerberos与数据库间的联系,动态认证阶段客户端将用户名发送到服务端;服务端解析用户名信息,确定否为Kerberos认证方式,若是,则进行标记并将相关认证数据发给客户端;客户端收到认证数据进行客户端身份验证;验证通过后,客户端把服务端的认证主体信息发给KDC,KDC对客户端和服务端均进行身份合法信息认证;客户端通过票据授权服务获取授权票据凭证cred进而发送给服务端;服务端解密cred获得客户端信息,与客户端认证标识进行比较,相同则登录成功,kerberos认证杜绝了登录密码泄露的可能性,并且保证了数据请求方的合法性和数据供给方的合法性。
-
公开(公告)号:CN113419925A
公开(公告)日:2021-09-21
申请号:CN202110978147.8
申请日:2021-08-25
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 本发明提供了一种对多个分布式MPP集群进行监控报警的监控方法及系统,包括通过分布式监控系统对每个分布式MPP集群进行监控策略设置;采集中心向采集代理模块发送采集信号;采集代理模块根据接收的采集信号进行监控指标采集,将采集的监控指标返回给采集中心模块;采集中心模块根据监控指标的指标值进行告警运算,并判断是否告警;将采集的信息及告警信息保存至资源库模块;监控网站模块获取资源库模块的信息,实现告警信息查看和指标趋势信息查看。本发明所述的方法及系统,能够实现对多个分布式MPP集群进行独立的监控策略设置,并进行集中监控,较只能监控一个集群的监控系统,可以解决多个分布式MPP集群间切换监控时需要跨监控平台进行切换的问题。
-
公开(公告)号:CN112612855A
公开(公告)日:2021-04-06
申请号:CN202011607632.6
申请日:2020-12-29
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F16/27
Abstract: 本发明提供了一种高可用数据库日志同步方法,包括:从节点创建至少一个recv_thread线程进行日志块数据的处理和接收,所述日志块数据是由主节点将日志流数据切分而成的日志块数据,每个日志块数据包括日志首部信息和日志数据;每当recv_thread线程接收到一个日志块数据时,先从日志块数据中提取首部信息,根据首部信息将该日志块数据放置接收队列中;所述日志接收队列为一个指针数组,数组中的每个成员为一个结构指针,每个结构指针指向一个结构head,结构head中有两个链表,分别为顺序链表和失序链表,链表中的每个节点是一个日志块数据。本发明能够有效提高集群中从节点对日志的接收和处理速度,降低主从节点日志同步延迟,提高数据库集群高可用性。
-
公开(公告)号:CN112597251A
公开(公告)日:2021-04-02
申请号:CN202011607549.9
申请日:2020-12-29
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 本发明提供了一种基于RDMA的高可用数据库集群日志同步方法,发送端包括如下步骤:主节点创建日志处理和发送线程,进行日志流数据的切分处理并将切分后的日志块写入管道;主节点创建RDMA发送线程,从管道中读取日志块数据并发送到从节点。本发明采用优选的基于RDMA同步日志数据的方式,能够显著提升日志数据传输速度,降低日志传输的网络延迟,能够减少数据库对单个事务的响应时间,在高并发的场景下,因此能够显著提升数据库的高可用性,提升用户体验。
-
公开(公告)号:CN106372163B
公开(公告)日:2020-12-04
申请号:CN201610777842.7
申请日:2016-08-31
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 本发明提供了一种适用于分布式数据库的数据分发方法及装置,其中,所述方法包括:存在数据分发任务时,对所述数据按照最小存储单位进行拆分;计算拆分的最小存储单位数据的分布目标,并根据所述分布目标向节点分发数据。通过对所述数据按照最小存储单位进行拆分;计算拆分的数据的分布目标,向所述分布目标分发数据。由于将物化继续推迟,保持整个数据计算过程尽可能的不物化或少物化数据,降低磁盘I/O。直到最后按照分布规则拆分时才将数据进行物化。减少了预算工作量和系统负担。
-
公开(公告)号:CN106407309B
公开(公告)日:2020-05-29
申请号:CN201610777843.1
申请日:2016-08-31
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 本发明涉及一种支持多种数据源的集群数据库数据加载工具及方法。其目的是为了提供一种认证快捷、认证方式多样的集群数据库数据加载工具及方。本发明包括加载工具使用接口、加载任务管理模块、加载任务执行模块、读数据模块、数据源访问模块、写数据模块和数据库访问模块。加载工具使用接口用于启动加载任务,并将各个任务的参数传递给加载任务管理模块;加载任务管理模块用于保存、维护和调度所有接收到的加载任务;加载任务执行模块用于负责具体加载任务的执行;读数据模块用于提供统一的读取数据接口;数据源访问模块用于从具体的数据源上读取数据;写数据模块用于提供统一的写数据接口;数据库访问模块用于将接收到的数据加载进集群数据库。
-
公开(公告)号:CN109960573A
公开(公告)日:2019-07-02
申请号:CN201811643211.1
申请日:2018-12-29
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 本发明提出一种基于智能感知的跨域计算任务调度方法及系统,包括:步骤1、基于标签数据训练决策树模型;步骤2、基于相对时间复杂度估算计算任务的执行时间;步骤3、基于资源历史记录和ARIMA算法预测各域的资源变化趋势指标;步骤4、使用资源状态接口获取各个域的资源实时状态指标;步骤5、基于可用带宽估算数据迁移到各个域的迁移时间;步骤6、基于决策树模型和综合指标决策任务最优执行域。本发明创造性地将趋势预测算法和决策树算法综合应用于跨域计算任务调度场景,避免了任务资源抢占现象,解决了调度决策正确率低的问题;通过流式机器学习技术,克服了趋势预测算法和决策树算法的性能问题,大幅缩短了跨域计算任务调度整体时间。
-
公开(公告)号:CN105574433B
公开(公告)日:2019-04-30
申请号:CN201510928877.1
申请日:2015-12-12
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F21/62
Abstract: 本发明提供了一种推理通道保留对象的确定方法及装置,所述方法包括:统计数据对象的使用频率;根据所述使用频率确定最低频率阈值和最高频率阈值;将数据对象的使用频率分别与最低频率阈值和最高频率阈值进行比较,确定低频对象和高频对象;根据低频对象所在的关联组中的对象确定是否为低频对象添加标记;将无标记的低频对象作为保留对象。能够有效避免数据对象的的阻塞攻击。保证了其它用户对于数据库的正常访问。
-
公开(公告)号:CN105512315B
公开(公告)日:2019-04-30
申请号:CN201510932891.9
申请日:2015-12-12
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F16/27
Abstract: 本发明涉及分布式数据库数据存储领域,尤其涉及一种分布式数据库SQL执行中INNER JOIN的智能评估方法。该方法采用贪心方法、动态规划方法和遗传算法3种评估方法相结合的方式选取INNER JOIN的较优执行顺序,尽可能减少INNER JOIN之后的数据量,保证INNER JOIN的高效率执行。本发明可以由用户指定任一种评估方法,提高系统的灵活性和可扩展性。
-
-
-
-
-
-
-
-
-