-
公开(公告)号：CN118377586B
公开(公告)日：2024-11-29
申请号：CN202410394444.1
申请日：2024-04-02
Applicant: 国家计算机网络与信息安全管理中心 , 长安通信科技有限责任公司 , 中国科学院软件研究所
IPC: G06F9/46 , G06F9/50 , G06F16/2453
Abstract: 本发明涉及大数据技术领域，公开了一种面向SQL任务进行流量合并和计算合并的优化方法，首先在Client端一次提交多个任务，Server端执行Client提交的多个任务；在Server端对相同类型的多个实时SQL任务，对其进行解析出Source、Rule、Sink的标注结构，具体通过Json语法解析或SQL语法解析Rule参数，解析出SQL语句，输入输出信息和优化选项；解析出的多个实时SQL语句的信息均为SELECT WHERE格式，多个实时SQL任务语句中的WHERE条件部分包含的表达式均为可以进行优化的表达式然后对Source部分进行判断；判断多个实时SQL的Source的Topic是否相同；是则对多个SQL任务进行合并。本发明对于配置了相同计算资源的Server，仅考虑计算资源的情况下，可以实现支撑实时SQL任务数的多倍提升。
-
公开(公告)号：CN118363980B
公开(公告)日：2024-09-24
申请号：CN202410788650.0
申请日：2024-06-19
Applicant: 长安通信科技有限责任公司 , 国家计算机网络与信息安全管理中心
IPC: G06F16/242 , G06F16/22 , G06F16/28 , G06F18/22 , G06F18/23
Abstract: 本发明涉及数据处理技术领域，具体涉及一种SQL语句智能合并方法及系统，包括：获取历史数据库中分句向量和合句向量，待合并的SQL分句；将分句作为底层根据每任意两个合句向量之间的相似情况，构建预测树结构，并构建层次聚类树；根据预测树结构与层次聚类树中节点之间的匹配关系确定最优聚类层；对最优聚类层中聚类簇进行特征提取获得每个聚类簇的特征向量；根据特征向量之间的相似情况进行特征匹配的结果，并进行特征合并，确定合并特征向量；根据待合并的SQL分句与合并特征向量之间的特征匹配情况，计算待合并的SQL分句之间的合并概率；基于合并概率对待合并的SQL分句进行合并。本发明可以获得精度更好的SQL语句合并结果。
-
公开(公告)号：CN118363980A
公开(公告)日：2024-07-19
申请号：CN202410788650.0
申请日：2024-06-19
Applicant: 长安通信科技有限责任公司 , 国家计算机网络与信息安全管理中心
IPC: G06F16/242 , G06F16/22 , G06F16/28 , G06F18/22 , G06F18/23
Abstract: 本发明涉及数据处理技术领域，具体涉及一种SQL语句智能合并方法及系统，包括：获取历史数据库中分句向量和合句向量，待合并的SQL分句；将分句作为底层根据每任意两个合句向量之间的相似情况，构建预测树结构，并构建层次聚类树；根据预测树结构与层次聚类树中节点之间的匹配关系确定最优聚类层；对最优聚类层中聚类簇进行特征提取获得每个聚类簇的特征向量；根据特征向量之间的相似情况进行特征匹配的结果，并进行特征合并，确定合并特征向量；根据待合并的SQL分句与合并特征向量之间的特征匹配情况，计算待合并的SQL分句之间的合并概率；基于合并概率对待合并的SQL分句进行合并。本发明可以获得精度更好的SQL语句合并结果。
-
公开(公告)号：CN118377586A
公开(公告)日：2024-07-23
申请号：CN202410394444.1
申请日：2024-04-02
Applicant: 国家计算机网络与信息安全管理中心 , 长安通信科技有限责任公司 , 中国科学院软件研究所
IPC: G06F9/46 , G06F9/50 , G06F16/2453
Abstract: 本发明涉及大数据技术领域，公开了一种面向SQL任务进行流量合并和计算合并的优化方法，首先在Client端一次提交多个任务，Server端执行Client提交的多个任务；在Server端对相同类型的多个实时SQL任务，对其进行解析出Source、Rule、Sink的标注结构，具体通过Json语法解析或SQL语法解析Rule参数，解析出SQL语句，输入输出信息和优化选项；解析出的多个实时SQL语句的信息均为SELECT WHERE格式，多个实时SQL任务语句中的WHERE条件部分包含的表达式均为可以进行优化的表达式然后对Source部分进行判断；判断多个实时SQL的Source的Topic是否相同；是则对多个SQL任务进行合并。本发明对于配置了相同计算资源的Server，仅考虑计算资源的情况下，可以实现支撑实时SQL任务数的多倍提升。
-
-
-
Search Results
4
records
(took 0.056 seconds)
