-
公开(公告)号：CN117349321B
公开(公告)日：2024-03-05
申请号：CN202311643055.X
申请日：2023-12-04
Applicant: 凯美瑞德(苏州)信息科技股份有限公司 , 西北工业大学太仓长三角研究院
IPC: G06F16/2453 , G06F16/33
Abstract: 本发明公开了一种文档数据库多表连接查询方法及装置，涉及数据处理技术领域。该方法的一具体实施方式包括：基于数据表的连接关系确定连接模式；将上述连接模式中的数据表转换为引用表，采用连接键作为分片键，对上述引用表进行分片；将分片后的引用表分布在分布式集群中的每个节点中；将查询指令分布至上述分布式集群中的节点上，并基于查询指令进行数据查询；汇总上述分布式集群中的每个节点的查询结果，生成总查询结果并进行反馈。该实施方式通过将连接键作为引用表的分片键，具有数值接近的分片键的文档位于相同分片，将分片平均分布至不同的节点中，使得在进行查询时，每个节点只需要对本地的数据进行查询，提高了数据读取效率。
-
Patent Agency Ranking
公开(公告)号：CN117056344B
公开(公告)日：2024-02-20
申请号：CN202311316960.4
申请日：2023-10-12
Applicant: 凯美瑞德(苏州)信息科技股份有限公司 , 西北工业大学太仓长三角研究院
IPC: G06F16/22 , G06F16/242 , G06F16/2457 , G06F16/28
Abstract: 本发明提供了一种对大规模固定连接模式的多表查询的数据建模方法，将数据嵌套入字段中保存，在保证数据完整的前提下，减少数据冗余，同时使用序列化技术将嵌套数据保存为二进制对象，尽可能减少存储空间占用，同时保留大表字段，将小表数据以对象形式存储，方便SQL查询对结果进行筛选。本发明避免了连接宽表中出现的数据冗余问题，减少了建模表占用空间，加快了查询效率。
-
公开(公告)号：CN117312761B
公开(公告)日：2024-03-05
申请号：CN202311597815.8
申请日：2023-11-28
Applicant: 凯美瑞德(苏州)信息科技股份有限公司 , 西北工业大学太仓长三角研究院
IPC: G06F17/18 , G06F16/2458 , G06F16/27
Abstract: 本发明公开了一种数据片段处理时间计算方法及装置，涉及数据处理技术领域。该方法包括：接收数据片段，标识数据片段的处理开始时间；对每个数据片段的数据准备过程进行子任务划分，并基于每个子任务进行数据准备；响应于数据准备完成，确定每个子任务的结束标识数据，并将其他数据作为非结束标识数据；采用统计算子获取目标数据片段的结束标识数据和非结束标识数据，分别计算结束数据量和计算数据量；获取目标数据片段的处理开始时间；基于目标数据片段的结束数据量和计算数据量，以及目标数据片段的处理开始时间，计算目标数据片段的处理时间。该实施方式降低了处理时间计算的复杂性，解决了处理时间计算过程中不同节点的时钟偏差问题。
-
公开(公告)号：CN117056344A
公开(公告)日：2023-11-14
申请号：CN202311316960.4
申请日：2023-10-12
Applicant: 凯美瑞德(苏州)信息科技股份有限公司 , 西北工业大学太仓长三角研究院
IPC: G06F16/22 , G06F16/242 , G06F16/2457 , G06F16/28
Abstract: 本发明提供了一种对大规模固定连接模式的多表查询的数据建模方法，将数据嵌套入字段中保存，在保证数据完整的前提下，减少数据冗余，同时使用序列化技术将嵌套数据保存为二进制对象，尽可能减少存储空间占用，同时保留大表字段，将小表数据以对象形式存储，方便SQL查询对结果进行筛选。本发明避免了连接宽表中出现的数据冗余问题，减少了建模表占用空间，加快了查询效率。
-
公开(公告)号：CN117349321A
公开(公告)日：2024-01-05
申请号：CN202311643055.X
申请日：2023-12-04
Applicant: 凯美瑞德(苏州)信息科技股份有限公司 , 西北工业大学太仓长三角研究院
IPC: G06F16/2453 , G06F16/33
Abstract: 本发明公开了一种文档数据库多表连接查询方法及装置，涉及数据处理技术领域。该方法的一具体实施方式包括：基于数据表的连接关系确定连接模式；将上述连接模式中的数据表转换为引用表，采用连接键作为分片键，对上述引用表进行分片；将分片后的引用表分布在分布式集群中的每个节点中；将查询指令分布至上述分布式集群中的节点上，并基于查询指令进行数据查询；汇总上述分布式集群中的每个节点的查询结果，生成总查询结果并进行反馈。该实施方式通过将连接键作为引用表的分片键，具有数值接近的分片键的文档位于相同分片，将分片平均分布至不同的节点中，使得在进行查询时，每个节点只需要对本地的数据进行查询，提高了数据读取效率。
-
公开(公告)号：CN117312761A
公开(公告)日：2023-12-29
申请号：CN202311597815.8
申请日：2023-11-28
Applicant: 凯美瑞德(苏州)信息科技股份有限公司 , 西北工业大学太仓长三角研究院
IPC: G06F17/18 , G06F16/2458 , G06F16/27
Abstract: 本发明公开了一种数据片段处理时间计算方法及装置，涉及数据处理技术领域。该方法包括：接收数据片段，标识数据片段的处理开始时间；对每个数据片段的数据准备过程进行子任务划分，并基于每个子任务进行数据准备；响应于数据准备完成，确定每个子任务的结束标识数据，并将其他数据作为非结束标识数据；采用统计算子获取目标数据片段的结束标识数据和非结束标识数据，分别计算结束数据量和计算数据量；获取目标数据片段的处理开始时间；基于目标数据片段的结束数据量和计算数据量，以及目标数据片段的处理开始时间，计算目标数据片段的处理时间。该实施方式降低了处理时间计算的复杂性，解决了处理时间计算过程中不同节点的时钟偏差问题。
-
-
-
-
-
Search Results
6
records
(took 0.037 seconds)
