-
公开(公告)号:CN117312761B
公开(公告)日:2024-03-05
申请号:CN202311597815.8
申请日:2023-11-28
Applicant: 凯美瑞德(苏州)信息科技股份有限公司 , 西北工业大学太仓长三角研究院
IPC: G06F17/18 , G06F16/2458 , G06F16/27
Abstract: 本发明公开了一种数据片段处理时间计算方法及装置,涉及数据处理技术领域。该方法包括:接收数据片段,标识数据片段的处理开始时间;对每个数据片段的数据准备过程进行子任务划分,并基于每个子任务进行数据准备;响应于数据准备完成,确定每个子任务的结束标识数据,并将其他数据作为非结束标识数据;采用统计算子获取目标数据片段的结束标识数据和非结束标识数据,分别计算结束数据量和计算数据量;获取目标数据片段的处理开始时间;基于目标数据片段的结束数据量和计算数据量,以及目标数据片段的处理开始时间,计算目标数据片段的处理时间。该实施方式降低了处理时间计算的复杂性,解决了处理时间计算过程中不同节点的时钟偏差问题。
-
公开(公告)号:CN117056344A
公开(公告)日:2023-11-14
申请号:CN202311316960.4
申请日:2023-10-12
Applicant: 凯美瑞德(苏州)信息科技股份有限公司 , 西北工业大学太仓长三角研究院
IPC: G06F16/22 , G06F16/242 , G06F16/2457 , G06F16/28
Abstract: 本发明提供了一种对大规模固定连接模式的多表查询的数据建模方法,将数据嵌套入字段中保存,在保证数据完整的前提下,减少数据冗余,同时使用序列化技术将嵌套数据保存为二进制对象,尽可能减少存储空间占用,同时保留大表字段,将小表数据以对象形式存储,方便SQL查询对结果进行筛选。本发明避免了连接宽表中出现的数据冗余问题,减少了建模表占用空间,加快了查询效率。
-
公开(公告)号:CN118643031B
公开(公告)日:2024-12-17
申请号:CN202411075724.2
申请日:2024-08-07
Applicant: 凯美瑞德(苏州)信息科技股份有限公司
IPC: G06F16/215 , G06F16/2458 , G06Q40/00
Abstract: 本发明公开了一种金融数据处理方法、装置、电子设备及处理介质,涉及金融科技技术领域。该方法的一具体实施方式包括:能够获取待处理的金融数据的到达时间戳以及获取当前数据窗口;在确定所述到达时间戳超出所述时间范围的情况下,为所述待处理的金融数据构建新的目标数据窗口;所述目标数据窗口与所述当前数据窗口为时间连续;在所述目标数据窗口内处理所述金融数据。本发明的实施例通过自适应地调整数据窗口以及构建时间连续的数据窗口,克服了基于现有方法构建的数据窗口接收和处理金融数据产生数据丢失或者数据异常的问题;提高了金融数据处理的完整性和可靠性。
-
公开(公告)号:CN118643031A
公开(公告)日:2024-09-13
申请号:CN202411075724.2
申请日:2024-08-07
Applicant: 凯美瑞德(苏州)信息科技股份有限公司
IPC: G06F16/215 , G06F16/2458 , G06Q40/00
Abstract: 本发明公开了一种金融数据处理方法、装置、电子设备及处理介质,涉及金融科技技术领域。该方法的一具体实施方式包括:能够获取待处理的金融数据的到达时间戳以及获取当前数据窗口;在确定所述到达时间戳超出所述时间范围的情况下,为所述待处理的金融数据构建新的目标数据窗口;所述目标数据窗口与所述当前数据窗口为时间连续;在所述目标数据窗口内处理所述金融数据。本发明的实施例通过自适应地调整数据窗口以及构建时间连续的数据窗口,克服了基于现有方法构建的数据窗口接收和处理金融数据产生数据丢失或者数据异常的问题;提高了金融数据处理的完整性和可靠性。
-
-
-