公开(公告)号：CN117493314A

公开(公告)日：2024-02-02

申请号：CN202311290748.5

申请日：2023-10-08

Applicant: 度小满科技(北京)有限公司

Inventor： 熊雕 ,  许泽灏 ,  杨青

IPC: G06F16/215 ,  G06F16/22

Abstract: 本公开提供一种数据的排序方法和装置，涉及大数据技术领域。该方法的具体实施方式包括：接收一个数据排序请求；其中，数据排序请求包括待排序数据；从待排序数据中随机选取分位定准数据，根据预设的分桶大小，从分位定准数据中确定与待排序数据对应的映射分桶的映射分位值；按照映射分位值，将待排序数据分发至各个映射分桶，得到各个映射分桶对应的桶内数据；对各个所述映射分桶的桶内数据进行排序，确定各条桶内数据的全局序号，响应于数据排序请求，组合全局序号和桶内数据得到排序结果。该实施方式能够低成本得到趋近完全均匀的全局分桶的目标，使得全局排序效率大大提升，缓解节点资源和计算压力，保障数据处理系统的稳定性。

公开(公告)号：CN117112279A

公开(公告)日：2023-11-24

申请号：CN202311088755.7

申请日：2023-08-28

Applicant: 度小满科技(北京)有限公司

Inventor： 张亚周 ,  许泽灏 ,  杨青

IPC: G06F11/07

Abstract: 本公开提供一种数据链路的熔断方法和装置，涉及大数据处理技术领域。该方法的具体实施方式包括：接收一个或多个数据处理请求；对输入数据和目标节点进行数据存在性检测，判断输入数据和业务节点是否符合流通机制的存在性模板；其中，存在性模板和业务节点的节点标识、业务节点的业务类型一一对应；在输入数据、和/或业务节点不符合流通机制的情况下，熔断业务节点之前、或者业务节点与前一节点之间的数据链路。该实施方式能够利用数据存在性检测，保证输入数据的准确性，提升输入质量，避免了异常数据修复回溯计算的成本、异常排查成本、以及依赖于异常数据作出的决策损失和风险，提升数据链路流转的稳定性和可靠性。