-
公开(公告)号:CN111782663A
公开(公告)日:2020-10-16
申请号:CN202010752340.5
申请日:2020-07-30
Applicant: 浙江邦盛科技有限公司
IPC: G06F16/22 , G06F16/23 , G06F16/2455 , G06F16/28
Abstract: 本发明公开了一种提升聚合查询效率的聚合索引结构及聚合索引方法,所述聚合索引通过分组和切片两个维度对流水数据进行划分,然后对划分后的数据进行聚合,其结构包括索引元数据、切片数据列表和明细数据存储;聚合索引方法包括聚合索引定义、聚合索引创建、和聚合索引查询三个部分。本发明提出的聚合索引结构和方法能够极大提升聚合查询的效率,支持PB级别数据的即席聚合查询,能在秒级完成对大量数据的聚合查询,支持新数据的随时插入,在查询范围条件发生变更的情况下,也能在分钟级甚至秒级延时内返回查询结果。
-
公开(公告)号:CN111522846A
公开(公告)日:2020-08-11
申请号:CN202010273950.7
申请日:2020-04-09
Applicant: 浙江邦盛科技有限公司
IPC: G06F16/2455 , G06F16/2458
Abstract: 本发明公开了一种基于时序中间态数据结构的数据聚合方法,时序中间态数据结构包括主键、特征键和数据;主键用于关联业务系统中一个特定的业务对象,对数据的存储和计算进行负载均衡,特征键用于描述特定业务对象的特征名称,数据为业务系统中的事件经过特征计算系统处理后形成的数值及其计算方法,用于时序中间态数据合并操作时计算中间结果。数据聚合方法基于时序中间态数据结构,通过将事件转换成若干条中间态数据,存储至对应的缓存队列中,再根据中间态数据的主键、特征键以及时间戳对中间态数据进行合并,最后存储进到存数据库中。本发明方法能够减少系统的IO负载,减少并合理分配系统的计算负载。
-
公开(公告)号:CN109726237B
公开(公告)日:2020-02-07
申请号:CN201811528553.9
申请日:2018-12-13
Applicant: 浙江邦盛科技有限公司
IPC: G06F16/25 , G06F16/215
Abstract: 本发明公开了一种针对多路实时流数据的关联补全方法,该方法是在数据实时流动的过程中将待关联补全的辅数据暂存至外部KV存储,关联主键为Key,待补全的数据为Value。在主数据流动过程中通过关联匹配的Key从KV存储中获取辅数据进行补全。本发明适用于解决现有技术无法同时保证高质量、高效率实时关联数据的问题,是一种高效的数据关联补全方法,能够提升数据获取效率及质量,更好的支撑业务需求。
-
公开(公告)号:CN109726237A
公开(公告)日:2019-05-07
申请号:CN201811528553.9
申请日:2018-12-13
Applicant: 浙江邦盛科技有限公司
IPC: G06F16/25 , G06F16/215
Abstract: 本发明公开了一种针对多路实时流数据的关联补全方法,该方法是在数据实时流动的过程中将待关联补全的辅数据暂存至外部KV存储,关联主键为Key,待补全的数据为Value。在主数据流动过程中通过关联匹配的Key从KV存储中获取辅数据进行补全。本发明适用于解决现有技术无法同时保证高质量、高效率实时关联数据的问题,是一种高效的数据关联补全方法,能够提升数据获取效率及质量,更好的支撑业务需求。
-
公开(公告)号:CN110008544B
公开(公告)日:2020-07-03
申请号:CN201910219684.7
申请日:2019-03-21
Applicant: 浙江邦盛科技有限公司
IPC: G06F16/2455 , G06F16/245
Abstract: 本发明公开了一种查询时序数据递增次数与递减次数的处理方法,本发明预先对数据序列分组,然后计算每个分组的累计递增与递减次数、首元素、尾元素,把中间结果存储在相应时间戳上,查询时根据指定的时间戳快速得到计算结果;首先,中间结果的存储位置灵活多变,满足各种场景的需求;由于存储结果是计算后的中间结果,内存耗费降低,存储效率很高,因为已经提前计算好了中间结果,所以在获取对应的递增次数与递减次数时响应速度极快;最为重要的是,这部分结果跟着系统时间移动而不断变化,能够达到所需的递增次数与递减次数随时间窗口平滑移动的目的。本发明适用于时序数据处理技术等数据分析领域,能够显著提升统计递增次数与递减次数的速度。
-
公开(公告)号:CN109978170B
公开(公告)日:2020-04-28
申请号:CN201910164816.0
申请日:2019-03-05
Applicant: 浙江邦盛科技有限公司
IPC: G06N7/00
Abstract: 本发明公开了一种基于多要素的移动设备识别方法,包括:创建移动设备要素模型,移动设备要素模型保存设备要素名称、设备要素值及设备要素置信度;对高于置信度阈值的要素称为决策要素;对待识别的设备创建移动设备要素模型,并选取决策要素;在已识别的设备中,查找与决策要素名称相同且设备要素值相同的所有设备要素,之后将属于同一个移动设备的设备要素作为一组,多组数据构成临时集合,根据公式计算最终偏置信度,若最终置信度大于等于设定的最终置信度阈值,则认为待识别的移动设备与最终置信度对应的移动设备为相同设备;否则认为是新设备。本发明可以关联多个要素同时进行分析,准确辨别设备。
-
公开(公告)号:CN107545360A
公开(公告)日:2018-01-05
申请号:CN201710633149.7
申请日:2017-07-28
Applicant: 浙江邦盛科技有限公司
Abstract: 本发明公开了一种基于决策树的风控智能规则导出方法及系统,本发明根据特征的重要性,对其巨量特征进行排序,筛选出重要特征,基于这些特征建立不同深度的决策树,然后使用设定好的阈值对决策树进行筛选,最后根据筛选后的决策树导出规则。本发明方法能够保证业务系统的正常运营情况下,根据不同特征数目分层导出规则,最大限度地侦测出欺诈行为。相比于人为制定规则的风控系统,本发明系统更加稳定、智能并且智能规则效率更高,让企业的损失降到最低。尤其是在业务复杂、数据量庞大的系统中,这种优势越发明显。
-
公开(公告)号:CN113268545B
公开(公告)日:2022-05-17
申请号:CN202110619958.9
申请日:2021-06-03
Applicant: 浙江邦盛科技有限公司
Abstract: 本发明公开了一种增量合并与全量相结合的集群节点间键值数据异步复制方法,该处理方法主要分为五个部分:键值数据复制操作类型的定义、键值对修改请求的合并、增量数据的复制、全量复制的探测和全量复制。本发明键值数据异步复制方法使用异步复制机制保证了数据复制的高吞吐和低延迟,使用版本号进度追踪的机制探测是否需要执行全量复制,并使用请求合并和全量复制的机制降低数据复制带来的网络带宽开销,默认情况下为增量复制,即复制合并后的指标修改请求,但当备节点数据新旧程度远远落后于主节点,主节点会触发全量复制,将本地保存的数据复制到备节点上,从而降低了追赶时间。
-
公开(公告)号:CN108681936B
公开(公告)日:2021-11-02
申请号:CN201810382121.5
申请日:2018-04-26
Applicant: 浙江邦盛科技有限公司
IPC: G06Q30/06 , G06F16/2458
Abstract: 本发明公开了一种基于模块度和平衡标签传播的欺诈团伙识别方法,包括:利用ID特征结合用户自身已知的欺诈标识,对所有用户计算两两相似度,建立相似度矩阵,通过相似度矩阵建立关联图;对建立的图运行Louvain算法得出每个节点所属的社区及层级信息;以每个节点所属的社区、层级信息及欺诈标识作为每个节点初始的社区信息,运行平衡标签传播过程得到每个节点最终所属社区,再根据是否归属共同社区划分网络,根据传播获得的欺诈标识划分欺诈团伙。本发明首次将基于模块度和平衡标签传播的欺诈团伙识别方法应用到申请反欺诈和交易反欺诈领域,利用交易关联等信息构建关联图谱,综合社团模块度信息,利用平衡标签传播算法检测欺诈社团,防范潜在欺诈交易。
-
公开(公告)号:CN112818039A
公开(公告)日:2021-05-18
申请号:CN202110158646.2
申请日:2021-02-04
Applicant: 浙江邦盛科技有限公司
IPC: G06F16/2458 , G06F16/2453 , G06F16/23
Abstract: 本发明公开了一种解决乱序事件和晚到数据的精准窗口处理方法。该方法采用精准窗口记录原始业务流水数据,可以通过时间窗口的长度和不同流水个数这两种方式,实现对乱序和晚到数据的更新以及业务流水数据的查询;本发明提供的解决乱序事件和晚到数据的精准窗口处理方法主要分为三个部分:精准窗口的创建、精准窗口的更新以及基于精准窗口对时序数据的查询。本发明提出的解决乱序事件和晚到数据的精准窗口处理方法可保留用户自定义的最近时间范围或者最近几笔的原始有序流水数据,并且实现数据的动态更新,同时也能达到毫秒级的查询延时。
-
-
-
-
-
-
-
-
-