-
公开(公告)号:CN118211110A
公开(公告)日:2024-06-18
申请号:CN202410254680.3
申请日:2024-03-06
Applicant: 中移动信息技术有限公司 , 中国移动通信集团有限公司
IPC: G06F18/241 , G06F18/214
Abstract: 本申请提供了一种出行方式的识别方法、装置、设备、介质及产品,通过获取多个用户的历史信令数据,历史信令数据包括用户在预设时间内经过的多个基站的基站序列;对于每一用户的历史信令数据,基于基站序列和预设出行规则之间的关联关系,从历史信令数据中提取目标特征集,目标特征集包括多个出行特征;基于每一用户的历史信令数据对应的目标特征组,对预设基础组合模型进行训练,得到目标分类模型,预设基础组合模型包括多个子基础模型;根据目标分类模型,对用户的目标信令数据进行识别,得到用户的目标出行方式。本申请实施例能够提高识别出行方式的准确率。
-
公开(公告)号:CN115840634B
公开(公告)日:2023-06-30
申请号:CN202310160242.6
申请日:2023-02-24
Applicant: 中移动信息技术有限公司 , 中国移动通信集团有限公司
Abstract: 本公开实施例公开了一种业务执行方法、装置、设备及存储介质,其中,所述方法包括:从预设服务网络中的数据生产端获取待处理业务;服务网络包括数据中心集群和至少两个数据生产端,待处理业务携带业务参数;基于业务参数,确定待处理业务的业务类型;确定与业务类型匹配的初始执行模式;在初始执行模式表征为整体执行的情况下,基于业务参数,对待处理业务进行优化处理,得到优化结果;基于优化结果,确定待处理业务的目标执行模式。本公开实施例可以降低数据生产端业务执行时延,提升业务成功率。
-
公开(公告)号:CN115373889A
公开(公告)日:2022-11-22
申请号:CN202110546602.7
申请日:2021-05-19
Applicant: 中移动信息技术有限公司 , 中国移动通信集团有限公司
Abstract: 本发明提供了一种数据同步中的数据比对校验及数据修复的方法及装置,包括:对源端数据库t1时刻的全量数据CRC校验码和目标端数据库t1时刻的全量数据CRC校验码进行对比;若对比结果不一致,则确定差异数据集,并生成第一数据集;获取目标端数据库中的差异数据集未执行的交易命令集合;基于目标端数据库中的差异数据集未执行的交易命令集合在目标端数据库中的差异数据集生成第一数据集上执行生成第二数据集;对源端数据库中的差异数据集和第二数据集进行对比;若对比结果不一致,则进行数据修复,本发明适用于静态数据比对场景、动态数据比对场景、同构数据同步场景、异构数据同步场景、全量数据比对校验场景及单独比对校验场景,实用性非常广泛。
-
公开(公告)号:CN117009139A
公开(公告)日:2023-11-07
申请号:CN202310884253.9
申请日:2023-07-18
Applicant: 中移动信息技术有限公司 , 中国移动通信集团有限公司
IPC: G06F11/14 , G06F16/2455
Abstract: 本发明涉及数据处理技术领域,尤其涉及一种数据流计算异常恢复方法、装置、设备及存储介质。本发明通过确定流计算异常时的异常算子和相邻算子,并调用异常算子对应的目标算子,以目标算子代替异常算子建立与相邻算子之间的连接,保证整体数据处理可执行性,同时通过相邻数字读取预写式日志中的重放点数据,下发重放点数据至目标算子,从而目标算子可以根据重放点数据进行流计算,完成异常流计算结果的重新计算,而重新计算所有的数据,避免了现有技术中基于flink的实时数据流计算异常时,重新计算的效率较低的技术问题,减少流计算异常恢复的周期。
-
公开(公告)号:CN116644412A
公开(公告)日:2023-08-25
申请号:CN202211738550.4
申请日:2022-12-30
Applicant: 中移动信息技术有限公司 , 中国移动通信集团有限公司
IPC: G06F21/53 , G06F16/176 , G06F16/23
Abstract: 本申请公开了一种基于分支的数据处理方法、装置、电子设备和存储介质,该方法包括:获取数据集中待操作的分支的分支名称;其中,对数据集的基线数据执行一个或多个改变后,得到的不同的数据集的分支被存储在对应的数据沙箱中,数据集的分支包括待操作的分支;根据分支名称,在数据集的分支清单中定位目标分支对象;从目标分支对象中获取待操作的分支对应的快照标识;对快照标识所指的快照执行数据操作。本申请同时还公开了一种基于分支的数据处理装置、电子设备和存储介质。本申请提供的基于分支的数据处理方法,针对不同数据沙箱之间的操作相互隔离,且数据沙箱无需复制现有的数据集,从而可以控制数据存储成本。
-
公开(公告)号:CN115840634A
公开(公告)日:2023-03-24
申请号:CN202310160242.6
申请日:2023-02-24
Applicant: 中移动信息技术有限公司 , 中国移动通信集团有限公司
Abstract: 本公开实施例公开了一种业务执行方法、装置、设备及存储介质,其中,所述方法包括:从预设服务网络中的数据生产端获取待处理业务;服务网络包括数据中心集群和至少两个数据生产端,待处理业务携带业务参数;基于业务参数,确定待处理业务的业务类型;确定与业务类型匹配的初始执行模式;在初始执行模式表征为整体执行的情况下,基于业务参数,对待处理业务进行优化处理,得到优化结果;基于优化结果,确定待处理业务的目标执行模式。本公开实施例可以降低数据生产端业务执行时延,提升业务成功率。
-
公开(公告)号:CN115408431A
公开(公告)日:2022-11-29
申请号:CN202110606750.3
申请日:2021-05-27
Applicant: 中移动信息技术有限公司 , 中国移动通信集团有限公司
IPC: G06F16/2455 , G06F16/27
Abstract: 本发明提供一种数据访问方法、装置、电子设备和存储介质,其中方法包括:接收读数据请求;基于所述读数据请求,查询分布式数据库中的数据缓存;所述数据缓存保存在所述分布式数据库中当前处理所述读数据请求的主执行器中;若所述数据缓存命中,则返回所述数据缓存中命中的所述读数据请求对应的数据;否则,基于所述读数据请求,读取所述分布式数据库的存储子系统,并返回读取结果。本发明通过在分布式数据库的主执行器内部设置数据缓存,然后基于当前处理的读数据请求,查询该数据缓存,在数据缓存命中时,直接读取数据缓存中的相应数据,否则才访问存储子系统,可以避免跨网络读取操作和磁盘I/O操作,避免了磁盘的I/O开销和网络开销。
-
公开(公告)号:CN116775699A
公开(公告)日:2023-09-19
申请号:CN202210237132.0
申请日:2022-03-11
Applicant: 中移动信息技术有限公司 , 中国移动通信集团有限公司
IPC: G06F16/2455 , G06F16/242 , G06F16/22 , G06F16/2458 , G06F3/06
Abstract: 本申请提供一种批流一体化数据处理系统及方法,涉及数据处理技术领域;所述系统包括:内存抽象模块,用于根据数据计算模式对序列化后的内存数据进行内存管理;序列化与反序列化模块,用于进行数据对象和内存数据的相互转换;SQL代码生成模块,用于根据数据计算模式将待处理内存数据生成基于Pax存储结构的向量式SQL执行代码;算子模块,用于采用基于Pax存储结构的数据处理模式,执行向量式SQL执行代码,以对待处理内存数据进行数据处理。本申请能够有效兼顾流计算和批处理两种计算模式,保留了流处理的低延迟性能,并提供更高的批处理吞吐能力,同时优化了窗口计算的效率,提高了特定窗口统计场景的计算性能。
-
公开(公告)号:CN115878513B
公开(公告)日:2023-08-15
申请号:CN202310143690.5
申请日:2023-02-21
Applicant: 中移动信息技术有限公司 , 中国移动通信集团有限公司
IPC: G06F12/126 , G06F12/0868 , G06F16/172
Abstract: 本申请实施例公开了一种数据存储和数据查询方法、装置、设备及存储介质,其中,所述数据存储方法包括:获取分布式缓存系统中目标数据的数据热度;所述目标数据在所述分布式缓存系统中存储有多个数据副本,所述分布式缓存系统包括存储集群和第一缓存集群;基于所述数据热度,将所述多个数据副本中的目标数据副本在所述第一缓存集群和所述存储集群之间动态迁移;所述多个数据副本中的其他数据副本持久化存储于所述存储集群。
-
公开(公告)号:CN115842744B
公开(公告)日:2023-07-14
申请号:CN202310140237.9
申请日:2023-02-21
Applicant: 中移动信息技术有限公司 , 中国移动通信集团有限公司
IPC: H04L41/5041 , H04L41/0895 , H04L41/0896 , H04L41/12
Abstract: 本公开实施例公开了一种节点部署方法、装置、设备及存储介质,其中,所述方法包括:获取待部署的服务功能节点集合和物理节点集合;基于每一服务功能节点所对应的执行时长和各服务功能节点之间的传输效率,确定服务功能节点集合所对应的第一加权图;基于每一物理节点所对应的剩余资源量和各物理节点之间的剩余带宽,确定物理节点集合所对应的第二加权图;基于第一加权图和第二加权图,确定各服务功能节点与各物理节点之间的映射关系;其中,映射关系用于将各服务功能节点部署至对应的物理节点。本公开实施例可以服务功能节点带的提高部署效率和部署精度。
-
-
-
-
-
-
-
-
-