-
公开(公告)号:CN116737349A
公开(公告)日:2023-09-12
申请号:CN202311029714.0
申请日:2023-08-16
Applicant: 中国移动紫金(江苏)创新研究院有限公司
IPC: G06F9/48 , G06F9/50 , G06F9/54 , H04L67/566 , G06F18/231 , G06F18/2337
Abstract: 本发明提供了一种流式数据处理方法、系统及存储介质,属于大数据处理领域。包括如下步骤:监听多条数据源,对于处于激活状态的采集任务,将数据推送到消息队列中;根据消息队列中的数据,判断所需的输入数据是否可用,将计算任务划分成多个独立或并行执行的子计算任务;根据子计算任务,将每个计算任务定义一个或多个输入数据包和输出数据包;判断当前已启动的子计算任务是否完成:一旦某个子计算任务完成,则向资源调度模块发送通知,接收到通知后,回收已完成的子计算任务所占用的内存资源。本发明提出的方法在数据安全性、权限管理、复杂流任务处理、容错能力以及处理速度等方面相比现有技术具有显著优势。
-
公开(公告)号:CN119629130A
公开(公告)日:2025-03-14
申请号:CN202411661343.2
申请日:2024-11-19
Applicant: 中国移动紫金(江苏)创新研究院有限公司 , 中国移动通信集团江苏有限公司 , 中国移动通信集团有限公司
IPC: H04L47/25 , H04L47/263
Abstract: 本申请公开了一种数据治理系统的调节方法、设备、介质及产品,涉及大数据技术领域,在本申请中数据治理系统中的每个功能节点都会对自身接收任务数据的输入速率进行监测,并在输入速率超过功能节点对应的速率阈值的情况下,触发向相关节点发送对应的反压信号,以降低相关节点的数据发送速率,进而降低自身的负载,避免自身处于高负载的状态。可以理解的是,由于本申请实施例中的每个功能节点都可以自适应向相关节点发送压力信号,故提高了数据治理系统的调节颗粒度,提升了调节的灵活性,故即便是在面对突增的数据量,也可以较好的应对不出问题,从而保证了数据治理系统的鲁棒性。
-
公开(公告)号:CN119011589A
公开(公告)日:2024-11-22
申请号:CN202411175024.0
申请日:2024-08-23
Applicant: 中国移动紫金(江苏)创新研究院有限公司 , 中国移动通信集团江苏有限公司 , 中国移动通信集团有限公司
IPC: H04L67/1008 , H04L67/1023 , H04L67/60
Abstract: 本申请公开了一种内容分发网络节点调度方法、电子设备、介质及程序产品,涉及网络通信技术领域,内容分发网络节点调度方法包括:当接收到用户请求信息时,根据用户请求信息的位置信息在预设的三维映射图中确定对应的节点集合,其中,三维映射图中包括内容分发网络中各节点的位置信息与性能评分之间的对应关系;将用户请求信息的哈希值和节点集合输入到预设的节点调度模型中,由节点调度模型预测输出所述用户请求信息对应的目标节点;通过目标节点响应用户请求信息。本申请的技术方案利用了节点地理位置信息和实时性能状况来确定目标节点,有效提高了节点选择的效率和准确性,降低了用户请求和访问的延迟。
-
公开(公告)号:CN119006029A
公开(公告)日:2024-11-22
申请号:CN202411170267.5
申请日:2024-08-23
Applicant: 中国移动紫金(江苏)创新研究院有限公司 , 中国移动通信集团江苏有限公司 , 中国移动通信集团有限公司
IPC: G06Q30/0201 , G06F18/213 , G06F18/26 , G06F18/10 , G06F18/22 , G06Q30/0202
Abstract: 本申请公开了一种基于多源数据的用户画像构建方法、设备、介质及产品,涉及大数据技术领域,基于多源数据的用户画像构建方法包括:采集目标群体的流量数据、通话数据、短信数据、位置数据以及终端设备数据;根据流量数据、通话数据、短信数据、位置数据以及终端设备数据,构建分别对应的多个特征向量,其中,特征向量至少包括流量信息、活跃信息、偏好信息、消费信息、位置信息以及时段信息中的一种;将目标群体中目标用户对应的各特征向量输入预设的用户画像模型,通过用户画像模型构建得到目标用户的用户画像。本申请的技术方案充分整合和挖掘了来自不同源头的数据进行构建用户画像,提高了用户画像的精准度和深度。
-
公开(公告)号:CN118585261A
公开(公告)日:2024-09-03
申请号:CN202410158511.X
申请日:2024-02-02
Applicant: 中国移动紫金(江苏)创新研究院有限公司 , 中国移动通信集团江苏有限公司 , 中国移动通信集团有限公司
IPC: G06F9/445 , G06F9/451 , G06N20/00 , G06F18/214 , G06F18/241
Abstract: 本申请公开了一种数据可视化平台参数配置方法、装置、设备、介质及产品,属于数据可视化的技术领域。在本申请中,将采集并预处理数据可视化平台的平台属性数据所得到的输入数据,输入至用于预测数据可视化平台的配置参数的机器学习模型中,通过该机器学习模型预测得到数据可视化平台的配置参数,再根据该配置参数对数据可视化平台进行参数更新,从而根据更新后的参数生成数据可视化平台的可视化界面。以此,灵活配置数据可视化平台的参数,提高对数据可视化平台进行参数配置的适应性。
-
公开(公告)号:CN116415206B
公开(公告)日:2023-08-22
申请号:CN202310658762.X
申请日:2023-06-06
Applicant: 中国移动紫金(江苏)创新研究院有限公司
IPC: G06F18/25 , G06F18/22 , G06F16/215 , G06F16/22 , G06F16/25
Abstract: 本发明提供了一种运营商多数据融合方法、系统、电子设备及计算机存储介质,涉及运营商多源数据融合领域。本发明针对每个任务使用不同的数据源,以及针对不同的数据源使用不同的数据融合算法,大大提升了数据融合的精度和效率。此外,拆分任务后可以将复杂的融合过程分解成简单的子任务,更容易进行管理和调度,同时也可以支持并行计算,提高融合的速度,适用于大规模、复杂的多源数据融合问题。此外,集成系统应用,根据业务的需求,选择适合的自适应流式规则引擎,进行相关的配置,实现灵活部署。
-
-
-
-
-