公开(公告)号：CN117033449B

公开(公告)日：2023-12-15

申请号：CN202311296035.X

申请日：2023-10-09

Applicant: 北京中科闻歌科技股份有限公司

Inventor： 富佰成 ,  方省 ,  陈帅 ,  曹家 ,  罗引 ,  王磊

IPC: G06F16/2455 ,  G06F16/28 ,  G06F16/22

Abstract: 本发明提供了一种基于kafka流的数据处理方法、电子设备和存储介质，包括：获取通过kafka流获取的m个用户的数据需求信息；将获取的m个数据需求信息通过消息组件发送给数据预处理节点，得到具有设定格式的目标数据需求信息；获取当前时刻t对应的原始数据集Dt；从Dt中获取DSti，并基于Ir对应的目标数据需求信息，确定DSti是否为Ir对应的关联数据，如果是，则将Dti标记为Ir对应的关联数据；基于Irfs，从MDrw中获取对应的字段作为Ir对应的目标数据。本发明能够从海量的数据中及时且准确的获取到多个用户所需求的数据。

公开(公告)号：CN117033449A

公开(公告)日：2023-11-10

申请号：CN202311296035.X

申请日：2023-10-09

Applicant: 北京中科闻歌科技股份有限公司

Inventor： 富佰成 ,  方省 ,  陈帅 ,  曹家 ,  罗引 ,  王磊

IPC: G06F16/2455 ,  G06F16/28 ,  G06F16/22

Abstract: 本发明提供了一种基于kafka流的数据处理方法、电子设备和存储介质，包括：获取通过kafka流获取的m个用户的数据需求信息；将获取的m个数据需求信息通过消息组件发送给数据预处理节点，得到具有设定格式的目标数据需求信息；获取当前时刻t对应的原始数据集Dt；从Dt中获取DSti，并基于Ir对应的目标数据需求信息，确定DSti是否为Ir对应的关联数据，如果是，则将Dti标记为Ir对应的关联数据；基于Irfs，从MDrw中获取对应的字段作为Ir对应的目标数据。本发明能够从海量的数据中及时且准确的获取到多个用户所需求的数据。