公开(公告)号：CN116108101A

公开(公告)日：2023-05-12

申请号：CN202111319629.9

申请日：2021-11-09

Applicant: 中国科学院信息工程研究所

Inventor： 戴琼 ,  彭怀梁 ,  郝炜 ,  刘燕兵

IPC: G06F16/27 ,  G06F16/21

Abstract: 本发明公开了一种多源异构数据智能分拣方法及装置，包括提取数据源中的目标数据；利用设置数据接入分拣路由规则的智能路由器，将目标数据分配至相应的数据闸机通道，并利用数据闸机通道中设定的预处理规则对目标数据进行预处理；利用设置数据分发分拣的智能路由器，将预处理后的目标数据分发至下游业务。本发明实现对多源、异构数据的统一规范化的接入、汇聚与分发处理，提升数据处理的自动化程度、易用性、适用性及可扩展性，降低人工操作错误率，从而提高了数据处理效率和数据质量。

公开(公告)号：CN114547165A

公开(公告)日：2022-05-27

申请号：CN202210060268.9

申请日：2022-01-19

Applicant: 中国科学院信息工程研究所

Inventor： 戴琼 ,  彭怀梁 ,  郝炜 ,  白旭 ,  刘燕兵 ,  童超东

IPC: G06F16/25 ,  G06F9/54

Abstract: 本发明公开了一种数据标准化智能处理方法及装置。该方法包括：创建初始消息队列；创建结果消息队列；根据初始数据处理策略，从数据仓库中获取、组织待处理的数据，推送到消息总线；对消息总线中的消息进行解析、执行标准化处理，根据结果数据处理策略把结果写回消息总线；对消息总线中的结果消息进行解析并更新到数据仓库。本发明由用户通过配置数据标准化知识库实现实例化和个性化定制，采用消息总线解耦数据源和数据标准化处理功能，具备很好的适应性和可扩展性。本发明实现对多来源、内容格式不一致的数据的统一规范化处理，形成标准化数据，提升数据标准化处理的智能化和自动化程度，降低人工操作错误率，从而提高了数据处理效率和数据质量。