公开(公告)号：CN110868349A

公开(公告)日：2020-03-06

申请号：CN201911177843.8

申请日：2019-11-27

Applicant: 河钢数字技术股份有限公司

Inventor： 李毅仁 ,  李玉涛 ,  明勇杰 ,  赵海滨 ,  孔祥岭 ,  孙雷 ,  李宏鹏 ,  翟佳豪 ,  邢伟晗

IPC: H04L12/66 ,  H04L29/06 ,  H04L29/08

Abstract: 本发明公开了一种物联网环境下分布式高并发数据采集与处理方法及系统，所述方法包括：创建进程引导器ServerBootstrap，初始化类型为NioEventLoopGroup的线程组bossGroup和workerGroup，启动类型为Bootstrasp的数据转发器进程引导器，构造一个继承自ChannelInboundHandlerAdapter的处理类，添加针对不同协议的处理器Handler，构造主拦截器，利用上述步骤所构建的数据接收引导器来绑定进程端口监听硬件设备发送的数据并解析传入消息队列单元。本发明提供的物联网环境下分布式高并发数据采集与处理方法及系统，采用Netty框架，支持大批量数据采集。

公开(公告)号：CN110868349B

公开(公告)日：2021-07-09

申请号：CN201911177843.8

申请日：2019-11-27

Applicant: 河钢数字技术股份有限公司

Inventor： 李毅仁 ,  李玉涛 ,  明勇杰 ,  赵海滨 ,  孔祥岭 ,  孙雷 ,  李宏鹏 ,  翟佳豪 ,  邢伟晗

IPC: H04L12/66 ,  H04L29/06 ,  H04L29/08

Abstract: 本发明公开了一种物联网环境下分布式高并发数据采集与处理方法及系统，所述方法包括：创建进程引导器ServerBootstrap，初始化类型为NioEventLoopGroup的线程组bossGroup和workerGroup，启动类型为Bootstrasp的数据转发器进程引导器，构造一个继承自ChannelInboundHandlerAdapter的处理类，添加针对不同协议的处理器Handler，构造主拦截器，利用上述步骤所构建的数据接收引导器来绑定进程端口监听硬件设备发送的数据并解析传入消息队列单元。本发明提供的物联网环境下分布式高并发数据采集与处理方法及系统，采用Netty框架，支持大批量数据采集。

公开(公告)号：CN112199423A

公开(公告)日：2021-01-08

申请号：CN202010905210.0

申请日：2020-09-01

Applicant: 河钢数字技术股份有限公司

Inventor： 李毅仁 ,  申培 ,  郝亮 ,  林亚团 ,  明勇杰 ,  贾永坡 ,  赵海滨 ,  魏晓飞 ,  邢伟晗

IPC: G06F16/25 ,  G06F16/2458 ,  G06F16/215 ,  G06F16/28

Abstract: 本发明公开了一种ETL数据质量判定与反馈方法，该方法包括：获取ETL数据处理过程的判定指标，根据所述判定指标的结果值和预设期望值的比较结果确定对所述ETL数据处理过程的质量判定结果，并在根据ETL处理日志确定所述ETL任务失败时，根据所述ETL处理日志和目标数据中携带的标记信息从所述数据仓库中确定出所述脏数据，并对所述脏数据进行清理，从而进一步提高了对ETL数据质量判定的准确性，并通过质量判定结果进行反馈，及时发现ETL处理过程中的问题，保证了输出数据的准确性。