公开(公告)号：CN114546610A

公开(公告)日：2022-05-27

申请号：CN202210047290.X

申请日：2022-01-17

Applicant: 山西省信息通信网络技术保障中心 ,  中国移动通信集团山西有限公司 ,  任子行网络技术股份有限公司

Inventor： 武晋 ,  刘红雨 ,  张凤彬 ,  孟强 ,  李彦君 ,  梁国光 ,  王碧扬 ,  王红涛 ,  李竞 ,  隆冰 ,  王飞 ,  谢小超 ,  成海 ,  林飞 ,  易永波 ,  华仲锋 ,  阮伟军 ,  詹斯伟 ,  杨伦 ,  陈磊 ,  关振府 ,  栗志新

IPC: G06F9/48 ,  G06F9/50 ,  G06F21/62

Abstract: 本发明提供一种海量数据分布式脱敏装置，首先通过切片模块先对所述待脱敏的数据进行切片，将切片数据发送到相应的切片队列中，并记录待脱敏文件的状态，实现了文件的脱敏过程全程追踪以及实现了大文件的均匀颗粒化从而提高了脱敏速度和效率；其次采用主从节点的分布式部署，扩展性能好；通过对从节点中的订阅引擎、脱敏引擎、加载引擎等任务的全程监控，实现了任务的高容错。另外脱敏后的文件以切片化的方式存储在不同的服务器上面，为后续的数据安全提供了保障，同时为后续开发、测试、数据分析等环境的使用提供的分布式抽取的条件以及抽取速度。本发明适用于从生产环境将敏感海量结构化的文件数据进行脱敏到开发、测试、数据分析等环境。

公开(公告)号：CN114546610B

公开(公告)日：2022-11-18

申请号：CN202210047290.X

申请日：2022-01-17

Applicant: 山西省信息通信网络技术保障中心 ,  中国移动通信集团山西有限公司 ,  任子行网络技术股份有限公司

Inventor： 武晋 ,  刘红雨 ,  张凤彬 ,  孟强 ,  李彦君 ,  梁国光 ,  王碧扬 ,  王红涛 ,  李竞 ,  隆冰 ,  王飞 ,  谢小超 ,  成海 ,  林飞 ,  易永波 ,  华仲锋 ,  阮伟军 ,  詹斯伟 ,  杨伦 ,  陈磊 ,  关振府 ,  栗志新

IPC: G06F9/48 ,  G06F9/50 ,  G06F21/62

Abstract: 本发明提供一种海量数据分布式脱敏装置，首先通过切片模块先对所述待脱敏的数据进行切片，将切片数据发送到相应的切片队列中，并记录待脱敏文件的状态，实现了文件的脱敏过程全程追踪以及实现了大文件的均匀颗粒化从而提高了脱敏速度和效率；其次采用主从节点的分布式部署，扩展性能好；通过对从节点中的订阅引擎、脱敏引擎、加载引擎等任务的全程监控，实现了任务的高容错。另外脱敏后的文件以切片化的方式存储在不同的服务器上面，为后续的数据安全提供了保障，同时为后续开发、测试、数据分析等环境的使用提供的分布式抽取的条件以及抽取速度。本发明适用于从生产环境将敏感海量结构化的文件数据进行脱敏到开发、测试、数据分析等环境。