一种可插拔分布式公文自动化清洗系统

    公开(公告)号:CN111966672B

    公开(公告)日:2024-11-29

    申请号:CN202010825586.0

    申请日:2020-08-17

    Abstract: 本发明提供了一种可插拔分布式公文自动化清洗系统,包括参数校验器、插件组合器、任务调度器;所述参数校验器获取动态传递的配置参数;所述插件组合器根据配置选择读入数据的字段并调用清洗项插件,对数据做转换。本发明便于平台化,可部署到数据中心,作为一个数据清洗平台,数据处理人员可以根据配置达到数据清洗的目的;具备通用性,可以读取多种来源的数据,并进行各种不同形式的转换、转换完后可以以不同的形式输出到不同的位置、通过配置就可以完成;均有高效性,底层为分布式系统,对大规模数据集也有很好的数据处理能力;富有扩展性,当系统的插件无法完成需要的清洗功能时,可以自己开发插件并集成到系统中,完成特定的清洗功能。

    一种表单配置方法、系统、装置和电子设备

    公开(公告)号:CN115525853B

    公开(公告)日:2023-06-20

    申请号:CN202211265663.7

    申请日:2022-10-17

    Abstract: 本发明涉及网络技术领域,具体涉及一种表单配置方法、系统、装置和电子设备,本发明中基于网格进行页面前端显示控制,以使表单按照预设的方式进行显示,配置表单组件,根据所述表单组件和自动计算控件,进行数据计算,其中,所述数据来源于同一表单或不同表单,本发明的技术方案,符合现代主流的网格界面控制方式,通过配置的方式使得前端界面控制的灵活度大大提升,对手机的兼容性好,同时可以实现同表单或跨表单之间的交互计算,基于自动计算控件对数据进行前置判断,减少填报数据不一致的情况,提升数据的准确度。

    基于区块链的政府诚信档案证照管理方法

    公开(公告)号:CN110704864B

    公开(公告)日:2021-05-04

    申请号:CN201910799399.7

    申请日:2019-08-28

    Abstract: 本发明公开一种基于区块链的政府诚信档案证照管理方法,包括证照信息上传:电子证照所有者将证照上传至政府诚信档案平台,平台通过数字指纹模块提取证照的数字指纹,将数字指纹以及证照属性信息发送给区块链网络进行分布式存储,同时将证照原始文件存储于数据库中;证照信息封装:采用区块链技术对证照信息进行封装,封装有证照信息的每一区块由区块头和区块体组成,及第三方的注册和访问。本发明不仅把证照信息与反映诚信档案的操作修改记录相关联,并结合智能合约与椭圆曲线数字签名算法使得能对用户进行访问控制,极大遏制了对于证照信息的滥用,同时也防止了恶意节点对于证照信息的伪造。

    一种基于配置的分布式公文数据采集系统

    公开(公告)号:CN110297960A

    公开(公告)日:2019-10-01

    申请号:CN201910523201.2

    申请日:2019-06-17

    Abstract: 本发明提供了一种基于配置的分布式公文数据采集系统,包括配置校验器、爬虫任务处理器、数据存储器;所述配置校验器、爬虫任务处理器、数据存储器由上至下逐层部署。本发明具备高效性,通过配置化实现数据实时获取,无需编码,有效提高了公文数据的获取效率;具备可管理性,通过可视化界面对公文模板和获取结果进行展示、统一操作管理,可通过邮件推送功能获取数据结果增量统计,可通过报警监控功能进行问题追踪,便于维护;具备可扩展性,可以根据需要进行水平扩展,实现分布式数据采集;具备数据异构性,爬取海量多数据源的公文数据时,通过Redis作为中间件,屏蔽了数据源和数据存储系统的异构性。

    一种基于事件驱动的公文数据采集和处理系统及其方法

    公开(公告)号:CN110147362A

    公开(公告)日:2019-08-20

    申请号:CN201910271964.2

    申请日:2019-04-04

    Abstract: 本发明公开了一种基于事件驱动的公文数据采集和处理系统及其方法,属于大数据技术领域,包括:数据采集服务模块,数据清洗服务模块,数据抽取计算服务模块,数据索引服务模块,日志模块;其采集和处理方法包括:分布式数据采集方式中的分布式爬虫抓取发布在网站上的公文数据,发送给数据采集服务模块处理,在通过数据抽取计算服务模块进行抽取计算,然后通过数据索引服务模块入库存放于数据库中,日志模块记录整个采集与处理过程。本发明采用分布式爬虫进行各个公文发布网站进行抓取,有效解决海量多源异构公文数据的采集和处理时效问题。

    一种表单配置方法、系统、装置和电子设备

    公开(公告)号:CN115525853A

    公开(公告)日:2022-12-27

    申请号:CN202211265663.7

    申请日:2022-10-17

    Abstract: 本发明涉及网络技术领域,具体涉及一种表单配置方法、系统、装置和电子设备,本发明中基于网格进行页面前端显示控制,以使表单按照预设的方式进行显示,配置表单组件,根据所述表单组件和自动计算控件,进行数据计算,其中,所述数据来源于同一表单或不同表单,本发明的技术方案,符合现代主流的网格界面控制方式,通过配置的方式使得前端界面控制的灵活度大大提升,对手机的兼容性好,同时可以实现同表单或跨表单之间的交互计算,基于自动计算控件对数据进行前置判断,减少填报数据不一致的情况,提升数据的准确度。

Patent Agency Ranking