公开(公告)号：CN112529545A

公开(公告)日：2021-03-19

申请号：CN202011624703.3

申请日：2020-12-31

Applicant: 河钢数字技术股份有限公司

Inventor： 冯兴 ,  王宇飞 ,  郝亮 ,  申培 ,  孙利民 ,  张楠 ,  李宏鹏 ,  田战胜

IPC: G06Q10/10 ,  G06F16/22 ,  G06F16/2455 ,  G06F16/2457 ,  G06F16/28 ,  G06F9/54

Abstract: 本发明公开了一种基于微服务模式的动态部署工作流的系统及方法，系统包括动态表单前端模块、动态表单后台接口模块、动态表单数据库表生成模块、流程前端模块、流程后台接口模块、流程后台生成模块、Kafka消息队列模块、Jenkins的部署模块、人员组织管理模块、登录注册审批模块和流程后台审批模块。本发明通过拖拉拽的方式实现工作流，极大的节约了人力、物力和财力，简化了开发步骤，使寻常人都可以方便的使用此方法，提高了工作效率。

公开(公告)号：CN112528121A

公开(公告)日：2021-03-19

申请号：CN202011624214.8

申请日：2020-12-31

Applicant: 河钢数字技术股份有限公司

Inventor： 王宇飞 ,  安宝 ,  黎荣华 ,  李毅仁 ,  郑士良 ,  张杰祥 ,  冯兴 ,  米腾

IPC: G06F16/951 ,  G06F16/172 ,  G06F16/182 ,  G06F16/2458 ,  G06F16/27 ,  G06F40/279

Abstract: 本发明公开了一种基于分布式存储的爬虫爬取数据统计方法及系统，方法包括以下步骤：步骤1：将利用爬虫程序从网页中抓取的文件临时存储入Kafka中；步骤2：对Kafka中临时存储的爬虫抓取文件进行文件类型和文件大小的统计，并将统计结果存储入Redis中；步骤3：将统计完类型和大小的爬虫爬取文件上传到FastDFS中，并记录FastDFS返回的每一条文件的存储路径；步骤4：对FastDFS中存储的爬虫爬取文件根据文件类型对文件进行分词，并将分词后的结构化数据存入ElasticSearch中。本发明能够对爬虫爬取的不同文件类型进行类型和大小统计，最终的结构化数据存放在Elasticsearch中，方便日后的检索和查阅或是进一步的数据挖掘。