基于流式计算的海量数据清洗的方法

    公开(公告)号:CN111858569A

    公开(公告)日:2020-10-30

    申请号:CN202010616966.3

    申请日:2020-07-01

    Abstract: 本发明基于流式计算的海量数据清洗的方法,包括如下步骤:异构数据源通过数据接入模块统一接入数据,并以统一的格式推送入消息队列Kafka中,等待数据清洗,并将接入情况反馈给调度中心;配置清洗算子和设计算子流程图;计算集群中的计算节点与调度中心通信,调用算子流程图,按照设计的算子流程图的流程进行清洗操作,并将清洗运行情况反馈给调度中心。本发明采用分布式消息队列Kafka统一接入数据,通过Kafka将数据源格式进行统一,方便数据清洗统一处理。多个计算节点采用分布式并列形式部署,能够根据需求动态横向扩展,面对大批量数据有很强的鲁棒性。通过拖拽式设计清洗流程可以满足大部分清洗流程工作,具有很强的通用性。

    CATIA三维地质模型结构树信息编码方法

    公开(公告)号:CN111984752A

    公开(公告)日:2020-11-24

    申请号:CN202010746393.6

    申请日:2020-07-29

    Inventor: 韩旭

    Abstract: 本发明涉及一种CATIA三维地质模型结构树信息编码方法,该编码方法,包括以下步骤:建立三维地质模型;将三维地质模型结构树信息进行分类集中;根据结构树信息分类进行分级,分级信息包括项目名称、代码、勘察阶段、专业类型和分类属性;建立各分级结构树信息编码规则,编码规则包括编码的依据、编码的结构形式、内容组成、编码长度和编码采用的符号;根据上述规则对各级结构树信息进行编码。将三维地质模型的地质信息分类集中,分级编码,规范了地质模型结构树信息的表达方式,提高了地质模型的应用效率与水平。

    一种岩石便携智能识别方法

    公开(公告)号:CN106055636B

    公开(公告)日:2019-12-13

    申请号:CN201610370185.4

    申请日:2016-05-30

    Abstract: 本发明公开了一种岩石便携智能识别方法,包括如下步骤:步骤一、岩石图像数据库开发:步骤二、岩石数据库更新和维护;步骤三、岩石数据库导入;步骤四、岩石识别便携设备软件;步骤五、特征提取;步骤六、特征匹配:利用步骤四开发的软件获得待搜索图像,利用步骤五的方法提取待搜索图像的特征,利用某种特征值匹配算法,和步骤五得到的岩石图像特征数据库进行相似度计算,将相似度较高的结果返回到步骤四开发的软件中;该方法相对于野外岩石取样镜鉴及人工经验辨别的传统方法,有高效、廉价、便携式、成果可复用性等多种优点。该方法最基本的两大特征,一是大数据高存储的标准化岩石图像库,二是多种图像识别算法的集成。

Patent Agency Ranking