公开(公告)号：CN111858569A

公开(公告)日：2020-10-30

申请号：CN202010616966.3

申请日：2020-07-01

Applicant: 长江岩土工程总公司(武汉) ,  长江勘测规划设计研究有限责任公司

Inventor： 韩旭 ,  于起超 ,  马贵生 ,  罗登昌 ,  马丹璇

IPC: G06F16/215 ,  G06F16/25

Abstract: 本发明基于流式计算的海量数据清洗的方法，包括如下步骤：异构数据源通过数据接入模块统一接入数据，并以统一的格式推送入消息队列Kafka中，等待数据清洗，并将接入情况反馈给调度中心；配置清洗算子和设计算子流程图；计算集群中的计算节点与调度中心通信，调用算子流程图，按照设计的算子流程图的流程进行清洗操作，并将清洗运行情况反馈给调度中心。本发明采用分布式消息队列Kafka统一接入数据，通过Kafka将数据源格式进行统一，方便数据清洗统一处理。多个计算节点采用分布式并列形式部署，能够根据需求动态横向扩展，面对大批量数据有很强的鲁棒性。通过拖拽式设计清洗流程可以满足大部分清洗流程工作，具有很强的通用性。

公开(公告)号：CN119942020A

公开(公告)日：2025-05-06

申请号：CN202411758811.8

申请日：2024-12-03

Applicant: 长江岩土工程有限公司 ,  长江勘测规划设计研究有限责任公司

Inventor： 于起超 ,  罗登昌 ,  韩旭 ,  赵鑫 ,  马丹璇 ,  杜相会 ,  梁旸杰

IPC: G06T17/10 ,  G06T17/20 ,  G06F30/13

Abstract: 本发明公开了一种基于3DE的地质BIM模型轻量化方法，涉及三维BIM应用技术领域。它包括以下步骤：步骤1：利用递归算法遍历3DE中BIM模型，获得所有构件List；步骤2：生成3DB文件；步骤3：解析3DB文件，读取每一个BIM构件数据，生成Vectors和Mesh，根据Vectors和Mesh生成FBX格式的三维模型文件。本发明解决了3DE平台下地质模型轻量化的问题，通过该方法可实现地质BIM模型几何与属性信息到开放三维格式的转换，为BIM应用提供了数据支撑。本发明还涉及这种基于3DE的地质BIM模型轻量化方法的轻量化插件和一种FBX转换工具。

公开(公告)号：CN111858569B

公开(公告)日：2024-09-20

申请号：CN202010616966.3

申请日：2020-07-01

Applicant: 长江岩土工程有限公司 ,  长江勘测规划设计研究有限责任公司

Inventor： 韩旭 ,  于起超 ,  马贵生 ,  罗登昌 ,  马丹璇

IPC: G06F16/215 ,  G06F16/25

Abstract: 本发明基于流式计算的海量数据清洗的方法，包括如下步骤：异构数据源通过数据接入模块统一接入数据，并以统一的格式推送入消息队列Kafka中，等待数据清洗，并将接入情况反馈给调度中心；配置清洗算子和设计算子流程图；计算集群中的计算节点与调度中心通信，调用算子流程图，按照设计的算子流程图的流程进行清洗操作，并将清洗运行情况反馈给调度中心。本发明采用分布式消息队列Kafka统一接入数据，通过Kafka将数据源格式进行统一，方便数据清洗统一处理。多个计算节点采用分布式并列形式部署，能够根据需求动态横向扩展，面对大批量数据有很强的鲁棒性。通过拖拽式设计清洗流程可以满足大部分清洗流程工作，具有很强的通用性。