基于元数据采集的数据血缘分析方法、装置及电子设备

    公开(公告)号:CN116431668A

    公开(公告)日:2023-07-14

    申请号:CN202310427332.7

    申请日:2023-04-20

    Abstract: 本发明提供一种基于元数据采集的数据血缘分析方法、装置及电子设备。该方法包括:建立元数据的采集任务,并基于采集任务采集目标数据库的元数据;通过ANTLR分析目标数据库的结构化查询语言sql语句,得到语法树ParseTree;对ParseTree进行遍历,得到采集的元数据的血缘数据和血缘数据的元数据;将血缘数据的元数据和采集的元数据进行校验,得到校验后的血缘数据;基于图可视化引擎AntV/X6对校验后的血缘数据进行血缘分析,得到采集的元数据的血缘图。本发明能够快速高效地梳理出数据间的关系,减少原先关系型数据库手动查找定位元数据繁琐的步骤,提高追溯有问题数据的来源的效率。

    物联网环境下基于边云协同实时数据计算方法及系统

    公开(公告)号:CN115834711A

    公开(公告)日:2023-03-21

    申请号:CN202211680079.8

    申请日:2022-12-26

    Abstract: 本发明公开了物联网环境下基于边云协同实时数据计算方法及系统,包括动态调配模块、负载均衡模块、设备感知模块、数据采集模块、边缘自治模块、云边协同模块、监控运维模块、Node‑Red管理模块;具体步骤为:S1,平台对下发的任务通过按照资源配额进行动态调配至边缘节点;S2,外部对集群微服务的访问请求以轮询的方式进行负载均衡进行响应;本发明能够进行集中的注册和管控,构建边云一体化解决方案,支撑工业物联网的扩展延伸,提升数字化和智能化。解决现存物联网系统中,只能满足基本的感知和数据采集传输功能,通过基于边云协同的实时数据计算框架,能够解决对服务集中管控、动态调配、设备实时监控、边云协同等问题。

    一种基于深度学习的废钢料型占比识别方法

    公开(公告)号:CN115100403A

    公开(公告)日:2022-09-23

    申请号:CN202210515716.X

    申请日:2022-05-11

    Abstract: 本发明公开了一种基于深度学习的废钢料型占比识别方法,包括以下步骤:步骤一、基于深度残差网络和注意力模块构建特征提取主干网络,通过主干网络对给定废钢图像进行多尺度特征提取,得到有效特征层和基础特征层;步骤二、融合有效特征层和基础特征层进行特征融合得到融合特征层,通过融合特征层预测每个像素点的废钢类别,得到废钢料型的语义特征信息;步骤三、融合基础特征信息和语义特征信息,预测不同类型废钢的占比;本发明提出的废钢特征提取主干网络,结合深度残差网络和注意力机制,能够提取更深层次的不同类型废钢特征,同时注意力机制使废钢料型特征提取过程中更能关注不同类型废钢特征,从而废钢料型特征提取过程更加有效。

    一种基于区域分割联合Yolov5的废钢判级方法

    公开(公告)号:CN114926483B

    公开(公告)日:2025-05-23

    申请号:CN202210628082.9

    申请日:2022-06-06

    Abstract: 本发明公开了一种基于区域分割联合Yolov5的废钢判级方法,采用Mask R‑CNN分割模型,将车厢与背景进行分割,通过改进Yolov5的检测头,提取出每个分割区域特征即该区域料型类别和所属料型置信度,在训练时候,通过反传分割区域的分类loss和sigmoid置信度乘积,来训练网络,在推理时候,输入原图后,直接输出每个区域的类别和置信度,通过预设阈值,过滤掉无效区域即填充灰度区域,最后计算出整车车厢废钢类型以及其占比;吸取了分类网络和检测网络各自优点,在速度上和精度上都有良好的效果,本发明不仅不会漏区域,还会将模型训练侧重点加持到分类模型,网络模型更易收敛。

    一种基于RAG的智能知识库管理的方法和系统

    公开(公告)号:CN119938820A

    公开(公告)日:2025-05-06

    申请号:CN202411792188.8

    申请日:2024-12-06

    Abstract: 本申请涉及一种基于RAG的智能知识库管理的方法,包括如下步骤:S1、问题检索,S11、问题向量化处理,将用户提问转换为数值向量,系统使用和文本数据相同的预训练的语言模型对问题进行编码,使问题向量化;S12、向量相似性检索;S2、构建知识库,S21、数据提取阶段,即从原始数据源提取知识内容;S22、文档切分,拆分文本数据为词块内容;S23、向量化;S3、答案生成。本申请实施例提供的整体系统,通过利用本系统快速构建向量数据库,实现数据检索,并配合大语言模型生成符合逻辑且完整的答案,大幅缩减了特定领域问题系统的开发周期,极大地方便了用户检索特定问题的时间,使系统回答问题更具备逻辑性和完整性。

    一种基于低代码开发平台的支持自定义业务规则的方法

    公开(公告)号:CN119201076A

    公开(公告)日:2024-12-27

    申请号:CN202411131345.0

    申请日:2024-08-17

    Abstract: 本发明公开了一种基于低代码开发平台的支持自定义业务规则的方法,涉及应用程序开发技术领域,该基于低代码开发平台的支持自定义业务规则的方法,包括以下步骤:第一步,搭建低代码平台标准业务表单:低代码平台提供通用的表单组件支持业务表单搭建,设计表单页面,开发人员通过把左侧组件拖拽到中间表单设计框,完成表单设计;第二步,核心模块:标准业务表单的扩展点规则基类,丰富的标准业务表单内置组件,驱动扩展点规则链执行的规则引擎,扩展点规则链动态、静态加载机制,扩展点规则内操作业务数据的CustomDao数据访问对象;使低代码开发平台的java开发工程师用户,可根据具体业务场景及个性化业务需求,自定义业务规则去扩展标准业务表单的功能。

    一种基于大数据的数据质量校验与修复方法

    公开(公告)号:CN119127850A

    公开(公告)日:2024-12-13

    申请号:CN202411102492.5

    申请日:2024-08-12

    Abstract: 本申请涉及数据处理技术领域,公开了一种基于大数据的数据质量校验与修复方法,包括以下步骤:S1.进行数据质量评估的规则设定;S2.定义相关规则、指标、质量模板和质量任务,对大数据集的准确性、完整性、一致性和可信度展开评估;S3.采用适当的修复技术恢复数据完整性和准确性;S4.生成数据质量报告及可视化内容,为用户呈现数据质量状况,辅助其发现问题和制定改进措施,支持后续的数据分析和决策。本发明能够提高数据质量、增强数据可信度、优化数据分析和决策、实现自动化和智能化处理以及提供灵活的规则定制和管理,这些效果有助于提升数据的质量和可用性,为用户带来更高效、准确和可靠的数据处理和决策支持。

Patent Agency Ranking