一种数据质量检测方法及装置
    21.
    发明公开

    公开(公告)号:CN114265838A

    公开(公告)日:2022-04-01

    申请号:CN202111589419.1

    申请日:2021-12-23

    Abstract: 本发明实施例提供一种数据质量检测方法及装置,该方法包括:接收客户端发送的经第一服务端传输的检测请求;所述检测请求是基于用户在客户端输入的函数式指令生成的;基于所述函数式指令对应的检测规则模板,通过建造者模式构造所述函数式指令对应的实体类检测规则,以根据所述实体类检测规则对待检测数据进行数据质量检测。上述方法能够提高检测规则设置的灵活性,降低检测规则扩展的开发周期和开发成本。

    元数据管理方法、装置、设备及计算机存储介质

    公开(公告)号:CN112364110A

    公开(公告)日:2021-02-12

    申请号:CN202011297768.1

    申请日:2020-11-17

    Abstract: 本发明涉及金融科技(Fintech)技术领域,并公开了一种元数据管理方法,该方法包括:对与原始数据仓库建立连接的多个客户端进行分区处理,以获取多个租户,将原始数据仓库中的元数据迁移至各租户对应的数据库,以得到多个关联数据库;基于各关联数据库和各租户构建权限映射表;若接收到各客户端中的目标客户端发送的元数据请求,则确定元数据请求对应的访问数据库,基于权限映射表检测目标客户端是否具有操作访问数据库的操作权限;若具有操作权限,则根据元数据请求对访问数据库进行元数据请求操作,并将元数据请求操作的操作结果反馈至目标客户端。本发明实现了数据仓库中数据实例出现问题时,各个用户的业务也能正常进行。

    基于条件的任务调度方法、装置、设备及存储介质

    公开(公告)号:CN110333940A

    公开(公告)日:2019-10-15

    申请号:CN201910564384.2

    申请日:2019-06-25

    Abstract: 本发明公开了一种基于条件的任务调度方法、装置、设备及存储介质,该方法通过在接收到任务执行指令时,获取所述任务执行指令中的目标子任务节点,并根据所述目标子任务节点所属工作流对应的描述任务文件,确定所述目标子任务节点对应的目标任务执行条件;确定所述目标子任务节点对应的父辈任务节点,获取所述父辈任务节点的当前执行信息,并判断所述当前执行信息是否符合所述目标任务执行条件;若所述当前执行信息符合所述目标任务执行条件,则对应执行所述目标子任务节点。本发明基于执行条件以及父辈任务节点的当前执行信息,对应执行相应的目标子任务节点,提高了任务执行效率,减轻了系统负载,减少了垃圾数据。

    一种生成代码的方法、装置、设备及存储介质

    公开(公告)号:CN119690394A

    公开(公告)日:2025-03-25

    申请号:CN202411750100.6

    申请日:2024-12-02

    Abstract: 本申请提供一种生成代码的方法、装置、设备及存储介质,该方法包括:获取针对模型的新增监控需求以及模型的代码仓库源码对应的语法树;根据新增监控需求确定新增监控需求对应的各子需求,以及根据语法树确定各子需求对应的代码信息;通过大语言模型从各子需求对应的知识图谱中,确定出与新增监控需求的语义相似度最高的最长推理路径;将最长推理路径、最长推理路径对应的代码信息以及目标推理路径输入大语言模型,获得目标推理路径对应的代码信息,作为新增监控需求对应的代码;其中,最长推理路径对应的代码信息是根据各子需求对应的代码信息确定的,目标推理路径包括各子需求。采用该方法能够新增监控需求对应代码的生成效率和准确性。

    一种数据存储空间可使用时间的预测方法

    公开(公告)号:CN111752903B

    公开(公告)日:2024-06-07

    申请号:CN202010579971.1

    申请日:2020-06-23

    Abstract: 本发明公开了一种数据存储空间可使用时间的预测方法及装置,包括:获取数据存储空间的剩余可用存储空间,然后确定剩余可用存储空间是否大于第一阈值,若是,则获取预测天数,再将预测天数输入到预测模型中,得到预测日增长量,其中,预测模型是对训练样本进行训练学习得到的,然后判断预测日增长量是否大于第二阈值,若大于第二阈值,则将剩余可用存储空间和预测日增长量之间的比值确定为剩余可用存储空间的可使用天数,以此实现根据历史数据增长量确定出预测日增长量,进而得到数据存储空间可使用时间,并提高预测的数据增长情况的准确性和灵敏度。

    元数据搜索方法、装置、设备及计算机可读存储介质

    公开(公告)号:CN110222203B

    公开(公告)日:2023-04-07

    申请号:CN201910535773.2

    申请日:2019-06-19

    Abstract: 本发明涉及金融科技技术领域,公开了一种元数据搜索方法、装置、设备及计算机可读存储介质。该方法包括:在接收到元数据搜索指令时,获取所述元数据搜索指令中携带的第一目标搜索词;基于所述第一目标搜索词和第一预设查询方式搜索预先建立的元数据资源的索引文件,得到第一搜索结果;对所述第一目标搜索词进行分词处理,得到第二目标搜索词,并基于所述第二目标搜索词和第二预设查询方式搜索所述元数据资源的索引文件,得到第二搜索结果;计算所述第一搜索结果和所述第二搜索结果中所搜索到的各文档的排序评分,并根据所述排序评分对所搜索到的各文档进行排序显示。本发明能够解决现有技术中元数据搜索准确度较差的问题。

    数据血缘分析方法、装置、设备、系统及可读存储介质

    公开(公告)号:CN109582660B

    公开(公告)日:2021-08-10

    申请号:CN201811492829.2

    申请日:2018-12-06

    Abstract: 本发明公开了一种数据血缘分析方法、装置、设备、系统及可读存储介质,该方法包括步骤:当数据系统执行SQL语句时,通过Hook获取与SQL语句对应的血缘数据;通过流式分析系统确定血缘数据所在数据表的数据表类型,根据数据表类型和血缘数据,构建血缘数据对应的有向图;将有向图存储至HBase中,并将血缘数据存储至HDFS中。本发明实现了通过Hook获取不同类型数据系统的血缘数据,使数据血缘分析方法适配不用类型的数据系统,且通过分析血缘数据所在数据表的数据表类型和关联信息,得到血缘关系对应的有向图,避免使用SQL脚本解析来得到数据的血缘关系,降低了分析数据血缘关系的复杂度,提高了数据血缘分析方法的扩展性。

    信号交互的实现方法、装置、设备及计算机可读存储介质

    公开(公告)号:CN111756613A

    公开(公告)日:2020-10-09

    申请号:CN202010578159.7

    申请日:2020-06-22

    Abstract: 本发明涉及金融科技技术领域,公开了一种信号交互的实现方法、装置、设备及计算机可读存储介质。该方法包括:接收上游工作流发送的信号,对信号进行一次封装,得到第一信号数据,并确定第一信号数据对应的目标信号处理集群;通过目标信号处理集群对第一信号数据进行二次封装,得到第二信号数据;根据目标信号处理集群中各预构分区的数据范围,确定第二信号数据对应的目标存储分区;将第二信号数据写入目标存储分区中,并生成对应的元数据信息;在接收到下游工作流基于信号发送的信号接收请求时,从元数据信息中查询得到目标存储位置,进而获取信号并返回至下游工作流。本发明能提高工作流信号交互的灵活性,同时保证高并发场景下信号交互的性能。

    容器资源创建方法、装置、设备及计算机可读存储介质

    公开(公告)号:CN110221901A

    公开(公告)日:2019-09-10

    申请号:CN201910494501.2

    申请日:2019-06-06

    Abstract: 本发明涉及金融科技技术领域,公开了一种容器资源创建方法、装置、设备及计算机可读存储介质。该方法包括:在接收到容器资源创建请求时,根据所述容器资源创建请求获取容器资源的完整定义;从所述完整定义中读取得到目标命名空间,并调用预设接口读取所述目标命名空间的注解,得到所述注解中的键值对;将所述键值对作为节点选择器属性注入至所述完整定义中的容器组定义部分,得到更新后的完整定义,并基于所述更新后的完整定义创建对应的容器资源及容器组。本发明能实现在创建容器资源时,自动为容器资源中的容器组添加节点选择器属性,以便于后续将容器组定向调度至集群中最优的计算节点上,从而可保证集群资源的均衡利用,提高集群资源利用率。

Patent Agency Ranking