一种基于大语言模型多模态的数据分析方法

    公开(公告)号:CN117851555A

    公开(公告)日:2024-04-09

    申请号:CN202311634118.5

    申请日:2023-12-01

    Abstract: 本申请属于数据分析技术领域,尤其涉及一种基于大语言模型多模态的数据分析方法,整理、收集数据分析自然语言样本数据,对LLM预训练模型进行样本数据训练、参数微调;整理、收集SQL、Cypher、Python脚本指令样本数据,对LLM预训练模型分别进行样本数据训练、参数微调;构建一个执行脚本指令的引擎工具,通过运行得到的脚本指令而获取脚本指令的数据分析结果;构建一个数据分析代理服务,用于接收数据分析自然语言,用于调用意图识别模型进行意图识别,用于调用相应脚本指令生成模型进行指令生成,用于调用脚本指令执行引擎进行脚本指令执行及获取分析数据。本申请降低了数据分析的门槛,提高了数据分析效率,节省了人工成本。

    一种基于OpenFaas架构的模型计算托管系统

    公开(公告)号:CN116909535A

    公开(公告)日:2023-10-20

    申请号:CN202310929905.6

    申请日:2023-07-27

    Abstract: 本发明公开一种基于OpenFaas架构的模型计算托管系统,包括有:镜像管理模块,提供镜像上传、在线编辑器、镜像维护功能,镜像管理模块为模型管理模块提供基础运行环境,在线编辑器为模型管理模块的在线编码功能提供支持;模型管理模块,提供模型维护、版本维护、在线编码功能,模型管理模块用于模型的开发,为触发器管理模块提供模型;触发器管理模块,触发器管理模块结合OpenFaas服务,提供触发器维护、监控功能,触发器管理模块用于创建模型对外提供的服务。本发明通过对Openfaas平台的扩展,以无服务器的方式快速构建模型,实现对AI模型的统一管理、部署和运维,有效的解决了企业中存在的模型分散管理难、异构模型部署难、模型统一运维难等一系列痛点问题。

    一种基于知识图谱的可视化数据解释

    公开(公告)号:CN115827894A

    公开(公告)日:2023-03-21

    申请号:CN202211588194.2

    申请日:2022-12-12

    Abstract: 本发明公开了一种基于知识图谱的可视化数据解释方法,包括以下步骤:抽取信息,得到结构化信息;利用结构化信息,结合知识图谱雏形构建方法以及知识图谱更新方法,构建通用型知识图谱;将通用型知识图谱与可视化系统连接,进而实时将新接入的数据的关系梳理并更新到所述通用型知识图谱中;用户利用可视化系统,发出解释数据的指令,进而通过通用型知识图谱找出对应的解释内容,并以可视化系统展示和进行更深层次的探索分析。本发明结合了两种方式的知识图谱构建方法,使得整个的数据实现方式更加灵活,进而构建的通用型知识图谱可以高效查询和存储,进行数据解释和分析的方法更加简单。

    数据可视化查询语言系统

    公开(公告)号:CN106446034A

    公开(公告)日:2017-02-22

    申请号:CN201610781312.X

    申请日:2016-08-30

    CPC classification number: G06F16/90328

    Abstract: 本发明公开了数据可视化查询语言系统,包括:DVL构建器,所述将用户操作模型和数据模型构建为DVL语句,所述DVL构建器连接有数据模块模块,操作模型模块以及DVL语法规则模块;DVL解析引擎模块连接有DVL构建器以将DVL语句解析为执行子过程的执行计划树;还包括数据分析引擎模块将执行子过程的执行计划树按照执行顺序逐一执行,融合图形信息和数据信息,生成图形数据模型;所述获取的图形数据模块送至可视化引擎模块,可视化引擎模块将图形模型数据渲染为用户可见的BI图表。此发明是将系统前端可视化图表展现和后端数据分析过程进行了语言(DVL)级别的隔离,从而实现了图形展现和后端数据处理的完全解耦,并可提对外提供语言级别的标准数据可视化接口。

    一种基于机器学习及知识图谱的表关系识别方法

    公开(公告)号:CN117077032A

    公开(公告)日:2023-11-17

    申请号:CN202310999865.2

    申请日:2023-08-09

    Abstract: 本发明公开了一种基于机器学习及知识图谱的表关系识别方法,包括以下步骤:S1、选出关联字段特征,S2、选取训练集,S3、建立模型,S4、确定分类结果,S5、构建图谱。该基于机器学习及知识图谱的表关系识别方法,通过将字段类型分为数值型、字符型、时间日期型和其他类型,处理完成后得到训练集样本,将样本划分为两类:主键和其他,最后基于随机森林模型对样本进行训练得到主外键识别模型,对识别出的主键,simBERT提取关系序列模式,不断优化获得各表关联关系,利用机器学习模型可以基于表字段特征自动识别各表中最疑似的主键,从而减少了人工参与评判不合理对识别结果的影响。

    一种数据可视化系统及实现方法

    公开(公告)号:CN109933622A

    公开(公告)日:2019-06-25

    申请号:CN201910142861.6

    申请日:2019-02-26

    Abstract: 本发明提供了一种数据可视化系统及实现方法,其中系统包括:可视化设计组件,被配置成用于生成可视化数据包,所述可视化数据包括目标数据与图形,所述目标数据与图形在系统后台建立映射关系,所述目标数据为系统经转化之后的数据;可视化界面,用于显示可视化设计组件的的数据包。本发明解决了以往过度依赖SQL运算的局面,能够适应较为复杂的数据计算逻辑。

    一种在线表单开发系统
    7.
    发明公开

    公开(公告)号:CN106372152A

    公开(公告)日:2017-02-01

    申请号:CN201610767969.0

    申请日:2016-08-30

    CPC classification number: G06F16/958

    Abstract: 本发明公开了一种在线表单开发系统,包括:由用户进行设定的自定义模块,所述自定义模块连接有数据库,所述自定义模块用于设定数据模型模块,业务模型模块以及视图模型模块的参数;与数据库连接的模型校验引擎模块,所述模型校验引擎模块用于将自定义模块设定的参数进行验证,筛选出符合规则的自定义模块;以及与所述模型校验引擎模块连接的视图模型模块,对应的数据模型模块,业务模型模块;所述视图模型模块通过视图渲染引擎模块进行数据展示,所述数据模型模块通过数据访问引擎模块连接数据库,所述业务模型模块通过业务逻辑引擎模块连接有数据访问引擎模块。此发明关键是基于领域模型语言技术,以在线的方式快速构建Web应用系统。

    基于维度模型的指标计算引擎实现方法

    公开(公告)号:CN116166686A

    公开(公告)日:2023-05-26

    申请号:CN202211570969.3

    申请日:2022-12-08

    Abstract: 本发明公开了基于维度模型的指标计算引擎实现方法,包括以下步骤:构建多维模型表和维度表,形成数据来源;根据明细表,结合函数计算原子指标;使用原子指标,得到衍生指标;解析技术口径、维度以及运算公式生成动态SQL语句,得到衍生指标计算结果;基于衍生指标计算结果,解析引擎配置表中的技术口径,同时解析生成动态SQL语句,封装成对应程序模块并执行,得到复合指标计算结果;构建相同维度以及相同数据统计期的衍生指标和复合指标的汇总表;调度运行后生成指标表,在应用层中,显示汇总表,并通过人机交互,提供对外服务。本发明中,保证了指标统一归口管理,指标口径统一出去,指标统一运算和监控,从而有效支撑各应用报表用数需求。

    一种分布式信号数据分析系统
    9.
    发明公开

    公开(公告)号:CN115952145A

    公开(公告)日:2023-04-11

    申请号:CN202211588225.4

    申请日:2022-12-12

    Abstract: 本发明公开一种分布式信号数据分析系统,包括信号数据读取模块,信号数据读取模块包括有HDFS,HDFS搭载分布式计算引擎,信号数据读取模块基于HDFS从信号文件或数据库中的分布式提取数据,将数据分布式读取为信号数据,实现离线的信号数据的IO加速;信号数据与表格数据转换模块,用于将信号数据借助Arrow通信转换为信号DataFrame;信号数据分析模块,用于通过Arrow序列化和反序列化来实现Spark和Python间的数据通信,并基于动态内存加载的信号分析函数引用机制实现分块调用信号分析函数。本发明分调用了Spark集群资源,能够避免单机计算海量信号数据时面临的资源不足的问题,同时提高对海量信号数据分析的执行效率。

    一种在线表单开发系统
    10.
    发明授权

    公开(公告)号:CN106372152B

    公开(公告)日:2020-07-07

    申请号:CN201610767969.0

    申请日:2016-08-30

    Abstract: 本发明公开了一种在线表单开发系统,包括:由用户进行设定的自定义模块,所述自定义模块连接有数据库,所述自定义模块用于设定数据模型模块,业务模型模块以及视图模型模块的参数;与数据库连接的模型校验引擎模块,所述模型校验引擎模块用于将自定义模块设定的参数进行验证,筛选出符合规则的自定义模块;以及与所述模型校验引擎模块连接的视图模型模块,对应的数据模型模块,业务模型模块;所述视图模型模块通过视图渲染引擎模块进行数据展示,所述数据模型模块通过数据访问引擎模块连接数据库,所述业务模型模块通过业务逻辑引擎模块连接有数据访问引擎模块。此发明关键是基于领域模型语言技术,以在线的方式快速构建Web应用系统。

Patent Agency Ranking