一种基于字段语义的数据表自动join推荐方法

    公开(公告)号:CN113673252A

    公开(公告)日:2021-11-19

    申请号:CN202110924937.8

    申请日:2021-08-12

    Abstract: 本发明涉及多维数据分析领域,具体为一种基于字段语义的数据表自动join推荐方法,包括:步骤1,将待join的两数据表中的字段两两组合,作为计算相似度值的集合;步骤2,推断出字段的语义类型;步骤3,判断两字段的数据类型和语义类型是否一致,再判断两字段名是否一致,接着判断两字段值是否存在枚举类;步骤4,分别计算字段名相似度和字段值的相似度,后通过加权求和,得到匹配系数,即两字段的相似度;步骤5,将所有字段的相似度的分值从高到低进行排序并输出提取前20条,作为推荐。本发明通过对数据表字段名和字段值的分析来推荐join的联接子句,更准确更全面地帮助用户发现多维数据隐藏的关联信息,有效地提升大数据分析系统的智能化水平。

    测天文光红移的标准数据集和基线模型的构建方法和系统

    公开(公告)号:CN118378091B

    公开(公告)日:2024-09-24

    申请号:CN202410791652.5

    申请日:2024-06-19

    Abstract: 测天文光红移的标准数据集和基线模型的构建方法和系统,其方法包括:收集与测光红移任务相关的天文图像数据,进行数据预处理;计算红移真值并进行归一化处理,将红移数据转换为三元组;选择深度模型,根据分类数量修改模型头部为并行的分类头和回归头,并随机初始化网络参数;对输入样本计算分类损失和回归损失,并使用梯度下降算法更新神经网络模型参数,直至模型在训练集上的损失不再降低;联合建模深度神经网络和贝叶斯神经网络实现红移的不确定性估计;最后将训练好的模型进行部署,完成红移估计任务。本发明针对测光红移估计问题,建立了完整的机器学习数据集和基线模型方法,推进了机器学习方法在天文测光红移问题的应用。

    天文图像形态分类标准数据集和基线模型构建方法与系统

    公开(公告)号:CN118365975B

    公开(公告)日:2024-09-06

    申请号:CN202410799005.9

    申请日:2024-06-20

    Abstract: 天文图像形态分类标准数据集和基线模型构建方法与系统,其方法包括:收集与形态分类任务相关的天文图像数据,设定形态分类问题;针对收集的图像数据和设立的形态分类问题进行粗标注,设计正负样本阈值机制筛选高质量的标注数据并划分训练集和验证集;选择待训练的深度模型,修改模型头部为多个并行的全连接,实现全连接网络与形态分类问题相互对应,随机初始化网络参数;计算每个全连接神经网络的预测值与真值之间的交叉熵之和作为训练损失,并根据梯度下降算法更新网络参数;最后将训练好的模型进行部署,完成形态分类任务。本发明建立了形态分类问题的标准数据集和评价指标,能够同时用于所有的形态分类问题。

    化学工艺时间序列数据因果关系图构建方法、装置和介质

    公开(公告)号:CN118053518A

    公开(公告)日:2024-05-17

    申请号:CN202410451611.1

    申请日:2024-04-16

    Abstract: 本发明涉及化学工艺时间序列数据因果关系图构建方法、装置和介质,方法包括:将实际的化学工艺时间序列数据集输入因果关系图构建模型,得到实际权重矩阵,转化为因果关系图,因果关系图构建模型的训练过程为:S1、获取训练用的化学工艺时间序列数据集;S2、基于时间卷积网络编码器‑解码器,得到重建特征;S3、将自注意力编码器的输出作为图卷积网络的初始化的邻接矩阵,图卷积网络输出特征矩阵;S4、特征矩阵输入多层感知器网络,输出变量预测值;S5、构建联合损失函数,基于联合损失函数进行迭代训练,得到训练完成的因果关系图构建模型。与现有技术相比,本发明具有提高因果发现的准确性等优点。

    一种低代码数据探索方法及装置

    公开(公告)号:CN118012963A

    公开(公告)日:2024-05-10

    申请号:CN202410163290.5

    申请日:2024-02-05

    Abstract: 本发明公开了一种低代码数据探索方法及装置,装置包括:数据源链接器、多维模型构建器、交互探索分析器和可视报表生成器;数据源链接器链接与管理各类数据源,接收交互探索分析器的命令并执行返回取数结果;多维模型构建器根据数据源链接器提供的目标数据源信息定义逻辑数据集并构建多维分析模型;交互探索分析器通过用户界面进行交互,根据多维分析模型映射结果自动生成命令发送至数据源链接器并根据返回的取数结果进行可视组件渲染;可视报表生成器通过数据看板进行可视组件集成与布局以及全局配置和组件联动的高级探索。本发明能够实现对多种数据源的轻量化快速自定义探索分析和高级探索,适用于精细化运营和商业报表等多种应用场景。

    一种即时云开发方法、装置、设备及介质

    公开(公告)号:CN117971170A

    公开(公告)日:2024-05-03

    申请号:CN202410029803.3

    申请日:2024-01-09

    Abstract: 本发明公开了一种即时云开发方法、装置、设备及介质,包括:镜像制作,用户从DockerFile和用户脚本构建Docker镜像,并将镜像推送至仓库;开发环境远程部署,用户修改YAML配置文件中,并将Helm包部署至Kubernetes集群;本地IDE连接远程开发环境,用户在本地集成开发环境中使用SSH协议连接远程开发环境;本地代码开发,用户在本地进行代码开发,实现本地开发,远程调试/运行。用户通过YAML文件中配置的Ingress地址和端口访问远程程序运行结果。实现了本地开发,远程运行和本地访问。即使在不同的机器上也可以有一个相同的开发环境,屏蔽了跨设备间软硬件环境差异性的问题,有效的保证了软件的跨端移植和跨端协作,有效的提高了开发人员的开发效率。具有良好的通用性和拓展性。

    一种基于语义的多源表格自动匹配方法、装置及存储介质

    公开(公告)号:CN117252183B

    公开(公告)日:2024-04-02

    申请号:CN202311285984.8

    申请日:2023-10-07

    Abstract: 本说明书公开了一种基于语义的多源表格自动匹配方法、装置及存储介质,首先获取两个待匹配的表格,针对每个待匹配的表格,确定该表格的结构和该表格中实体单元格的语义以及列类型。根据每个表格的列类型,进行初步匹配得到初步匹配结果,并将初步匹配结果中存在匹配关系的列作为目标列,计算目标列之间的第一相似度和第二相似度,确定两个表格中的目标列是否匹配。从上述方法中可以看出,本申请对两个表格进行相似度匹配前,先确定出了表格语义和列类型,以对全表格的语义信息进行解析,在语义信息的基础上进行相似度匹配,使得多源表格相似度匹配更加高效准确,方便后续对多源表格进行关联分析。

    一种自适应权重的视觉深度特征重建方法和装置

    公开(公告)号:CN117152752B

    公开(公告)日:2024-02-20

    申请号:CN202311415421.6

    申请日:2023-10-30

    Abstract: 本发明公开了一种自适应权重的视觉深度特征重建方法和装置,将训练集图像分别输入视觉编码器E1和视觉编码器E2,以视觉编码器E2计算得到的重建特征目标#imgabs0#作为视觉编码器E1的监督信号;根据监督特征自身的数值大小,构建特征重建损失#imgabs1#,使视觉编码器E1在训练过程中,更加关注监督特征的重要信息,减弱无关冗余信息对特征学习的影响。实践表明,本发明能够简单有效的提升编码器对数据的表征能力,并且,相对于现有技术方法,不需要额外的训练成本,能够充分利用监督特征的有益知识信息。

    一种多源异构数据关联查询加速方法、装置及设备

    公开(公告)号:CN117056316B

    公开(公告)日:2024-01-26

    申请号:CN202311306042.3

    申请日:2023-10-10

    Abstract: 本说明书公开了一种多源异构数据关联查询加速方法、装置及设备。所述方法包括:获取各异构数据源,根据各异构数据源的描述信息,连接各异构数据源;接收各异构数据源对应的初始查询请求;对指定数据模式的目标数据以及查询请求进行特征抽取,得到特征向量并输入决策模型,确定不同迁移策略的执行时间,进而确定目标迁移策略,根据目标迁移策略判断是否需要进行数据迁移;若是,则按照目标迁移策略进行数据迁移,得到目标数据源;根据目标数据源对查询请求进行解析重建,并根据重建后的目标查询请求生成逻辑执行计划;根据逻辑执行计划确定物理执行计划,并执行目标查询请求对应的数据处理任务。

Patent Agency Ranking