一种数据处理的方法和设备
    1.
    发明公开

    公开(公告)号:CN116974710A

    公开(公告)日:2023-10-31

    申请号:CN202210422903.3

    申请日:2022-04-21

    Abstract: 本申请实施例公开了一种数据处理的方法和设备,用于提升机器学习算法的计算效率。本申请实施例方法包括:获取有向无环图DAG,DAG携带计算节点和计算节点的输入和输出数据;获取计算节点的预测执行时间;根据DAG和预测执行时间生成事件时间轴;根据事件时间轴对目标数据进行第一调度和第二调度,第一调度指示在第一时刻卸载目标数据,第二调度指示在第二时刻预取目标数据,目标数据为计算节点的输入或输出数据,目标数据为未被调度过的数据,第一时刻至目标数据的下一次访问事件开始时刻大于完成一次目标数据的卸载和预取所需的时长,第二时刻至目标数据的下一次访问事件开始时刻大于完成一次目标数据的预取所需的时长。

    机器学习算法的参数调优方法及系统

    公开(公告)号:CN111260078A

    公开(公告)日:2020-06-09

    申请号:CN202010036816.5

    申请日:2020-01-14

    Abstract: 一种机器学习算法的参数调优方法及系统,具有自动化、快速高效及具有普适性,属于机器学习领域。本发明包括:S1、输入用户数据集和待调参数算法,提取用户数据集的特征;S2、在神经网络数据库中,找到待调参数算法的神经网络,将S1提取的特征输入该神经网络中,该神经网络输出待调参数算法的参数;所述神经网络数据库包括根据各种机器学习算法建立及训练好的神经网络,具体构建方法为:构建适用于机器学习算法的数据集的知识库;提取知识库中每个数据集的特征;找到在各数据集上运行各机器学习算法的最优参数;建立每个机器学习算法的神经网络,利用数据集的特征和对应的最优参数作为训练集对对应的神经网络进行训练,获得训练好的神经网络。

    面向云边端协同查询的深度学习代价估计系统、方法及设备

    公开(公告)号:CN114911823B

    公开(公告)日:2025-04-04

    申请号:CN202210319734.0

    申请日:2022-03-29

    Abstract: 面向云边端协同查询的深度学习代价估计系统、方法及设备,属于计算机技术领域。为了解决于目前还没有一种针对云、边、端三种设备联合查询优化的方法的问题。本发明所述系统中以云边端系统的系统节点元信息和协同查询计划树确定面向云边端协同查询的深度学习代价估计模型的模型输入,代价估计模型根据模型输入进行代价估计;代价估计模型采用残差连接的m个树卷积模块,对协同查询计划树编码进行特征融合和特征提取,进而得到针对每个云/边/端节点的查询计划特征;然后使用GCN和树卷积高效融合了查询特征和云边端数据库系统特征,实现了对云边端数据库的准确代价估计。本发明主要用于面向云边端协同查询的深度学习代价估计。

    面向云边端协同查询的深度学习代价估计系统、方法及设备

    公开(公告)号:CN114911823A

    公开(公告)日:2022-08-16

    申请号:CN202210319734.0

    申请日:2022-03-29

    Abstract: 面向云边端协同查询的深度学习代价估计系统、方法及设备,属于计算机技术领域。为了解决于目前还没有一种针对云、边、端三种设备联合查询优化的方法的问题。本发明所述系统中以云边端系统的系统节点元信息和协同查询计划树确定面向云边端协同查询的深度学习代价估计模型的模型输入,代价估计模型根据模型输入进行代价估计;代价估计模型采用残差连接的m个树卷积模块,对协同查询计划树编码进行特征融合和特征提取,进而得到针对每个云/边/端节点的查询计划特征;然后使用GCN和树卷积高效融合了查询特征和云边端数据库系统特征,实现了对云边端数据库的准确代价估计。本发明主要用于面向云边端协同查询的深度学习代价估计。

    基于蒙特卡洛树搜索和强化学习的查询优化系统、方法及设备

    公开(公告)号:CN114637775A

    公开(公告)日:2022-06-17

    申请号:CN202210319758.6

    申请日:2022-03-29

    Abstract: 基于蒙特卡洛树搜索和强化学习的查询优化系统、方法及设备,属于计算机技术领域。为了解决现有的NEO查询优化方法存在兼容性弱和稳定性差的问题,本发明的系统采用与NEO查询优化模型相同的框架,其中价值模型单元:基于价值模型利用查询计划对应的特征预测查询计划的开销;价值模型为神经网络模型;价值模型的输入为一棵向量树,用于表示需要估计开销的查询计划,向量树的拓扑结构为二叉树结构,各节点编码按照树的层序遍历顺序依次拼接;节点的节点特征由节点信息的编码组成;查询计划搜索单元采用蒙特卡洛树搜索方法,根据查询计划‑>时间开销的预测做查询计划搜索,从搜索空间中生成一个执行计划。主要用于计算机中的查询优化。

Patent Agency Ranking