一种基于图神经网络的数据血缘发现方法、系统及装置

    公开(公告)号:CN113469280B

    公开(公告)日:2023-06-16

    申请号:CN202110830737.6

    申请日:2021-07-22

    Inventor: 黄勋

    Abstract: 本发明涉及大数据平台构建技术领域,提供一种基于图神经网络的数据血缘发现方法、系统及装置,获取各个表在同一批次下新增的表记录;所述各个表在同一批次下新增的表记录经过训练层之后转换为输出样本集;所述输出样本集经过聚类后得到聚类伪标签;所述输出样本集根据所述聚类伪标签进行分类,得到分类结果,根据所述分类结果与聚类伪标签得到平均分类误差,若所述平均分类误差大于等于误差阈值,则反向传播更新训练层;多次循环执行采样训练过程,迭代更新训练层,直至所述平均分类误差小于误差阈值,则取出训练层中的注意力层,获取各个表之间的血缘关系,本发明在无权限获取DDL和无法获取任务调度流程等场景下,可以使用本方法发现表之间的血缘关系。

    一种基于图神经网络的数据血缘发现方法、系统及装置

    公开(公告)号:CN113469280A

    公开(公告)日:2021-10-01

    申请号:CN202110830737.6

    申请日:2021-07-22

    Inventor: 黄勋

    Abstract: 本发明涉及大数据平台构建技术领域,提供一种基于图神经网络的数据血缘发现方法、系统及装置,获取各个表在同一批次下新增的表记录;所述各个表在同一批次下新增的表记录经过训练层之后转换为输出样本集;所述输出样本集经过聚类后得到聚类伪标签;所述输出样本集根据所述聚类伪标签进行分类,得到分类结果,根据所述分类结果与聚类伪标签得到平均分类误差,若所述平均分类误差大于等于误差阈值,则反向传播更新训练层;多次循环执行采样训练过程,迭代更新训练层,直至所述平均分类误差小于误差阈值,则取出训练层中的注意力层,获取各个表之间的血缘关系,本发明在无权限获取DDL和无法获取任务调度流程等场景下,可以使用本方法发现表之间的血缘关系。

    一种虚拟机内存热迁移的优化方法与装置

    公开(公告)号:CN112286630A

    公开(公告)日:2021-01-29

    申请号:CN202011136630.3

    申请日:2020-10-22

    Abstract: 本发明公开了一种虚拟机内存热迁移的优化方法与装置,初始化虚拟机配置时,在虚拟机内部安装代理软件;在虚拟机启动内存热迁移后,代理软件按照预设周期向虚拟机申请内存,申请到的内存页被标记为回收页;在虚拟机内存热迁移过程中,每次拷贝脏页时基于回收页标记从脏页中过滤掉回收页,进而将剩余脏页从源主机拷贝至宿主机。通过在虚拟机内部安装代理软件,在虚拟机内存热迁移过程中,可利用代理软件不断向源主机的虚拟机申请内存,并被标记为回收页,则在每次拷贝脏页时从脏页中过滤掉agent申请的内存页,从而可减少每次脏页数据的拷贝,提高虚拟机内存热迁移的效率。

    一种故障诊断指令流程生成的方法和装置

    公开(公告)号:CN116775002A

    公开(公告)日:2023-09-19

    申请号:CN202310781815.7

    申请日:2023-06-28

    Inventor: 黄勋

    Abstract: 本发明涉及智能运维领域,特别是涉及一种故障诊断指令流程生成的方法和装置。主要包括:根据句子语料样本构建段落语料样本,使用段落语料样本对语言模型进行训练,直至语言模型的输出结果最优;使用训练后的语言模型对待分析的段落语料进行分析,根据语言模型的分析结果匹配代码形式的诊断指令流程。本发明可以由用户输入的自然语言的诊断描述文本分析出诊断指令和诊断指令的执行顺序,再将诊断指令与诊断函数相匹配,生成代码形式的故障诊断指令流程,使其直接可被下游程序调用,以提升故障诊断自动化效率的。

    一种云平台存储迁移速度控制方法、设备及系统

    公开(公告)号:CN115967724A

    公开(公告)日:2023-04-14

    申请号:CN202211457324.9

    申请日:2022-11-21

    Abstract: 本发明涉及一种云平台存储迁移速度控制方法、设备及系统,该方法包括:获取当前迁移任务的迁移参数,所述迁移参数包括迁移数据量、迁移进度以及优先级参数,且所述优先级参数根据当前迁移任务的重要程度和紧急程度设置;获取当前迁移任务所在节点的任务迁移情况,所述任务迁移情况包括在迁移的任务个数、总迁移数据量、总迁移进度以及优先级参数总和;基于所述当前迁移任务的迁移参数与所述当前迁移任务所在节点的任务迁移情况计算当前迁移任务的带宽分配阈值,并基于所述带宽分配阈值调整对应迁移任务的迁移速度。可根据云平台运行状态和客户实际需求动态调整存储迁移速度和云平台整体迁移并发数量。

    一种基于vDPA实现虚拟网络数据包转发的方法及应用

    公开(公告)号:CN113472624A

    公开(公告)日:2021-10-01

    申请号:CN202110688338.0

    申请日:2021-06-21

    Abstract: 本发明公开了一种基于vDPA实现虚拟网络数据包转发的方法及应用。该方法中,使用vDPA组件及vDPA驱动,在virtio数据平面上实现虚拟机和网卡硬件设备的数据路径直通,使得网卡硬件设备接收到数据包直接发送给虚拟机中用户态程序进行处理,在virtio控制平面中使用virtio控制平面协议作为接口,控制信息通过这些接口和vDPA驱动传递到网卡硬件设备中,从而完成数据平面的配置。本发明使得虚拟机与硬件之间可以直接进行数据包转发,减少了数据包在用户态和内核态中转发带来的开销,提升了虚拟网络中数据包的转发性能。

Patent Agency Ranking