公开(公告)号：CN118760509A

公开(公告)日：2024-10-11

申请号：CN202310308210.6

申请日：2023-03-27

Applicant: 华为云计算技术有限公司

Inventor： 孟杰 ,  张秦 ,  刘江 ,  李丰 ,  王成

IPC: G06F9/50

Abstract: 本申请涉及一种应用于大数据的数据处理系统及数据处理方法，数据处理系统包括实现引擎层的第一子系统、实现缓存加速层的第二子系统和实现存储层的第三子系统，缓存加速层和所述存储层包括GPU处理单元，第一子系统用于根据查询请求确定由GPU处理单元执行的原始算子及其调度计划，将调度计划输出至第二子系统；第二子系统根据调度计划将原始算子转换为中间表示算子并调度至第二执行对象；第二子系统使用并发模型驱动第三执行对象执行中间表示算子，执行结果由第三执行对象输出至第一子系统，执行结果用于得到查询结果。根据本申请实施例的数据处理系统，能够降低存算分离场景下的数据搬移成本，提高数据处理效率。

公开(公告)号：CN117349277A

公开(公告)日：2024-01-05

申请号：CN202210743243.9

申请日：2022-06-28

Applicant: 华为云计算技术有限公司

Inventor： 王成 ,  彭政钦

IPC: G06F16/22 ,  G06F16/2455

Abstract: 本申请提供一种生成物化视图候选集的方法和数据库管理装置，该方法包括：获取至少两个数据库操作语句之后将每个数据库操作语句转换成执行计划树，确定执行计划树中非叶节点的目标哈希值之后，根据非叶节点的目标哈希值将全部非叶节点分成多个节点集合，再确定与每个节点集合的最高非叶节点对应的目标子树，当至少两个目标子树的根节点具有相同的目标哈希值时，将至少两个目标子树进行合并；根据全部或部分目标子树生成物化视图候选集。哈希值匹配比连接关系匹配更快，因此可以提高生成物化视图候选集的效率。

公开(公告)号：CN118132548A

公开(公告)日：2024-06-04

申请号：CN202211508542.0

申请日：2022-11-28

Applicant: 华为云计算技术有限公司

Inventor： 林大云 ,  张秦 ,  王成

IPC: G06F16/22 ,  G06F16/2455 ,  G06F16/245 ,  G06F16/25 ,  G06F3/06

Abstract: 本申请提供一种数据处理的方法，包括：接收数据访问请求，根据数据访问请求从缓存服务层中读取数据，缓存服务层中的数据是采用列式存储的，并且是按照第一粒度存储的，第一粒度是根据缓存服务层中的数据的列和行组RG确定的。相比于按照文件这一粒度进行存储，采用比文件粒度更小的粒度存储数据，可以以更小的粒度判断数据的冷热情况，更好的利用缓存服务层，提升缓存服务层的空间利用率，也有利于提升缓存命中率。此外，本申请还公开了一种数据处理系统、装置及可读存储介质，其技术效果与上述方法的技术效果相对应。

公开(公告)号：CN117667329A

公开(公告)日：2024-03-08

申请号：CN202211046645.X

申请日：2022-08-30

Applicant: 华为云计算技术有限公司

Inventor： 佟毓来 ,  王成

IPC: G06F9/48

Abstract: 本申请实施例提供了一种任务管理方法及装置。该方法包括：获取计算设备的计算任务列表，计算任务列表中包含多个计算任务；当多个计算任务中存在至少一个第一计算任务组和至少一个第二计算任务组时，生成任务调度信息；其中，每个第一计算任务组中包含至少一个需要从第一存储设备读取输入数据的计算任务；每个第二计算任务组中包含至少一个不需要从第一存储设备读取输入数据的计算任务；第一调度信息用于指示多个计算任务的执行顺序；在执行顺序中执行时间相邻的两个第一计算任务组之间存在一个或多个第二计算任务组，和/或，执行时间相邻的两个第二计算任务组之间存在一个第一计算任务组。这样，能够更加充分的利用存储资源，提高任务执行效率。