公开(公告)号：CN118779343A

公开(公告)日：2024-10-15

申请号：CN202310344765.6

申请日：2023-03-31

Applicant: 华为云计算技术有限公司

Inventor： 李丰 ,  张秦 ,  孟杰 ,  朱紫兴

IPC: G06F16/2453 ,  G06F16/22 ,  G06F16/23 ,  G06F16/2458 ,  G06F16/2457 ,  G06F17/16 ,  G06F17/18

Abstract: 本申请公开了一种数据的预处理方法及装置，涉及计算机技术领域。该方法应用于计算设备的中央处理器CPU，该方法包括：获取第一原始数据；创建用于构建与第一原始数据对应的第一矩阵的第一索引列。其中，第一索引列与第一原始数据的元素列的列长度相同，且包括第一原始数据的元素列中每个元素的索引值。进而，在通过矩阵运算加速算法时，通过本申请方法能够构建出对原始数据执行与查询算法对应的矩阵乘法时所需的、与原始数据对应的矩阵，以实现算法加速。

公开(公告)号：CN118760509A

公开(公告)日：2024-10-11

申请号：CN202310308210.6

申请日：2023-03-27

Applicant: 华为云计算技术有限公司

Inventor： 孟杰 ,  张秦 ,  刘江 ,  李丰 ,  王成

IPC: G06F9/50

Abstract: 本申请涉及一种应用于大数据的数据处理系统及数据处理方法，数据处理系统包括实现引擎层的第一子系统、实现缓存加速层的第二子系统和实现存储层的第三子系统，缓存加速层和所述存储层包括GPU处理单元，第一子系统用于根据查询请求确定由GPU处理单元执行的原始算子及其调度计划，将调度计划输出至第二子系统；第二子系统根据调度计划将原始算子转换为中间表示算子并调度至第二执行对象；第二子系统使用并发模型驱动第三执行对象执行中间表示算子，执行结果由第三执行对象输出至第一子系统，执行结果用于得到查询结果。根据本申请实施例的数据处理系统，能够降低存算分离场景下的数据搬移成本，提高数据处理效率。

公开(公告)号：CN118132548A

公开(公告)日：2024-06-04

申请号：CN202211508542.0

申请日：2022-11-28

Applicant: 华为云计算技术有限公司

Inventor： 林大云 ,  张秦 ,  王成

IPC: G06F16/22 ,  G06F16/2455 ,  G06F16/245 ,  G06F16/25 ,  G06F3/06

Abstract: 本申请提供一种数据处理的方法，包括：接收数据访问请求，根据数据访问请求从缓存服务层中读取数据，缓存服务层中的数据是采用列式存储的，并且是按照第一粒度存储的，第一粒度是根据缓存服务层中的数据的列和行组RG确定的。相比于按照文件这一粒度进行存储，采用比文件粒度更小的粒度存储数据，可以以更小的粒度判断数据的冷热情况，更好的利用缓存服务层，提升缓存服务层的空间利用率，也有利于提升缓存命中率。此外，本申请还公开了一种数据处理系统、装置及可读存储介质，其技术效果与上述方法的技术效果相对应。