公开(公告)号：CN118277478A

公开(公告)日：2024-07-02

申请号：CN202211659524.2

申请日：2022-12-22

Applicant: 华为云计算技术有限公司

Inventor： 康祥 ,  宋立勇 ,  蔺若林 ,  瓦伦廷·多罗什丘克 ,  符文·洪博斯塔德

IPC: G06F16/27 ,  G06F16/17 ,  G06F16/23

Abstract: 本申请公开了一种处理数据库的方法、装置及存储介质，属于数据存储技术领域。所述方法应用于AP引擎包括的代理模块，AP引擎还包括多个目的数据库。在所述方法中，代理模块接收TP引擎发送的第一逻辑日志，TP引擎包括多个源数据库，该多个源数据库与该多个目的数据库对应，每个目的数据库分别包括每个目的数据库对应的源数据库中的数据，第一逻辑日志用于描述TP引擎处理第一数据库所使用的第一处理操作，该多个源数据库包括第一数据库。代理模块确定第一数据库对应的第二数据库，该多个目的数据库包括第二数据库。代理模块基于第一逻辑日志处理第二数据库。本申请能够减少网络资源的占用。

公开(公告)号：CN117951141A

公开(公告)日：2024-04-30

申请号：CN202211298222.7

申请日：2022-10-21

Applicant: 华为云计算技术有限公司

Inventor： 康祥 ,  宋立勇 ,  蔺若林 ,  斯蒂格·巴肯 ,  符文·洪博斯塔德

IPC: G06F16/23 ,  G06F16/22 ,  G06F16/215 ,  G06F9/46 ,  G06F16/2453

Abstract: 本申请公开了一种数据处理方法及装置，属于数据库技术领域。分析处理引擎获取来自事务处理引擎的增量数据。分析处理引擎根据增量数据更新存储表。该存储表采用列式存储格式。该存储表包括数据信息列和有效性指示信息列。增量数据以数据行的形式存储在数据信息列中。有效性指示信息列用于指示数据信息列中的数据行有效或无效。分析处理引擎可基于有效性指示信息列过滤数据信息列中的无效数据行而读取数据信息列中的有效数据行，从而实现快速数据去重，有效性指示信息列的数据量较小且能够实现对数据有效性的快速更新，节约了存储资源且提高了数据时效性。