公开(公告)号：CN116594976A

公开(公告)日：2023-08-15

申请号：CN202310379525.X

申请日：2023-04-11

Applicant: 厦门市美亚柏科信息股份有限公司

Inventor： 沈洋 ,  赵文霞 ,  徐璐 ,  刘襄雄 ,  霍伟波 ,  利嘉明

IPC: G06F16/182 ,  G06F16/178 ,  G06F16/23 ,  G06F16/27 ,  G06F16/28 ,  G06F11/14

Abstract: 本发明提出了一种保证分布式文件系统数据同步一致性的方法及系统。该方法包括如下步骤：响应于获取业务数据的更新周期；根据获取的业务数据的实际更新周期对数据进行二次处理；响应于定期对数据全量进行处理，以保证全部数据为最新。在基于HDFS存储+HIVE分析的离线数仓中使用，在各行各业保证业务数据一致性问题中都适用，特别针对同步的数据量规模大、数据实际更新周期短的场景；通过对大数据量的业务数据采用根据业务数据实际更新周期进行二次处理，结合定期全量处理的方式保证数据一致性，由于读源头库的数据量减少，降低了源头库的读压力。

公开(公告)号：CN116910152A

公开(公告)日：2023-10-20

申请号：CN202310733117.X

申请日：2023-06-20

Applicant: 厦门市美亚柏科信息股份有限公司

Inventor： 利嘉明 ,  周成祖 ,  李蔚达 ,  毕永辉 ,  刘襄雄 ,  霍伟波

IPC: G06F16/27 ,  G06F16/25 ,  G06F16/245

Abstract: 公开了一种基于多源多库的实时流处理方法和系统，包括响应于接受客户端的访问请求，网关中心根据请求的数据类型转发到组件提供者，并对客户端的请求参数进行校验；控制器解析客户端的提交信息获取所需的资源数量并向资源管理器请求资源；响应于资源管理器存在足够的可用资源，启动执行器并向资源管理器注册资源占用情况；执行器运行完毕自动释放资源并通知资源管理器。本申请通过流处理控制器和流处理执行器的一主多从架构，充分使用了各服务器资源，减少了分布环境下的数据流量，并提高了数据传输的安全性。

公开(公告)号：CN116561379A

公开(公告)日：2023-08-08

申请号：CN202310382291.4

申请日：2023-04-11

Applicant: 厦门市美亚柏科信息股份有限公司

Inventor： 田浩 ,  周成祖 ,  毕永辉 ,  刘襄雄 ,  霍伟波 ,  利嘉明

IPC: G06F16/901 ,  G06F16/903

Abstract: 本发明提出了一种基于图库的关系刻画方法及其系统，包括：获取并采集多源异构数据，对获取的所述多源异构数据分析并进行实体抽象，所述实体抽象包括将业务数据抽象成对某一实体的描述或某一实体与另一实体之间关系的描述；将不同记录或不同业务系统中的实体进行实体融合，以刻画不同事件中实体间的联系；利用图数据库将数据组织成实体、属性、表示实体间关系的边，并存储为key‑value的底层数据结构；借助图库对实体及关系的高效存储，通过关系检索迅速定位到特定实体，并高效扩线至相关的关系。该发明简化了数据预计算过程，降低了实施成本，确保了数据的实时性，同时基于精准的扩线查询，大大提高了关系检索的效率，这也保证了系统的稳定性。