公开(公告)号：CN116910152A

公开(公告)日：2023-10-20

申请号：CN202310733117.X

申请日：2023-06-20

Applicant: 厦门市美亚柏科信息股份有限公司

Inventor： 利嘉明 ,  周成祖 ,  李蔚达 ,  毕永辉 ,  刘襄雄 ,  霍伟波

IPC: G06F16/27 ,  G06F16/25 ,  G06F16/245

Abstract: 公开了一种基于多源多库的实时流处理方法和系统，包括响应于接受客户端的访问请求，网关中心根据请求的数据类型转发到组件提供者，并对客户端的请求参数进行校验；控制器解析客户端的提交信息获取所需的资源数量并向资源管理器请求资源；响应于资源管理器存在足够的可用资源，启动执行器并向资源管理器注册资源占用情况；执行器运行完毕自动释放资源并通知资源管理器。本申请通过流处理控制器和流处理执行器的一主多从架构，充分使用了各服务器资源，减少了分布环境下的数据流量，并提高了数据传输的安全性。

公开(公告)号：CN116795816A

公开(公告)日：2023-09-22

申请号：CN202310603864.1

申请日：2023-05-26

Applicant: 厦门市美亚柏科信息股份有限公司

Inventor： 霍伟波 ,  刘襄雄 ,  刘超 ,  张元兰

IPC: G06F16/21 ,  G06F16/23 ,  G06F16/25 ,  G06F16/27 ,  G06F21/62 ,  H04L67/1095 ,  H04L67/55 ,  H04L67/566

Abstract: 公开了一种基于流式处理的数仓建设方法和系统，包括对结构化或非结构化的标准数据包进行业务数据解析并还原，监控捕获数据库的变动进行解析处理，并将数据推送至数据汇聚层ODS；数据汇聚层ODS对数据进行清洗、转换、脱敏、关联形成数据明细层DWD；数据明细层DWD中的数据通过数据分发形成汇总数据层DWS，或根据业务需要将数据同步到云组件形成标准化数据查询服务；汇总数据层DWS将数据明细层DWD通过MYLink SQL的数据分发形成宽表或专题库，并π将计算后的数据输出到云组件，提供服务查询及离线计算分析。本申请的基于流式处理的数仓建设方法和系统对数据实时性要求高的场景都有很强的适应性，能快速部署，易维护的优点，大大降低企业的成本与提高适应性。

公开(公告)号：CN116594976A

公开(公告)日：2023-08-15

申请号：CN202310379525.X

申请日：2023-04-11

Applicant: 厦门市美亚柏科信息股份有限公司

Inventor： 沈洋 ,  赵文霞 ,  徐璐 ,  刘襄雄 ,  霍伟波 ,  利嘉明

IPC: G06F16/182 ,  G06F16/178 ,  G06F16/23 ,  G06F16/27 ,  G06F16/28 ,  G06F11/14

Abstract: 本发明提出了一种保证分布式文件系统数据同步一致性的方法及系统。该方法包括如下步骤：响应于获取业务数据的更新周期；根据获取的业务数据的实际更新周期对数据进行二次处理；响应于定期对数据全量进行处理，以保证全部数据为最新。在基于HDFS存储+HIVE分析的离线数仓中使用，在各行各业保证业务数据一致性问题中都适用，特别针对同步的数据量规模大、数据实际更新周期短的场景；通过对大数据量的业务数据采用根据业务数据实际更新周期进行二次处理，结合定期全量处理的方式保证数据一致性，由于读源头库的数据量减少，降低了源头库的读压力。

公开(公告)号：CN114254708B

公开(公告)日：2025-01-17

申请号：CN202111581766.X

申请日：2021-12-22

Applicant: 厦门市美亚柏科信息股份有限公司

Inventor： 毕永辉 ,  毛佳慧 ,  白建华 ,  孙浩 ,  林志贤 ,  霍伟波

IPC: G06F18/2411 ,  G06F18/211

Abstract: 本申请实施例提出了一种基于SVM‑WAMCUSUM控制图的高维数据流异常监控方法及系统，该方法包括：获取高维数据流，按照类别信息对高维数据流进行划分获得原始特征集合；根据原始特征集合对SVM进行训练，得到SVM的最优分类超平面函数；利用最优分类超平面函数计算每个特征的得分，进行排序获得特征排序集，不断删除得分最小的特征并对特征排序集进行更新，利用剩余特征再次训练SVM，直到所有特征均被筛选，结束循环、输出最终的特征排序集；保留重要性排名靠前的k个特征，将其训练样本组成数据集Y；根据Y计算出漂移δ的一个无偏估计量#imgabs0#并将Y和#imgabs1#分别代入WACMCUSUM图和WAPMCUSUM图，计算过程控制统计量和控制限，完成控制图的绘制，当统计量大于控制限时，控制图启动失控信号。

公开(公告)号：CN116561379A

公开(公告)日：2023-08-08

申请号：CN202310382291.4

申请日：2023-04-11

Applicant: 厦门市美亚柏科信息股份有限公司

Inventor： 田浩 ,  周成祖 ,  毕永辉 ,  刘襄雄 ,  霍伟波 ,  利嘉明

IPC: G06F16/901 ,  G06F16/903

Abstract: 本发明提出了一种基于图库的关系刻画方法及其系统，包括：获取并采集多源异构数据，对获取的所述多源异构数据分析并进行实体抽象，所述实体抽象包括将业务数据抽象成对某一实体的描述或某一实体与另一实体之间关系的描述；将不同记录或不同业务系统中的实体进行实体融合，以刻画不同事件中实体间的联系；利用图数据库将数据组织成实体、属性、表示实体间关系的边，并存储为key‑value的底层数据结构；借助图库对实体及关系的高效存储，通过关系检索迅速定位到特定实体，并高效扩线至相关的关系。该发明简化了数据预计算过程，降低了实施成本，确保了数据的实时性，同时基于精准的扩线查询，大大提高了关系检索的效率，这也保证了系统的稳定性。

公开(公告)号：CN116545993A

公开(公告)日：2023-08-04

申请号：CN202310412383.2

申请日：2023-04-18

Applicant: 厦门市美亚柏科信息股份有限公司

Inventor： 邓伟标 ,  周成祖 ,  刘襄雄 ,  霍伟波 ,  赖太春

IPC: H04L67/02 ,  H04L67/141 ,  G06F3/14

Abstract: 本发明提出了一种实现多路输入显示屏数据可视化的方法及其装置，该方法包括如下步骤：响应于数据交互中心对其他系统产生的数据进行读取并进行分析；将分析后的数据根据可视化控制中心预设的规则发送至前端设备；所述数据交互中心与前端设备建立websocket长连接，并进行界面展示数据的刷新与切换。本发明为适用于客户端为多路输入的显示屏进行数据可视化，既能适配高分辨率服务器进行投放，也能使用多台普通电脑进行投放，能够更加灵活地选用不同的投放设备资源；从展示效果上，能够动态调整每一个数据展示屏上的每个区域模块内容，而不需要改动任何的硬件设备和软件代码。有效降低了开发成本和运维成本；增加数据可视化的投放灵活性。

公开(公告)号：CN114254708A

公开(公告)日：2022-03-29

申请号：CN202111581766.X

申请日：2021-12-22

Applicant: 厦门市美亚柏科信息股份有限公司

Inventor： 毕永辉 ,  毛佳慧 ,  白建华 ,  孙浩 ,  林志贤 ,  霍伟波

IPC: G06K9/62

Abstract: 本申请实施例提出了一种基于SVM‑WAMCUSUM控制图的高维数据流异常监控方法及系统，该方法包括：获取高维数据流，按照类别信息对高维数据流进行划分获得原始特征集合；根据原始特征集合对SVM进行训练，得到SVM的最优分类超平面函数；利用最优分类超平面函数计算每个特征的得分，进行排序获得特征排序集，不断删除得分最小的特征并对特征排序集进行更新，利用剩余特征再次训练SVM，直到所有特征均被筛选，结束循环、输出最终的特征排序集；保留重要性排名靠前的k个特征，将其训练样本组成数据集Y；根据Y计算出漂移δ的一个无偏估计量并将Y和分别代入WACMCUSUM图和WAPMCUSUM图，计算过程控制统计量和控制限，完成控制图的绘制，当统计量大于控制限时，控制图启动失控信号。