一种基于多计算引擎的海量数据在线分析方法及其系统

    公开(公告)号:CN117076558A

    公开(公告)日:2023-11-17

    申请号:CN202310875305.6

    申请日:2023-07-17

    Abstract: 本发明提出了一种基于多计算引擎的海量数据在线分析方法及其系统,包括:响应于第三方应用发起的作业请求,并将所述作业请求提交到web端在线引擎作业队列;引擎作业提交执行器EJSR轮询会话计算引擎作业队列,并取出作业信息JCI提交给会话计算引擎WebActor;启动会话计算引擎WebActor,接收到所述作业信息后,将作业执行条件JEC发布到远程消息队列MQT,Web服务启动后自动启动会话计算引擎Actor,并订阅远程消息队列主题MQT;同时启动作业执行器JER,所述作业执行器JER不断轮询作业队列,作业执行者JERA调用具体引擎进行处理。通过调用基于多计算引擎的海量数据在线分析接口不仅可以提高数据的处理效率、计算的可靠性,还可以提高系统的灵活性和可扩展性,也有利于降低系统维护成本。

    一种多个服务器的管理方法、系统及计算机存储介质

    公开(公告)号:CN111600749B

    公开(公告)日:2023-01-24

    申请号:CN202010358132.7

    申请日:2020-04-29

    Abstract: 本发明提供了一种服务器的管理方法、系统及计算机存储介质,多个服务器包括管理服务器和业务节点服务器,所述方法包括:在管理服务器处对业务节点服务器进行注册;根据已经注册的业务节点服务器的业务类型,在业务节点服务器中确定每种业务类型的业务管理服务器;管理服务器发送第一控制指令至业务管理服务器;业务管理服务器根据第一控制指令控制与业务管理服务器的业务类型相同的服务器。根据本发明的方法、系统及计算机存储介质,通过统一的管理入口,对相同业务类型的服务器进行批量操作,从而减少了大量服务器的管理和维护时间,减少相应的人力成本,以及降低了对网络和计算资源的占用,提高了服务器的管理效率。

    一种提升5G溯源关联正确性的方法及系统

    公开(公告)号:CN115442277A

    公开(公告)日:2022-12-06

    申请号:CN202211038725.0

    申请日:2022-08-28

    Abstract: 本发明提出了一种提升5G溯源关联正确性的方法,该方法包括如下步骤:获取流量信息,采集所述流量信息并进行标记;解析所述流量信息,进一步提取与溯源关联相关的所需信息;以及根据预设的关联关系对提取的所述信息采取回溯操作。通过以实时采集时间为关联基础,通过回溯处理手段将用户流量的关联关系设置为三种置信度,其中逻辑可信为最优置信度,当出现丢包导致用户信息关联出现错误时,回溯之前的关联信息,并将此关联关系设置为弱可信,解决了控制面和用户面跨地区传输时延或者丢包导致的关联错误问题,提升了5G用户溯源关联的正确性,为后续溯源研判提供重要依据。

    一种用于人脸图像质量的评价方法和系统

    公开(公告)号:CN112215831B

    公开(公告)日:2022-08-26

    申请号:CN202011133726.4

    申请日:2020-10-21

    Abstract: 本发明给出了一种用于人脸图像质量的评价方法和系统,包括获取模糊图像与待分析人脸图像的相邻像素灰度值的变化值;获取待分析人脸图像中的人脸边界,根据人脸边界获取人脸中心点在待分析人脸图像中的坐标信息以及人脸图像的长和宽,利用坐标信息分别计算获得人脸中心点与待分析人脸图像的中心以及鼻尖与人脸边界的中心点的偏移度、眼睛、嘴角的倾斜度、脸部左右对称度;将上述数据归一化后作为训练数据输入机器学习模型;通过监督学习算法对训练数据进行非线性拟合,利用网格搜索法对机器学习模型进行选择以及参数调优,获取最终人脸图像质量的分析模型。本发明对人眼评价结果有良好的拟合性,能适用于各种硬件平台且耗时少能确保系统实时性。

    一种基于规则引擎的主题检索方法和系统

    公开(公告)号:CN113626427B

    公开(公告)日:2022-07-22

    申请号:CN202110767561.4

    申请日:2021-07-07

    Abstract: 本发明给出了一种基于规则引擎的主题检索方法和系统,包括分析检索条件的关键特征和不同类型对象主题的数据特征,根据不同主题同一属性的互斥关系和同一主题不同属性的关联关系,动态调整主题检索的路径规则;根据路径规则检索对应的主题库,基于不同主题的依存关系,动态调整检索结果的合并规则。该方法和系统基于海量数据场景下,可以分析不同类型的对象主题的特征,自动匹配对应的主题检索规则,识别准确率和效率都有大幅度提高,大大提高大数据的分析利用价值,减少大数据系统的建设成本。

    可定制化的多源数据库的数据抽取方法、装置及存储介质

    公开(公告)号:CN110032594B

    公开(公告)日:2022-04-29

    申请号:CN201910218315.6

    申请日:2019-03-21

    Abstract: 本发明提供了一种可定制化的多源数据库的数据抽取方法、装置及存储介质,该方法包括:获取数据抽取系统的当前时间,作为数据抽取的开始时间;从ETL的日志表中的到当前的最小FLAG作为抽取数据起始点;接收输入的数据抽取策略,所述抽取策略包括待抽取的数据源;在待抽取的数据源中从抽取数据起始点基于数据抽取策略进行数据的抽取,抽取完成后将抽取记录到日志表。本发明提出了数据抽取系统,租户向该平台提交数据抽取需求后,经管理员审批通过,所述服务服务提供商完成数据的抽取并反馈至租户,这样租户就不再需要维护独立的数据抽取系统,提高了系统性能,且数据的抽取过程可通过审批机制提高数据系统的安全性。

    基于车辆语义轨迹数据的停留点分析方法及其系统

    公开(公告)号:CN108170793B

    公开(公告)日:2020-10-09

    申请号:CN201711447961.7

    申请日:2017-12-27

    Abstract: 本发明提供一种基于车辆语义轨迹数据的停留点分析方法及其系统,方法包括:获取车辆在预设时长内的轨迹数据;依据所述轨迹数据获取可疑停留点集合;对所述可疑停留点集合做聚类分析,得到至少一个的聚类点集合;基于语义分析每个聚类点集合,获取对应一预设关键词的聚类中心。本发明基于车辆预设历史时间内的轨迹数据进行分析处理,先获取可疑停留点集合,再据此做聚类分析,在聚类结果中根据实际业务需求做基于语义的聚类中心锁定,获取所有聚类中心作为最终停留点结果。能够为后续实际应用提供决策信息,满足现实业务需求。

    一种基于多维标签的数据质量检测方法和系统

    公开(公告)号:CN111563074A

    公开(公告)日:2020-08-21

    申请号:CN202010351007.3

    申请日:2020-04-28

    Abstract: 本申请公开了一种基于多维标签的数据质量检测方法和系统。基于已知类型数据项和检测规则库、利用多维标签分析算法为已知类型数据项打上对应的维度标签,并利用维度标签动态调整已知类型数据项的质量检测流程;基于未知类型数据项并结合检测规则库,利用规则相似性评估算法为未知类型数据源推荐质量检测引擎,并对所述质量检测引擎的结果进行验证,获得有效质量检测规则集合;保存已知类型数据项的质量检测流程和有效质量检测规则集合并更新多维标签规则库。该方案通过多维标签算法和规则相似性评估两种算法,解决固定检测规则模板引起的准确性差和时效性弱等问题,实现数据质量的快速准确检测且及时反馈检测结果,提升数据源的质量。

Patent Agency Ranking