大数据管理方法及大数据管理平台

    公开(公告)号:CN116881340A

    公开(公告)日:2023-10-13

    申请号:CN202310658816.2

    申请日:2023-06-05

    Abstract: 本申请公开了一种大数据管理方法及一种大数据管理平台,该方法包括获取多个通信基础数据;依次确定每个所述通信基础数据是否符合预设的数据标准;将不符合所述数据标准的通信基础数据确定为目标基础数据;判断所述目标基础数据是否属于修订数据,若所述目标基础数据属于修订数据,则对所述目标基础数据进行修订,使经过修订的所述目标基础数据符合所述数据标准,如此,确定经过修改后,可以符合数据标准的数据,并对该数据进行修订使其符合数据标准,随后实现存储符合统一数据标准的通信基础数据,进一步提高管理通信基础数据的简易度,从而,提高通信基础数据的完整性以及准确性。

    一种分布式数据管理系统及数据存储方法

    公开(公告)号:CN112988904B

    公开(公告)日:2025-01-03

    申请号:CN202110441950.8

    申请日:2021-04-23

    Abstract: 本申请公开了一种分布式数据管理系统及数据存储方法,本申请通过对结果集数据进行动态抽样,得到结果集数据的索引列数据,再对索引列数据进行抽样处理,得到结果集数据的成本样例数据;数据量预估单元根据成本样例数据,结合数据量预估模型,以通过数据量预估模型的运算,获得结果集数据的数据量分值;数据入库处理单元根据数据量分值与预置的数据量阈值的比较结果,结合比较结果与数据存储方式的对应关系,以按照比较结果对应的数据存储方式,将结果集数据存入存储节点,基于数据量大小的不同,对应采取不同的存储方式,解决了现有的分布式数据管理系统对于结果集的处理存在的资源浪费、运算效率低的技术问题。

    一种事件抽取方法
    3.
    发明授权

    公开(公告)号:CN113821605B

    公开(公告)日:2024-05-14

    申请号:CN202111187682.8

    申请日:2021-10-12

    Abstract: 本申请公开了一种事件抽取方法,该方法包括:对目标文本进行分析,得到目标文本对应的分词结果、词性标注结果和命名实体结果;对所述分词结果进行依存句法分析,得到句法树;根据所述句法树和所述词性标注结果,识别触发词,得到触发词列表;根据所述触发词列表、所述句法树和所述命名实体结果,得到论元及论元角色;根据所述触发词列表,确定事件类型。可见,本申请能够根据词性标注结果、所述命名实体结果和由所述分词结果得到的所述句法树,得到目标文本的事件抽取结果。目标文本的事件抽取结果,就是目标文本的关键信息,用户通过所述目标文本的关键信息就可以知道所述目标文本的主要内容,从而帮助用户高效地从海量文本数据中获取所需知识。

    一种知识挖掘系统及方法

    公开(公告)号:CN112163017A

    公开(公告)日:2021-01-01

    申请号:CN202011032121.6

    申请日:2020-09-27

    Abstract: 本申请公开了一种知识挖掘系统及方法,系统包括:算子仓库用于为资源数据的建模提供算子工具,通过算子工具实现不同的逻辑功能,算子工具包括公共算子和自定义算子;建模平台用于根据算子工具和资源数据进行数据分析模型的构建,并将得到的数据分析模型封装成特定协议;云擎服务模块用于解析各种不同的特定协议,根据解析得到的特定协议内容调用底层大数据组件功能接口,并执行预置数据处理任务,得到目标数据,目标数据为屏蔽访问差异后的同构数据。本申请能够解决现有技术针对海量数据的联合分析缺乏有效的统一处理手段,导致跨领域数据的知识挖掘费时费力且效率低下的技术问题。

    基于知识图谱的社交关系分析方法、装置及设备

    公开(公告)号:CN110390039A

    公开(公告)日:2019-10-29

    申请号:CN201910677028.1

    申请日:2019-07-25

    Inventor: 赖伟

    Abstract: 本申请公开了一种基于知识图谱的社交关系分析方法,在获取针对目标对象的分析请求之后,能够基于预先构建的社交关系知识图谱,根据分析请求生成目标对象的社交关系网络,进而对该社交关系网络进行分析,得到目标对象的社交关系分析结果。可见,该方法不仅能够基于社交关系知识图谱构建目标对象的社交关系网络,还能够对社交关系网络进行分析,得到社交关系分析结果,实现了整合检索能力和分析能力的目的,提升了社交关系分析过程的便利性。此外,本申请还提供了一种基于知识图谱的社交关系分析装置、设备及计算机可读存储介质,其作用与上述方法相对应。

    一种容器云服务实例收缩的控制系统和方法

    公开(公告)号:CN112068934B

    公开(公告)日:2023-02-10

    申请号:CN202010934789.3

    申请日:2020-09-08

    Abstract: 本申请公开了一种容器云服务实例收缩的控制系统和方法,弹性伸缩控制器根据预置服务收缩策略,通过资源指标和服务指标判断服务实例是否需要收缩,在其需要收缩时发送实例调整指令至服务实例控制器,资源指标为第一预置时间段的内存的使用率,服务指标为第二预置时间段的实例服务平均响应时长;服务实例控制器在选择待删除实例后,阻止其接收任务,并查询待删除实例的任务状态,当其不存在未完成的任务时,删除待删除实例,解决了现有的容器收缩机制以一段时间内的平均资源使用量作为容器数量收缩的评判依据,存在只以计算资源作为评判标准,收缩的时机判断不精确,以及没有考虑到待收缩的容器上有未跑完的任务,影响业务数据的准确性的技术问题。

    一种文本主题分类方法、装置、设备及存储介质

    公开(公告)号:CN115186652A

    公开(公告)日:2022-10-14

    申请号:CN202210820489.1

    申请日:2022-07-13

    Abstract: 本申请公开了一种文本主题分类方法、装置、设备及存储介质,包括:获取用户输入的信息文本,信息文本包含至少一个文本主题;确定与至少一个文本主题对应的一级标签;确定预定义主题的锚定词,根据锚定词对每一文本主题下的句子进行聚类,得到每一文本主题下的多个聚类结果;根据信息文本与每一文本主题之间的相关性,确定每一文本主题下的每一聚类结果在信息文本的任一句段中的概率分布;依据每一文本主题下的每一聚类结果在信息文本的任一句段中的概率分布,将每一文本主题下概率最高的聚类结果作为每一文本主题下的二级标签,以相关性转换为概率分布的方式表征信息文本与文本主题之间的关联度,故而可控性和可解释性较好,使聚类结果更加切实。

    资源质量监控的智能化预警方法、系统、设备和存储介质

    公开(公告)号:CN114726751A

    公开(公告)日:2022-07-08

    申请号:CN202210360389.5

    申请日:2022-04-07

    Abstract: 本申请提供了一种用于资源质量监控的智能化预警方法、系统、设备及存储介质,收集原始运维指标数据,将原始运维指标数据作为学习目标输入到长短期记忆网络LSTM中;基于长短期记忆网络LSTM对原始运维指标数据的深层数据信息进行回归学习,训练权重和偏置确定的预测模型;利用预测模型进行资源质量监控,根据收集的当前时间段的时间序列指标数据预测下一时间段的数据指标,并为数据指标设定动态阈值;根据动态阈值筛选下一时间段的有效告警信息,根据有效告警信息进行智能化预警。本发明使用的LSTM网络具有能够最大程度发挥历史信息的价值,预测未来更为准确的数据值,能够有效的为运维人员降低时间成本,维护服务稳定运行。

    一种事件抽取方法
    9.
    发明公开

    公开(公告)号:CN113821605A

    公开(公告)日:2021-12-21

    申请号:CN202111187682.8

    申请日:2021-10-12

    Abstract: 本申请公开了一种事件抽取方法,该方法包括:对目标文本进行分析,得到目标文本对应的分词结果、词性标注结果和命名实体结果;对所述分词结果进行依存句法分析,得到句法树;根据所述句法树和所述词性标注结果,识别触发词,得到触发词列表;根据所述触发词列表、所述句法树和所述命名实体结果,得到论元及论元角色;根据所述触发词列表,确定事件类型。可见,本申请能够根据词性标注结果、所述命名实体结果和由所述分词结果得到的所述句法树,得到目标文本的事件抽取结果。目标文本的事件抽取结果,就是目标文本的关键信息,用户通过所述目标文本的关键信息就可以知道所述目标文本的主要内容,从而帮助用户高效地从海量文本数据中获取所需知识。

    一种分布式数据管理系统及数据存储方法

    公开(公告)号:CN112988904A

    公开(公告)日:2021-06-18

    申请号:CN202110441950.8

    申请日:2021-04-23

    Abstract: 本申请公开了一种分布式数据管理系统及数据存储方法,本申请通过对结果集数据进行动态抽样,得到结果集数据的索引列数据,再对索引列数据进行抽样处理,得到结果集数据的成本样例数据;数据量预估单元根据成本样例数据,结合数据量预估模型,以通过数据量预估模型的运算,获得结果集数据的数据量分值;数据入库处理单元根据数据量分值与预置的数据量阈值的比较结果,结合比较结果与数据存储方式的对应关系,以按照比较结果对应的数据存储方式,将结果集数据存入存储节点,基于数据量大小的不同,对应采取不同的存储方式,解决了现有的分布式数据管理系统对于结果集的处理存在的资源浪费、运算效率低的技术问题。

Patent Agency Ranking