自动优化Storm并行度的方法、终端设备及存储介质

    公开(公告)号:CN107748711B

    公开(公告)日:2021-01-12

    申请号:CN201710960909.5

    申请日:2017-10-17

    Abstract: 本发明公开一种自动优化Storm并行度的方法,包括如下步骤,S1:设置初始并行度Nmax和最小观察时长T,进入S2;S2:配置并保存并行度N及相关参数,进入S3;S3:提交计算拓扑到Storm集群,进入S4;S4:开始观察,对定时器、每个消息源和消息处理者的执行时长和执行次数清零,进入S5;S5:累加并记录观察时长T0和每个消息源和消息处理者的执行时长和执行次数,直到T0大于或等于T,进入S6;S6:计算每个消息源和消息处理者的实时并行度,并和各自的N进行比较,若相等,则返回S4,否则进入S7;S7:将S6中计算的实时并行度赋值给并行度N并保存,此时若Storm停止运行,则退出,否则返回S4。

    基于数据驱动的研判分析方法、装置、终端和存储介质

    公开(公告)号:CN107633085B

    公开(公告)日:2020-06-19

    申请号:CN201710894179.3

    申请日:2017-09-28

    Abstract: 本发明涉及一种基于数据驱动的研判分析方法和装置,所述方法可包括以下步骤:S1.输入数据源,生成数据对象,具体过程为:选择需要输入的数据源,以人员线索数据、身份线索数据和行为线索数据三个类别来进行数据输入,生成包含数据类别、数据量、归属人和生成时间属性的数据对象,并赋予数据对象对应的分析方法;S2.调用数据对象对应的分析方法,产生分析结果;S3.判断分析结果是否表明研判成功,若是,则转至步骤S6,否则转至S4;S4.判断是否需要进一步利用该分析结果,若是,则生成新的数据对象,转至步骤S5;否则表明分析失败,转至步骤S6;S5.重复S2‑S4,直到整个分析过程结束;S6.记录步骤S2‑S5的整个分析过程,形成分析树。

    一种数据提取方法、装置及介质

    公开(公告)号:CN110851675A

    公开(公告)日:2020-02-28

    申请号:CN201910960391.4

    申请日:2019-10-10

    Abstract: 本发明提供了一种数据提取方法、装置及存储介质,基于复杂特征自适应匹配方法和可变滑动窗口方法进行数据的提取,该方法首先从多个数据源中获取海量的数据后进行聚类,并为聚类后的每一类别数据设置唯一的数据标签;然后根据所述数据标签判断该类别数据是否为已知类型的数据,如果是,则使用复杂特征自适应匹配方法对该类别数据进行特征提取,如果否,则使用可变滑动窗口方法该类别数据进行特征提取,并将结果保存在数据库中。本发明通过复杂特征自适应匹配算法精准快速地提取已知类型数据中的有价值信息,通过可变滑动窗口算法,对未知类型原始数据进行特征循环比对,减少了有价值数据的漏提比例,提升大数据分析和核心线索快速定位的能力。

    移动通信装置取证方法和系统

    公开(公告)号:CN108536855A

    公开(公告)日:2018-09-14

    申请号:CN201810341852.5

    申请日:2018-04-17

    Abstract: 本发明公开了一种移动通信装置取证方法,其包括:从移动通信装置取得内容型数据;判断该内容型数据是否包括敏感通联内容;若该内容型数据包括敏感通联内容,以关键线索的形式呈现该内容型数据;以及若该内容型数据不包括敏感通联内容,从该内容型数据中过滤掉干扰信息,而后呈现该内容型数据。本发明还公开了一种移动通信装置取证系统,可实现前述的移动通信装置取证方法。

    基于多维度的角色权限管理方法、终端设备及存储介质

    公开(公告)号:CN107679422A

    公开(公告)日:2018-02-09

    申请号:CN201711007329.0

    申请日:2017-10-25

    CPC classification number: G06F21/6218 G06F2221/2141

    Abstract: 本发明公开一种基于多维度的角色权限管理方法,包括如下步骤,S1:建立数据库,进入S2步骤;S2:给每个角色分配相应的权限,并将对应关系分别存储于操作功能权限表、管理范围权限表、数据范围权限表和数据密级权限表中,再赋予每个用户对应的角色,并将对应关系存储于角色表中,进入S3步骤;S3:用户登录,并根据角色表中对应的角色获取操作功能权限表、管理范围权限表、数据范围权限表和数据密级权限表中对应的权限范围。本发明通过对角色权限进行了多维度的管理,从本质上解决了不同业务岗位的应用管理和数据的不同权限要求,也极大地方便了企业应用系统管理人员的系统权限管理工作,提高用户对系统的数据安全性要求。

    一种基于智能推荐的字段标准化的方法和系统

    公开(公告)号:CN113626558B

    公开(公告)日:2022-10-25

    申请号:CN202110767556.3

    申请日:2021-07-07

    Abstract: 本发明给出了一种基于智能推荐的字段标准化的方法和系统,包括将原始数据入库,抽取部分原始数据作为内容分析集合,动态映像抽取原始数据相应的字段到数据目录表中,形成待分析的字段集合;利用字段的属性特征获取原始数据的字段的真实表征,对字段集合进行标准化处理以获取包括推荐数据元和限定词的标准化字段集合;调用特征校验引擎识别内容分析集合获取数据特征的结果集合,保存与结果集合的数据吻合的标准化字段集合。该方法和系统可以自动分析出字段属性和内容特征,智能推荐字段的标准化处理方案,大大提升原始数据解析入库的效率。

    一种用于属性亲密度的分析方法和系统

    公开(公告)号:CN113761390B

    公开(公告)日:2022-07-22

    申请号:CN202110955230.3

    申请日:2021-08-19

    Abstract: 本发明给出了一种用于属性亲密度的分析方法和系统,包括提取原始数据包中所有相关联的属性信息并保存至关系数据库,并将属性关联记录的分析索引保存至索引库中,其中,分析索引包括起始属性、终止属性和关联边;遍历索引库,确定分析索引是否在索引库中存在记录,若否,执行未关联属性亲密度分析引擎,并将分析结果导入关联边;若是,则执行已关联属性亲密度调整引擎,更新属性亲密度分析结果至关联边;获取当前分析索引的所有关联属性关系,根据属性亲密度调整规则,若当前分析索引的起始属性与终止属性之间存在共有关联属性,更新属性亲密度分析结果至当前分析索引的关联边。该方法和系统可以快速分析出不同属性之间的亲密度并自动准确。

    一种对象的行进方式的分析方法和装置

    公开(公告)号:CN113626684B

    公开(公告)日:2022-07-15

    申请号:CN202110767558.2

    申请日:2021-07-07

    Abstract: 本发明给出了一种对象的行进方式的分析方法和装置,包括根据待分析对象的目标位置范围以及目标时间段,在待分析对象的轨迹信息库中选取一定量的轨迹数据;根据所述分析对象的位置的相近程度和停留时长的大小将其中的位置相近的轨迹数据聚合到同一个集合中,得到若干个时空分析子集合,计算每个时空分析子集合的平均偏离量,选取平均偏离量最大的时空分析子集合为取样时空集合;删除平均偏离量大于零且停留时长大于预设值的点后得到过滤的取样时空集合,再计算所述过滤的取样时空集合的平均偏离量;根据所述过滤的取样时空集合的平均偏离量判断出所述待分析对象的行进方式。本发明有效过滤了干扰数据,极大提高了对象行进方式的分析效率和准确性。

    一种脏数据检测的方法和装置

    公开(公告)号:CN113837278A

    公开(公告)日:2021-12-24

    申请号:CN202111123840.3

    申请日:2021-09-24

    Abstract: 本发明给出了一种脏数据检测的方法和装置,包括对原始数据的属性类型进行归一化处理后再进行属性特征分析,从而区分出其中的已明确类型的原始数据项和未明确类型的原始数据项,根据区分出来的结果对原始数据匹配合适的脏数据检测方案。此外,基于不同的分类方式分别对原始数据进行分类,并利用匹配到的脏数据检测方案进行检测后统计各分类的脏数据比例,根据得到的脏数据比例调整所使用的脏数据检测方案,重新统计各分类的脏数据比例,最终对同一数据项选取脏数据比例为最高时所使用的脏数据检测方案为优先执行的脏数据检测方案。本发明能够快速准确地识别海量原始数据中的脏数据,大大提高了大数据的分析利用价值,减少大数据系统的建设成本。

Patent Agency Ranking