-
公开(公告)号:CN115017176A
公开(公告)日:2022-09-06
申请号:CN202210573359.2
申请日:2022-05-25
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06F16/242 , G06F16/248 , G06F16/27
Abstract: 本发明涉及一种多节点数据检索方法、装置及存储介质。其中方法包括:对获取到的检索任务进行归一化处理后,通过预设调度缓存区对各个资源节点进行检索资源以及检索任务的调度,获取当前业务场景关联的资源节点相应的检索引擎,通过调整方案以及检索引擎,得到业务场景的检索结果,对检索结果进行去重以及排序处理,将经过去重及排序后的各个资源节点的检索结果进行融合,得到当前的业务场景的返回结果集。本发明满足了大数据业务分析需求,解决困扰已久的多节点海量数据检索的结果展示不准确、检索效率低下的问题,提高复杂业务场景下的多节点数据检索的效率和准确性。
-
公开(公告)号:CN113626385B
公开(公告)日:2022-07-15
申请号:CN202110767562.9
申请日:2021-07-07
Applicant: 厦门市美亚柏科信息股份有限公司
Abstract: 本发明给出了一种基于文本数据读取的方法和系统,包括分析过滤重复文件并将关联的文件合并归类至对应数据集合Fn中;比对待提取文本文件中属性集合与属性列表以根据其相似程度赋值处理引擎,并形成文件的属性分析结果集合;响应于属性分析结果集合与待提取文本文件中的内容分析集合的匹配度超过第一阈值,利用属性对应的特处理引擎提取文本数据。该方法和系统可以自动适配已知特征和未知特征的文本文件数据,调取相应的数据提取引擎,实现文本文件类型原始数据的自动识别和解析入库,提高文本文件的提取效率和准确性,提升大数据分析能力。
-
公开(公告)号:CN111563074B
公开(公告)日:2022-05-31
申请号:CN202010351007.3
申请日:2020-04-28
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06F16/215 , G06F16/28
Abstract: 本申请公开了一种基于多维标签的数据质量检测方法和系统。基于已知类型数据项和检测规则库、利用多维标签分析算法为已知类型数据项打上对应的维度标签,并利用维度标签动态调整已知类型数据项的质量检测流程;基于未知类型数据项并结合检测规则库,利用规则相似性评估算法为未知类型数据源推荐质量检测引擎,并对所述质量检测引擎的结果进行验证,获得有效质量检测规则集合;保存已知类型数据项的质量检测流程和有效质量检测规则集合并更新多维标签规则库。该方案通过多维标签算法和规则相似性评估两种算法,解决固定检测规则模板引起的准确性差和时效性弱等问题,实现数据质量的快速准确检测且及时反馈检测结果,提升数据源的质量。
-
公开(公告)号:CN111581431B
公开(公告)日:2022-05-20
申请号:CN202010351013.9
申请日:2020-04-28
Applicant: 厦门市美亚柏科信息股份有限公司
Abstract: 本发明公开了一种基于动态评估的数据探查方法和装置,通过根据数据源的类型和探查维度调用探查引擎对数据源进行数据探查,得到第一探查结果;对第一探查结果进行评估,得到评估结果,根据评估结果对探查流程进行动态调整,获得动态匹配的探查规则,并通过探查规则获得第二探查结果;计算第二探查结果的有效探查项比例,根据有效探查比例判断探查规则的有效性,对第二探查结果进行确认以获得最终探查结果。通过动态调整数据探查的操作路径,实现不同类型数据的自动探查工作,提高数据探查的工作效率,结合不同的数据源和探查结果,智能推荐探查结果,实现所有接入数据源的自动探查工作,高效支撑各种不同数据源的探查,提升大数据智能化接入效率。
-
公开(公告)号:CN111563103B
公开(公告)日:2022-05-20
申请号:CN202010351018.1
申请日:2020-04-28
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06F16/2455
Abstract: 本申请公开了一种用于数据血缘检测方法和系统。提取同一条存储记录在不同节点所对应的节点数据;利用路径规则库将节点数据映射存储于路径数据集合中,基于路径溯源算法将路径数据集合中的每个子集合进行归一化处理,获得节点数据的的上下级关系的路径标识集合;利用关系规则库将节点数据中的数据项映射存储于数据项集合中,基于关系溯源算法分析数据项之间的关联关系,获得数据项溯源结果集合;基于节点数据的路径标识集合和数据项溯源结果集合构建每条数据在不同节点的数据血缘信息库。该方案通过路径溯源和关系溯源分别从节点数据和数据项两个层面进行分析,实现业务数据或者业务要素的全面快速准确的溯源要求,提升大数据的业务支撑能力。
-
公开(公告)号:CN110851428B
公开(公告)日:2022-05-20
申请号:CN201911137144.0
申请日:2019-11-19
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06F16/21 , G06F16/2455
Abstract: 本发明提供了一种基于规则算子动态编排的数据库分析方法、装置及介质,该方法通过从数据库中获取用户输入的数据集合,并对所述数据集合进行识别和解析,判断数据库中是否存在与所述数据集合匹配的业务类型,如果是,则使用数据处理规则推荐算法推荐多个规则算子,如果否,所述用户在数据库中添加多个规则算子,然后对所述多个规则算子的权重进行调整,将调整权重后的规则算子编排为数据分析模型,再使用所述数据分析模型对所述数据集合进行分析得到分析结果。本发明可以通过基于待分析数据库中的数据类型自动编排规则算子生成数据分析模型,提高数据库中的数据分析模型的运行效率,提高了数据库的性能。
-
公开(公告)号:CN111563137B
公开(公告)日:2022-05-17
申请号:CN202010351015.8
申请日:2020-04-28
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06F16/29 , G06F16/2455
Abstract: 本发明给出了一种用于重合轨迹的分析方法和系统,包括基于轨迹信息库获取待分析基准轨迹集合,并根据发生时间将待分析基准轨迹集合划分为多个子集合;利用预设的分析间隔阈值将子集合中的轨迹等分,利用随机数作为等分点的半径获取等分点的轨迹相似圈;遍历待分析基准轨迹集合以及轨迹相似圈,利用比对属性和发生时间获取轨迹信息库中与等分点的轨迹相似结果集合,并利用轨迹相似结果集合的交集获得重合轨迹的结果集合Zn。该用于重合轨迹的分析方法和系统基于海量数据场景下,可以自动分析出与特定轨迹重合的未知轨迹,并及时预警,大大降低了人工分析研判的工作,分析效率高。
-
公开(公告)号:CN112052280A
公开(公告)日:2020-12-08
申请号:CN202010948857.1
申请日:2020-09-10
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06F16/2458 , G06F16/22 , G06F16/9537 , G06F16/9536 , G06Q50/26
Abstract: 本发明给出了一种基于时空数据的实有人口分析方法及系统,包括基于对象归一算法将时空轨迹数据中大量的拥有共同的主体对象的数据压缩成一条数据记录,再利用场所聚合算法将时空轨迹数据中同一个主体对象的多个相近的位置聚合成同一个位置,从而形成一个对象时空库;基于人员停留类型对对象时空库进行过滤,提取出其中的居住人员和路过人员,分别保存为居住人员集合和路过人员集合,并每天对居住人员集合进行更新并保存,统计每天计算得到的居住人员集合构成当地的实有人口库。相比于传统的实有人口分析方法,本发明极大地减小了数据的规模,提高了针对海量时空数据的分析效率和准确率,实现了对当地实有人口的更加准确且及时的自动分析。
-
公开(公告)号:CN111783045A
公开(公告)日:2020-10-16
申请号:CN202010575922.0
申请日:2020-06-22
Applicant: 厦门市美亚柏科信息股份有限公司
Abstract: 本发明公开基于分级分类的数据授权方法和装置,通过建立级别规则库和类别规则库,根据数据源中数据项的属性特征结合级别规则库分析得到数据项的内容敏感级,根据内容敏感级确定数据源级别、用户对应的字段权限范围集合以及第一权限范围数据集;根据数据源的数据资源标识分析得到类别分析数据集合和分类维度数据集,根据分类维度数据集中的数据项类别和层级确定数据源的权限集合;根据数据项的字段权限范围集合中具有关联的两个字段的层级判断得到数据项的权限集合;根据用户的级别分别与数据源的权限集合和数据项的权限集合比对得到用户的数据范围集合和第二权限范围数据集;将第一权限范围数据集和第二权限范围数据集合并为用户的权限范围集合。
-
公开(公告)号:CN107644106B
公开(公告)日:2020-10-09
申请号:CN201710975528.4
申请日:2017-10-17
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06F16/2458 , G06F16/28
Abstract: 本发明公开一种自动挖掘业务中间人的方法,包括如下步骤:S1:输入手机取证数据,从输入的手机取证数据中提取待挖掘对象的至少一个身份特征属性,进入S2步骤;S2:根据S1中提取的待挖掘对象的每个身份特征属性,调用对应的分析模型对待挖掘对象进行挖掘分析,获得对应每个身份特征属性的业务中间人的类型的可信度值,进入S3步骤;S3:根据S2中获得的对应待挖掘对象的每个身份特征属性的业务中间人的类型的可信度值及各自的权重,综合计算待挖掘对象属于某种业务中间人的类型的可信度值,得出待挖掘对象属于某种业务中间人的结果。
-
-
-
-
-
-
-
-
-