基于数据字典的元数据实体间关系的处理方法及装置

    公开(公告)号:CN116796746A

    公开(公告)日:2023-09-22

    申请号:CN202310641928.7

    申请日:2023-06-01

    Abstract: 本发明公开了一种基于数据字典的元数据实体间关系的处理方法及装置,通过将元数据实体信息和元数据元素信息分开管理,元数据实体信息包括元数据实体及其对应的关系约束和结构,元数据元素信息包括元数据实体及其所包含的元数据元素;在关系约束中,采用UML类图关系对应的第一关系表示符和表示运算规则的第二关系表示符建立元数据实体间关系;通过元数据实体信息中的结构指明元数据元素的位置;通过关系约束解析出元数据实体间关系,并根据元数据实体间关系和结构获取元数据实体信息中的元数据实体在元数据元素信息中所对应包含的元数据元素,可清晰的描述元数据实体间关系,方便元数据的使用和维护,降低人工成本和时间成本。

    一种利用单标签数据训练多标签模型的方法及装置

    公开(公告)号:CN115758148A

    公开(公告)日:2023-03-07

    申请号:CN202211456763.8

    申请日:2022-11-21

    Abstract: 本申请提出了一种利用单标签数据训练多标签模型的方法及装置,该方法包括以下步骤:S1、获取多标签数据集,多标签数据集包括初始正样本、初始负样本以及未标注样本;S2、基于混合模型判断未标注样本是否属于负样本,若属于则将未标注样本视为第一负样本,由第一负样本和初始负样本组成待训练负样本集;S3、基于二值交叉熵损失函数对初始正样本进行增强处理,获得待训练正样本集;以及S4、基于待训练负样本集和待训练正样本集训练神经网络模型,最终获得多标签模型。可以利用单标签数据集来完成多标签分类任务的训练,有效地节约了人工标记成本,在实际项目中可以实现多标签分类任务快速启动,也有利于下一步的模型优化。

    一种多域数据融合的方法、装置和存储介质

    公开(公告)号:CN115033590A

    公开(公告)日:2022-09-09

    申请号:CN202210573368.1

    申请日:2022-05-25

    Abstract: 本发明提供了一种多域数据融合的方法、装置和存储介质,该方法包括:S1,在预先设置的多域调度融合区建立任务规则库;S2,提取任务规则库中选定的所有任务,针对选定的每一任务确定对应的数据域组及对应的执行引擎组,并获得与同一数据域相关的任务集合;S3,根据预先设置的任务优先级对与同一数据域相关的任务集合中的任务进行调度,优先调用与优先级较高的任务对应的执行引擎;S4,针对每一任务,将对应的执行引擎组中的各执行引擎从对应数据域返回的任务结果存储到多域调度融合区,并在多域调度融合区进行融合,获得融合结果。利用上述技术方案,可以实现高效的跨域数据融合。

    一种关键通讯节点识别方法、装置及介质

    公开(公告)号:CN111080463B

    公开(公告)日:2022-09-02

    申请号:CN201911285935.8

    申请日:2019-12-13

    Abstract: 本发明提供了一种关键通讯节点识别方法、装置及存储介质,该方法包括:基于通讯的内容从群通讯人员中确定需要重点关注的人员作为重点通讯节点;对群通讯人员中除重点通讯人员之外的人员进行共同通讯判断,如果具有共同通讯特征,则将具有共同通讯特征的节点作为共同通讯节点;将重点通讯节点和共同通讯节点进行合并组成核心人员集合;基于人员在群中的身份类型、活跃度、发言内容及加入群数确定核心人员集合中的人是否为关键通讯节点,如果是,则将该人标记关键通讯节点的标签。本发明对所有通讯节点进行逐级递进式的分析,进而自动发现处于塔尖的关键通讯节点,其发现关键通讯节点的效率高。

    基于分级分类的数据授权方法和装置

    公开(公告)号:CN111783045B

    公开(公告)日:2022-08-12

    申请号:CN202010575922.0

    申请日:2020-06-22

    Abstract: 本发明公开基于分级分类的数据授权方法和装置,通过建立级别规则库和类别规则库,根据数据源中数据项的属性特征结合级别规则库分析得到数据项的内容敏感级,根据内容敏感级确定数据源级别、用户对应的字段权限范围集合以及第一权限范围数据集;根据数据源的数据资源标识分析得到类别分析数据集合和分类维度数据集,根据分类维度数据集中的数据项类别和层级确定数据源的权限集合;根据数据项的字段权限范围集合中具有关联的两个字段的层级判断得到数据项的权限集合;根据用户的级别分别与数据源的权限集合和数据项的权限集合比对得到用户的数据范围集合和第二权限范围数据集;将第一权限范围数据集和第二权限范围数据集合并为用户的权限范围集合。

    数据处理方法和装置
    26.
    发明授权

    公开(公告)号:CN110825920B

    公开(公告)日:2022-06-10

    申请号:CN201911008290.3

    申请日:2019-10-22

    Abstract: 本申请实施例公开了数据处理方法和装置。该方法的一具体实施方式包括:确定数据队列中的待处理数据的类型;基于类型,从处理规则库中确定处理规则集合;从处理规则集合中确定目标处理规则;利用目标处理规则,执行如下处理步骤:从数据队列接收待处理数据,并按照目标处理规则对待处理数据进行处理,得到处理结果数据;如果目标处理规则为结束处理规则,将处理结果数据存入数据库;如果目标处理规则不是结束处理规则且不符合预设条件,将处理结果数据作为待处理数据发送至数据队列;重新确定目标处理规则并继续执行处理步骤。该实施方式实现了根据不同数据的特性定义不同的处理环节,降低了计算资源消耗,提升原始数据入库的整体性能。

    一种数据提取方法、装置及介质

    公开(公告)号:CN110851675B

    公开(公告)日:2022-05-17

    申请号:CN201910960391.4

    申请日:2019-10-10

    Abstract: 本发明提供了一种数据提取方法、装置及存储介质,基于复杂特征自适应匹配方法和可变滑动窗口方法进行数据的提取,该方法首先从多个数据源中获取海量的数据后进行聚类,并为聚类后的每一类别数据设置唯一的数据标签;然后根据所述数据标签判断该类别数据是否为已知类型的数据,如果是,则使用复杂特征自适应匹配方法对该类别数据进行特征提取,如果否,则使用可变滑动窗口方法该类别数据进行特征提取,并将结果保存在数据库中。本发明通过复杂特征自适应匹配算法精准快速地提取已知类型数据中的有价值信息,通过可变滑动窗口算法,对未知类型原始数据进行特征循环比对,减少了有价值数据的漏提比例,提升大数据分析和核心线索快速定位的能力。

    一种基于时空数据的实有人口分析方法及系统

    公开(公告)号:CN112052280B

    公开(公告)日:2022-04-29

    申请号:CN202010948857.1

    申请日:2020-09-10

    Abstract: 本发明给出了一种基于时空数据的实有人口分析方法及系统,包括基于对象归一算法将时空轨迹数据中大量的拥有共同的主体对象的数据压缩成一条数据记录,再利用场所聚合算法将时空轨迹数据中同一个主体对象的多个相近的位置聚合成同一个位置,从而形成一个对象时空库;基于人员停留类型对对象时空库进行过滤,提取出其中的居住人员和路过人员,分别保存为居住人员集合和路过人员集合,并每天对居住人员集合进行更新并保存,统计每天计算得到的居住人员集合构成当地的实有人口库。相比于传统的实有人口分析方法,本发明极大地减小了数据的规模,提高了针对海量时空数据的分析效率和准确率,实现了对当地实有人口的更加准确且及时的自动分析。

    一种基于规则引擎的主题检索方法和系统

    公开(公告)号:CN113626427A

    公开(公告)日:2021-11-09

    申请号:CN202110767561.4

    申请日:2021-07-07

    Abstract: 本发明给出了一种基于规则引擎的主题检索方法和系统,包括分析检索条件的关键特征和不同类型对象主题的数据特征,根据不同主题同一属性的互斥关系和同一主题不同属性的关联关系,动态调整主题检索的路径规则;根据路径规则检索对应的主题库,基于不同主题的依存关系,动态调整检索结果的合并规则。该方法和系统基于海量数据场景下,可以分析不同类型的对象主题的特征,自动匹配对应的主题检索规则,识别准确率和效率都有大幅度提高,大大提高大数据的分析利用价值,减少大数据系统的建设成本。

    一种基于文本数据读取的方法和系统

    公开(公告)号:CN113626385A

    公开(公告)日:2021-11-09

    申请号:CN202110767562.9

    申请日:2021-07-07

    Abstract: 本发明给出了一种基于文本数据读取的方法和系统,包括分析过滤重复文件并将关联的文件合并归类至对应数据集合Fn中;比对待提取文本文件中属性集合与属性列表以根据其相似程度赋值处理引擎,并形成文件的属性分析结果集合;响应于属性分析结果集合与待提取文本文件中的内容分析集合的匹配度超过第一阈值,利用属性对应的特处理引擎提取文本数据。该方法和系统可以自动适配已知特征和未知特征的文本文件数据,调取相应的数据提取引擎,实现文本文件类型原始数据的自动识别和解析入库,提高文本文件的提取效率和准确性,提升大数据分析能力。

Patent Agency Ranking