一种基于字段推荐数据库标准表的方法及装置

    公开(公告)号:CN113836144B

    公开(公告)日:2023-01-24

    申请号:CN202111146101.6

    申请日:2021-09-28

    Abstract: 本发明提出了一种基于字段推荐数据库标准表的方法及装置,该方法包括:预处理步骤,对数据库中的所有数据库标准表进行预处理生成一字段库;推荐步骤,将源表中的字段与字段库中的字段进行匹配计算,得到源表的推荐数据库标准表;反馈步骤,将推荐数据库标准表发送至用户终端的界面,供用户确认。本发明中,基于数据库中的所有数据库标准表进行预处理得到一字段库,然后基于该字段库进行标注表的推荐,避免了人工智能模型的训练,节约了时间,且推荐速度快;本发明中,可以将系统推荐的标准表供用户确认,以确保数据表导入的准确性。

    一种基于多维标签的数据质量检测方法和系统

    公开(公告)号:CN111563074B

    公开(公告)日:2022-05-31

    申请号:CN202010351007.3

    申请日:2020-04-28

    Abstract: 本申请公开了一种基于多维标签的数据质量检测方法和系统。基于已知类型数据项和检测规则库、利用多维标签分析算法为已知类型数据项打上对应的维度标签,并利用维度标签动态调整已知类型数据项的质量检测流程;基于未知类型数据项并结合检测规则库,利用规则相似性评估算法为未知类型数据源推荐质量检测引擎,并对所述质量检测引擎的结果进行验证,获得有效质量检测规则集合;保存已知类型数据项的质量检测流程和有效质量检测规则集合并更新多维标签规则库。该方案通过多维标签算法和规则相似性评估两种算法,解决固定检测规则模板引起的准确性差和时效性弱等问题,实现数据质量的快速准确检测且及时反馈检测结果,提升数据源的质量。

    一种用于重合轨迹的分析方法和系统

    公开(公告)号:CN111563137B

    公开(公告)日:2022-05-17

    申请号:CN202010351015.8

    申请日:2020-04-28

    Abstract: 本发明给出了一种用于重合轨迹的分析方法和系统,包括基于轨迹信息库获取待分析基准轨迹集合,并根据发生时间将待分析基准轨迹集合划分为多个子集合;利用预设的分析间隔阈值将子集合中的轨迹等分,利用随机数作为等分点的半径获取等分点的轨迹相似圈;遍历待分析基准轨迹集合以及轨迹相似圈,利用比对属性和发生时间获取轨迹信息库中与等分点的轨迹相似结果集合,并利用轨迹相似结果集合的交集获得重合轨迹的结果集合Zn。该用于重合轨迹的分析方法和系统基于海量数据场景下,可以自动分析出与特定轨迹重合的未知轨迹,并及时预警,大大降低了人工分析研判的工作,分析效率高。

    一种利用复杂表达式进行数据比对的方法、装置及存储介质

    公开(公告)号:CN110188113B

    公开(公告)日:2022-05-13

    申请号:CN201910383393.1

    申请日:2019-05-09

    Abstract: 本发明公开了一种利用复杂表达式进行数据比对的方法,包括以下步骤:S1:获取包括结构化数据和非结构化数据的基础数据;S2:选择结构化数据和非结构化数据中的数据作为子表达式,并通过逻辑运算符构造成复杂表达式,其中子表达式包括取自结构化数据的第一子表达式以及取自非结构化数据的第二子表达式,第一子表达式被用于精确匹配,第二子表达式被用于关键词匹配;S3:将子表达式分别进行比对获得比对情况;以及S4:根据比对情况通过表达式引擎对复杂表达式进行计算,得到数据的比对结果。在数据种类繁多、格式多样化的情况下实现复杂表达式实时、快速比对。既可以做到精确匹配,也可以非结构化的关键词匹配,为将来应用提供更精确有效的信息。

    一种利用多个人脸引擎进行人脸查询的方法及装置

    公开(公告)号:CN109063656B

    公开(公告)日:2021-08-24

    申请号:CN201810895823.3

    申请日:2018-08-08

    Abstract: 本发明公开了一种利用多个人脸引擎进行人脸查询的方法及装置,人脸查询方法包括如下步骤:S1:分别使用m个人脸查询某张人脸,获得m组最像的k张人脸;S2:利用归一化函数对每个人脸引擎的最像的k张人脸的相似度进行第一次归一化处理以得到m个相似度的集合;S3:将获得的m组最像的k张人脸进行合并,对每个排行位置配置不同的排行权重,分别计算t张人脸中的每张人脸的排行总权重和最大相似度。S4:根据其排行总权重对其最大相似度进行第二次归一化处理,得到t个综合相似度的集合。S5:对综合相似度的集合进行重新降序排序,截取前k张人脸以作为最终的查询结果。利用本发明能够实现利用多个人脸引擎进行人脸查询。

    一种数据处理方法、装置、系统及存储介质

    公开(公告)号:CN110288085A

    公开(公告)日:2019-09-27

    申请号:CN201910538093.6

    申请日:2019-06-20

    Abstract: 本发明提供了一种数据处理方法、装置、系统及存储介质,方法包括:获取待处理数据;对待处理数据进行特征提取,得到待处理数据的数据特征;将数据特征输入训练好的数据处理模型,得到数据处理结果;其中,数据处理模型的训练包括:在训练数据中选取数量类别的训练样本;将数量类别的类别权重输入神经网络的对应类别的层;采用训练样本训练神经网络,得到数量类别的新类别权重;重复上述步骤,且当神经网络模型满足训练条件时停止训练,得到训练好的数据处理模型。根据本发明的方法、装置、系统及存储介质,通过乱序选取固定类别数目的训练样本训练神经网络得到的神经网络模型容易收敛,且准确度高,适于数据处理的应用且优化了数据处理的过程。

    一种对取证数据进行分析的方法、装置及可读存储介质

    公开(公告)号:CN109726239A

    公开(公告)日:2019-05-07

    申请号:CN201811592331.3

    申请日:2018-12-25

    Abstract: 本发明公开了一种对取证数据进行分析的方法,包括如下步骤:S1:对取证数据通过ETL技术抽取以数据库方式存储的数据,通过python脚本抽取以文件方式存储的数据得出内容型数据,对文本内容中的数据通过正则表达式引擎或特征匹配引擎进行提取得出内容型数据;S2:对内容型数据进行有效性校验、归一化处理;S3:建立双向LSTM模型对归一化处理后的内容型数据进行处理得到最终的输出结果,根据最终的输出结果判断取证数据是否属于交易数据。根据不同的数据类型采用不同的技术手段进行数据提取,因此可以提高数据提取的准确度。并利用双向LSTM模型对取证数据进行分析判断,有效提高数据的识别率。

    一种利用多个人脸引擎进行人脸查询的方法及装置

    公开(公告)号:CN109063656A

    公开(公告)日:2018-12-21

    申请号:CN201810895823.3

    申请日:2018-08-08

    CPC classification number: G06K9/00677

    Abstract: 本发明公开了一种利用多个人脸引擎进行人脸查询的方法及装置,人脸查询方法包括如下步骤:S1:分别使用m个人脸查询某张人脸,获得m组最像的k张人脸;S2:利用归一化函数对每个人脸引擎的最像的k张人脸的相似度进行第一次归一化处理以得到m个相似度的集合;S3:将获得的m组最像的k张人脸进行合并,对每个排行位置配置不同的排行权重,分别计算t张人脸中的每张人脸的排行总权重和最大相似度。S4:根据其排行总权重对其最大相似度进行第二次归一化处理,得到t个综合相似度的集合。S5:对综合相似度的集合进行重新降序排序,截取前k张人脸以作为最终的查询结果。利用本发明能够实现利用多个人脸引擎进行人脸查询。

    一种文本全文精确查询的方法、装置、设备及可读介质

    公开(公告)号:CN108776705A

    公开(公告)日:2018-11-09

    申请号:CN201810600280.8

    申请日:2018-06-12

    Abstract: 本发明提供了一种文本全文精确查询的方法、装置、设备及可读介质,该方法包括:获取步骤,获取需要进行精确查询的文本;查询词生成步骤,对所述文本进行分词操作获得n个分词,再将n分词中相邻的分词进行组合得到n-1个组合分词,将所述n个分词和n-1个组合分词作为查询词;查询步骤,使用所述查询词在倒排索引表中进行查询,并返回查询命中的文档;其中,n为大于1的整数。本发明创造性的提出了将分词后的相邻的词语组合成一个新的词,即连续的两个词当做一个词存到倒排索引表中,检索时不需要判断位置,大大提高了检索效率,由于不用存储位置信息,大大减少了索引表所占的存储空间,节约了存储资源。

    一种基于多维哈希表的数据查找方法、终端设备及存储介质

    公开(公告)号:CN107729577A

    公开(公告)日:2018-02-23

    申请号:CN201711220572.0

    申请日:2017-11-29

    Abstract: 本发明涉及一种基于多维哈希表的数据查找方法、终端设备及存储介质,在该方法中,包括以下步骤:S10:将数据按照其在地址空间内的顺序线性的均分为n个子数据,所有子数据占据相同的地址空间;S20:将每个数据对应的子数据进行i次运算,所述i个运算结果分别对应i个有效特征值;S30:将上述i个有效特征值分别进行哈希运算得到相应的哈希表;S40:按顺序分别查询i个哈希表内是否处在对应的i个运算结果,当某个哈希表内不存在对应的某个运算结果时,将该数据丢弃,如果均存在,则该数据为所查找数据。本发明通过将一个数据分成多个子数据,对子数据进行多重运算后将其结果进行哈希运算得到对应的多个哈希表,然后遍历所有哈希表来查找数据。

Patent Agency Ranking