数据采集方法、装置和电子设备

    公开(公告)号:CN111680203A

    公开(公告)日:2020-09-18

    申请号:CN202010378074.4

    申请日:2020-05-07

    Inventor: 朱标 章鹏 崔阳

    Abstract: 本说明书实施例公开了一种数据采集方法、装置和电子设备的实施例。所述方法包括:利用以下步骤进行迭代处理,直至满足预设条件:根据价值预测模型,从第一数据集中选取第一数据,所述第一数据集包括至少一个第一数据,所述第一数据由粗采集方式采集得到;根据选取的第一数据所对应的数据标识,利用精采集方式采集第二数据;根据选取的第一数据,获取数据标识对应的特征数据;根据采集的第二数据,确定数据标识对应的标签;根据标签和特征数据,对所述价值预测模型进行训练。本说明书实施例的数据采集方法、装置和电子设备,可以节省数据的采集成本。

    一种模型迁移的特征值确定方法、装置及设备

    公开(公告)号:CN111523995A

    公开(公告)日:2020-08-11

    申请号:CN202010312789.X

    申请日:2020-04-20

    Inventor: 阮怀玉 章鹏 苏煜

    Abstract: 本说明书实施例公开了一种基于模型迁移的特征值确定方法、装置以及设备,方案包括:获取源场景数据集的基于第一特征维度的第一数据分箱的数据在所述源场景数据集中的占比信息;在目标场景数据集中基于所述第一特征维度确定与所述占比信息相匹配的第二数据分箱;获取所述第一数据分箱的数据在第二特征维度的特征值;将所述特征值确定为所述第二数据分箱的数据在所述第二特征维度的特征值。

    特征衍生方法、装置及计算机设备

    公开(公告)号:CN111046912A

    公开(公告)日:2020-04-21

    申请号:CN201911108450.1

    申请日:2019-11-13

    Abstract: 本说明书实施例提供一种特征衍生方法、装置及计算机设备。从预先训练的决策树模型的至少一条路径上提取若干个节点对应的特征;根据所述特征生成特征集合,其中,不同路径上提取的特征对应不同的特征集合;根据所述特征集合进行特征衍生,以得到衍生特征。通过这种方式衍生得到的特征具有更好的可解释性且更加有效。

    标准案由确定方法、装置和设备

    公开(公告)号:CN112365374B

    公开(公告)日:2022-04-19

    申请号:CN202011365076.6

    申请日:2020-06-19

    Inventor: 朱标 章鹏

    Abstract: 本申请的一个或多个实施例提出标准案由确定方法、装置和设备。该标准案由确定方法可以包括,对获取的初始案由进行向量化处理,得到与上述初始案由对应的初始案由向量。计算上述初始案由向量,与若干标准案由分别对应的标准案由向量的相似度,得到与上述若干标准案由中的各标准案由分别对应的相似度评分。基于得到的相似度评分中,相似度评分最高的N个标准案由向量,确定与上述初始案由对应的标准案由。该方法还可以应用于基于区块链节点设备中,以使区块链节点设备可以调用上述区块链中发布的标准案由确定智能合约,确定与初始案由对应的标准案由。

    应用程序的合规性判别方法和装置

    公开(公告)号:CN114090076A

    公开(公告)日:2022-02-25

    申请号:CN202111327731.3

    申请日:2021-11-10

    Abstract: 本说明书实施例提供一种应用程序的合规性判别方法和装置,方法包括:获取知识图谱形式的合规知识库,其根据多部法律法规的解析结果构建,包含多个实体、实体之间的关系;实体对应于法律法规、法条或合规要点;获取目标应用程序的代码分析结果,其指示出目标应用程序实际采集的隐私信息类别构成的第一类别集合,以及使用情况信息;获取目标应用程序的隐私声明文本声明采集的隐私信息类别构成的第二类别集合,以及包含的声明信息类别;基于第一类别集合、使用情况信息、第二类别集合和声明信息类别,判断目标应用程序是否符合合规知识库中的各个合规要点,以确定目标应用程序的合规检测结果。能够高效的判别出应用程序是否合规。

    识别数据库中的异常操作的方法和装置

    公开(公告)号:CN113672457A

    公开(公告)日:2021-11-19

    申请号:CN202110910584.6

    申请日:2021-08-09

    Abstract: 本说明书实施例提供一种识别数据库中的异常操作的方法和装置,方法包括:获取用于针对所述数据库执行目标行为操作的目标SQL语句;对目标SQL语句进行解析,得到目标行为操作涉及的若干个数据对象,以及之间的目标关联关系,其中单个数据对象为字段或数据表;根据若干个数据对象和目标关联关系,更新预先建立的数据关系记录,数据关系记录中包含数据库中至少部分数据对象,以及其间的已有关联关系;从更新后的数据关系记录中,查询满足预设条件的目标字段,预设条件与字段的标签、关联关系是否属于预设关系有关;在目标字段属于若干个数据对象的情况下,确定目标行为操作属于异常操作。能够高度的自动化,减少人力成本,同时能保持较高的准确率。

    一种信息识别方法及装置

    公开(公告)号:CN112434167B

    公开(公告)日:2021-04-20

    申请号:CN202110100246.6

    申请日:2021-01-26

    Abstract: 本说明书一个或多个实施例提供了一种信息识别方法及装置,其中,该方法包括:获取待识别的多个目标文本信息;其中,该目标文本信息为针对历史事件所产生的文本信息文档;确定每个目标文本信息对应的文本分词关系图谱;其中,该文本分词关系图谱包括:文本分词节点和分词节点连接边;将确定出的文本分词关系图谱输入至预先训练好的神经网络模型,得到目标文本信息之间的信息关联程度;其中,该信息关联程度用于表征至少两个所述目标文本信息为针对同一历史事件所产生的文本信息文档的概率。

    一种应用程序的信息检测方法、装置及设备

    公开(公告)号:CN112199506A

    公开(公告)日:2021-01-08

    申请号:CN202011247122.2

    申请日:2020-11-10

    Abstract: 本说明书实施例公开了一种应用程序的信息检测方法、装置及设备,该方法包括:获取待识别应用程序的隐私政策文本;将隐私政策文本输入训练完成的识别模型中,得到所述隐私政策文本中表示的待识别应用程序需获取的第一信息;确定待识别应用程序的源码中表示的待识别应用程序需获取的第二信息;获取待识别应用程序被允许获取的标准信息;检测所述第一信息是否与所述标准信息一致,得到第一检测结果;检测所述第二信息是否与所述标准信息一致,得到第二检测结果;根据所述第一检测结果与所述第二检测结果,生成合规检测信息。

    一种数据识别方法、装置、设备和可读介质

    公开(公告)号:CN111738358B

    公开(公告)日:2020-12-08

    申请号:CN202010722262.4

    申请日:2020-07-24

    Abstract: 本说明书实施例公开了一种数据识别方法、装置、设备和计算机可读介质。方案包括:获取第一数据集,所述第一数据集中的数据样本为待识别字段的至少部分数据;获取基于第二数据集中的数据样本统计得到的状态转移矩阵集合,所述第二数据集中数据样本的数据类型是已知的;基于所述状态转移矩阵集合,确定所述第一数据集中各数据样本对应的样本状态转移概率;确定所述第一数据集中所述样本状态转移概率大于第一阈值的数据样本的数量相对所述第一数据集中数据样本的总数量的比例;若所述比例大于第二阈值,则将所述待识别字段对应的数据确定为与所述第二数据集中的数据样本具有相同的数据类型。

    模型训练方法、异常数据检测方法、装置和电子设备

    公开(公告)号:CN111914868A

    公开(公告)日:2020-11-10

    申请号:CN202010254835.5

    申请日:2020-04-02

    Inventor: 江攀 崔阳 章鹏

    Abstract: 本说明书实施例公开了一种模型训练方法、异常数据检测方法、装置和电子设备的实施例。所述方法包括:利用以下步骤进行迭代处理,直至满足第一迭代结束条件:根据训练样本集,对第一模型进行训练;根据训练后的第一模型,对原始数据集中的原始数据进行预测,得到第一预测结果;根据第一预测结果,从所述原始数据集中不放回地抽取原始数据;对抽取的原始数据进行打标;将打标后的原始数据作为训练样本添加至所述训练样本集中。

Patent Agency Ranking