一种数据分箱方法、装置、电子设备和存储介质

    公开(公告)号:CN117828639A

    公开(公告)日:2024-04-05

    申请号:CN202311862826.4

    申请日:2023-12-29

    Abstract: 本申请涉及数据处理技术领域,尤其涉及一种数据分箱方法、装置、电子设备和存储介质。方法包括:将各对象各自拥有的公钥分别发送至其他对象;对于每个对象,将当前对象作为目标对象,并在目标对象的个人公钥之外的其他公钥中选取一个目标公钥;基于目标公钥对各原始数据组进行同态加密,得到加密数据组;对各加密数据组中的各加密数据统一进行数据分箱;基于目标对象的加密数据在数据分箱结果中的位置,确定目标对象的各原始数据所对应的数据分箱子结果。由于本申请在获取某方的分箱子结果过程中,均是对加密数据进行数据处理,且加密所使用的公钥非自身公钥,使得各方均无法得知其他方数据的明文,又可以顺利完成数据分箱,保证数据安全性。

    一种文本分类方法及装置

    公开(公告)号:CN117708322A

    公开(公告)日:2024-03-15

    申请号:CN202311342239.2

    申请日:2023-10-17

    Abstract: 本申请公开了一种文本分类方法及装置,该方法包括第一设备可以根据预设的文本编码器对获取的目标文本信息进行编码,获得该目标文本信息对应的第一向量。第一设备可以根据第一向量从向量检索库中确定与第一向量的相似度最大的目标向量。其中,相似度的最大值大于预设的第一阈值。目标向量是根据多个与目标向量对应的文本类别相同的相似向量生成的。第一设备可以将目标向量对应的文本类别作为目标文本信息的文本类别。采用该方法,可以增加用于训练模型的数据,从而提高文本分类的准确性。同时,由于目标向量是根据多个相似向量生成的,将目标向量对应的文本类别作为目标文本信息对应的文本类别,可以进一步的提高文本分类的准确性。

    一种数据分类分级方法、装置及相关设备

    公开(公告)号:CN117493976A

    公开(公告)日:2024-02-02

    申请号:CN202311694797.5

    申请日:2023-12-11

    Abstract: 本申请提供了一种数据分类分级方法、装置及相关设备。通过获取待分类分级的数据表的字段信息,获取数据表中代表字段信息的样本数据或字段信息的元数据属性,基于预设的数据分类分级规则中包含的数据特征或元数据属性的匹配规则,对代表字段信息的样本数据或字段信息的元数据属性进行匹配,获取匹配结果,如果匹配结果为存在对应的数据分类分级规则,利用匹配的数据分类分级规则对该字段信息进行分类分级;如果不存在对应的分类分级规则,则忽略处理或者推送给人工进行分类分级处理。本申请提供的分类分级方法自动化程度较高,在提高对分类分级的灵活性和分类分级的效率同时,提高了分类分级的精度。

    一种定时任务的启动方法、装置及电子设备

    公开(公告)号:CN115480892A

    公开(公告)日:2022-12-16

    申请号:CN202211071544.8

    申请日:2022-09-01

    Abstract: 一种定时任务的启动方法、装置及电子设备,该方法包括:获得N个定时任务各自的启动时间,从N个定时任务中提取出满足预设执行条件的M个定时任务,基于预设定时任务与线程数量的对应关系,确定出M个定时任务中各个定时任务各自对应的实际线程总数,响应于当前时间与启动时间一致,控制各个实际线程总数的线程并行执行各自对应的定时任务。通过上述的方法,确定出满足预设执行条件的M个定时任务,并使得M个定时任务并行执行,避免了N个定时任务中出现不满足预设执行条件的定时任务,使得定时任务能够在启动时间时启动,以及提高了执行M个定时任务的执行速度,并且,能够在系统不停止运行的情况下能够自动更新定时任务的启动时间。

    一种任务编排方法、装置及电子设备

    公开(公告)号:CN117369976A

    公开(公告)日:2024-01-09

    申请号:CN202311425944.9

    申请日:2023-10-30

    Abstract: 一种任务编排方法、装置及电子设备,该方法包括:主设备获得目标任务对应的目标算子集,确定出各个子任务各自对应的初始配置文件以及各自对应的目标算子,基于各个初始配置文件控制对应的目标算子并行处理对应的子任务,输出目标任务对应的任务编排结果。通过上述的方法,确定出目标任务中每一个子任务各自对应的目标算子,使得目标算子处理各自对应的子任务,从而是实现对目标任务的编排,由于该目标算子集中还包含目标任务的处理逻辑。从而能够提高目标任务的编排效率。

    一种基于RESTFUL接口的多数据源数据的统一处理方法及装置

    公开(公告)号:CN115640348A

    公开(公告)日:2023-01-24

    申请号:CN202211350362.4

    申请日:2022-10-31

    Inventor: 贾川 肖冰 王斌斌

    Abstract: 本发明公开了一种基于RESTFUL接口的多数据源数据的统一处理方法及装置,包括:接收来自应用的数据处理请求;将所述数据处理请求分发至目标数据库;所述目标数据库的数据源管理中心,将所述数据处理请求格式化为对应的可执行命令;所述目标数据库根据所述可执行命令,获取所述数据处理请求对应的数据,RESTFUL接口将所述数据转换为被应用可识别的数据结果,并将所述数据结果返回至所述应用。解决了信息孤岛日益严重的问题,使得开发人员摆脱了大量数据的处理,同时数据库查询编码更简单更高效。

    数据查询方法、数据查询装置、电子设备及存储介质

    公开(公告)号:CN115470240A

    公开(公告)日:2022-12-13

    申请号:CN202211136908.6

    申请日:2022-09-19

    Abstract: 本发明实施例提供了一种数据查询方法、数据查询装置、电子设备及存储介质,数据查询方法包括对查询语句进行解析,得到多个查询语句解析结果。生成所述多个查询语句解析结果的多个查询执行计划,所述多个查询执行计划分别与数据资产管理中的多个数据源的中间件对应。分别通过所述多个数据源的中间件,获得所述多个查询执行计划的多个查询结果。基于所述多个查询执行计划之间的层级关系,将所述多个查询结果聚合,得到当前查询结果。本发明的方案提高了在数据资产管理中数据查询的效率。

    一种无中心联邦学习方法、装置、设备及存储介质

    公开(公告)号:CN117521780A

    公开(公告)日:2024-02-06

    申请号:CN202311482210.4

    申请日:2023-11-08

    Abstract: 本申请实施例提供了一种无中心联邦学习方法、装置、设备及存储介质,涉及计算机技术领域,包括:采用本地样本数据集和至少一个其他节点发送的参考模型梯度,对本地待训练模型进行联合迭代训练,直至满足迭代停止条件,获得目标模型,其中,每次迭代过程包括以下操作:采用本地样本数据集,对上一次迭代更新的本地待训练模型进行训练,获得本地模型梯度;基于至少一个其他节点发送的参考模型梯度对本地模型梯度进行更新;基于更新后的本地模型梯度,对上一次迭代更新的本地待训练模型的模型参数进行更新,获得本次迭代更新的本地待训练模型的模型参数,实现了联邦学习方法的去中心化,从而降低了数据泄露的风险。

    一种基于GPT3的问答系统文本生成方法及装置

    公开(公告)号:CN115809322A

    公开(公告)日:2023-03-17

    申请号:CN202211413500.9

    申请日:2022-11-11

    Abstract: 本发明公开一种基于GPT3的问答系统文本生成方法及装置,该方法包括:将语料集合中的样本文本S转化为向量Is;对输入的语料集合按照步骤S1的方法生成字向量矩阵V;基于所述初始查询矩阵和键值矩阵构建注意力矩阵A;根据所述字向量矩阵V和注意力矩阵A计算样本矩阵P;将所述样本矩阵P作为输入,进行多层Performer编码计算后得到矩阵Px;基于步骤S5的方法,对所述样本矩阵P进行不断迭代训练,构建文本生成模型M;利用所述文本生成模型M自动生成文本。本专利可以通过该生成式问答系统,能够对答案库进行扩展,便于与用户进行无感交互,解决了现有业务知识库中业务问答对较多,但无法覆盖所有业务场景、无法覆盖用户问题的技术问题。

Patent Agency Ranking