一种统一管理的大数据组件部署系统和方法

    公开(公告)号:CN115617361A

    公开(公告)日:2023-01-17

    申请号:CN202211324623.5

    申请日:2022-10-27

    Abstract: 本申请涉及一种统一管理的大数据组件部署系统和方法,所述系统包括软件仓库,软件仓库用于存储各版本大数据组件和基础依赖软件包,以及用于对大数据组件和软件包进行统一的管理、维护和下发;工作台,所述工作台包括可视化操作界面,用于对软件包、服务器和组件部署进行管理和操作;指令中心,所述指令中心集成了通用操作的脚本和主脚本。本发明通过对大数据组件进行统一的管理,利用编写好的各组件部署流程模板和一些执行脚本,实现了对大数据组件统一的、可视化的、零感知的部署,简化了项目过程中对大数据组件部署的难度,降低了人员的技术要求,节约时间和人力成本。

    一种神经网络训练方法、装置、设备及存储介质

    公开(公告)号:CN114372560A

    公开(公告)日:2022-04-19

    申请号:CN202111650469.6

    申请日:2021-12-30

    Abstract: 本发明提出了一种神经网络训练方法、装置、设备及存储介质,该方法包括:获取步骤,获取用于神经网络训练的样本集,所述样本集包括多个不同类别的图片;优化步骤,优化现有的神经网络模型损失函数,减小每个神经元由于分类样本不均衡导致的梯度方向偏差;训练步骤,使用优化后的损失函数对所述神经网络使用所述样本集进行训练得到训练好的神经网络模型。本发明通过对损失函数进行优化,从而减小由于分类样本不均衡导致的梯度方向偏差,减小的含义是,在同样的样本集经过同样的训练次数后,梯度方向的偏差相比现有方案更小,其可以解决由于现有损失函数导致的缺陷。

    一种基于节点服务的异地数据联查系统和方法

    公开(公告)号:CN115640134A

    公开(公告)日:2023-01-24

    申请号:CN202211349645.7

    申请日:2022-10-31

    Abstract: 本申请涉及一种基于节点服务的异地数据联查系统,其包括应用服务层,所述应用服务层设置有注册中心用于注册异步调用节点服务的服务地址,设置有工具类异步调用节点服务层各种类型数据库查询接口;节点服务层,所述节点服务层集成了对多种类型数据库数据的查询接口,所述节点服务层用于对应用服务层的查询条件进行解析,利用多线程和分页进行并发查询,并将查询结果封装成应用服务层需要的格式返回;异地数据库,用于存储需要联查的地市数据或者省级数据。本发明利用节点服务来转移应用服务的查询,降低应用服务的压力,从而解决了亿级的数据量应用服务查询响应过长,用户体验差,以及应用服务查询宕机的问题。

    一种自动分析服务号码的方法和装置

    公开(公告)号:CN109857773B

    公开(公告)日:2022-03-01

    申请号:CN201811573549.4

    申请日:2018-12-21

    Abstract: 本发明提供了一种自动分析服务号码的方法和装置。所述方法包括:基于所述通联数据提取通联对象特征,得到通联对象的数据集;根据预定条件对所述通联对象的数据集进行分类,得到分析集合;对所述分析集合中的通联对象数进行高斯分布计算,得到所述分析集合的正态分布;根据所述分析集合中的通联对象数在所述分析集合的正态分布中的位置判断所述数据集是否为服务号码。根据本发明的方法和装置,能够克服时间差异、个体差异等特性而引发的服务号码无法匹配的问题,实现服务号码的自动分析和提取。

    一种文本对抗的自然语言增强处理方法及装置

    公开(公告)号:CN113919354A

    公开(公告)日:2022-01-11

    申请号:CN202111203962.3

    申请日:2021-10-15

    Abstract: 本发明提出了一种文本对抗的自然语言增强处理方法及装置,该方法包括:提取步骤,对样本训练集中的句子进行实体词提取,获得该句子的词向量;替换步骤,基于实体词库对所述句子的词向量进行替换得到替换句子;预测步骤,使用神经网络模型预测该替换句子的标签得到预测标签,若所述预测标签与所述句子在样本训练集中的初始标签不一致,则所述替换句子作为对抗增强句子加入到样本训练集中。本发明中,构建了实体词库,从而便于对样本集中的句子进行实体词提取,从而保证了句子增强的准确性,本发明中,通过实体词库对所述句子的中的实体词进行替换,扩充了样本集中的样本数量,而且增强后的样本可靠性高。

    一种自动分析服务号码的方法和装置

    公开(公告)号:CN109857773A

    公开(公告)日:2019-06-07

    申请号:CN201811573549.4

    申请日:2018-12-21

    Abstract: 本发明提供了一种自动分析服务号码的方法和装置。所述方法包括:基于所述通联数据提取通联对象特征,得到通联对象的数据集;根据预定条件对所述通联对象的数据集进行分类,得到分析集合;对所述分析集合中的通联对象数进行高斯分布计算,得到所述分析集合的正态分布;根据所述分析集合中的通联对象数在所述分析集合的正态分布中的位置判断所述数据集是否为服务号码。根据本发明的方法和装置,能够克服时间差异、个体差异等特性而引发的服务号码无法匹配的问题,实现服务号码的自动分析和提取。

    基于数据治理的平行迁移方法、装置及可读介质

    公开(公告)号:CN115858488A

    公开(公告)日:2023-03-28

    申请号:CN202211239522.8

    申请日:2022-10-11

    Abstract: 本发明公开了一种基于数据治理的平行迁移方法、装置及可读介质,根据来源数据库得到来源表,来源表包括表信息和字段信息;构建知识库,知识库包括字典和基础数据,字典包括来源表中的来源字段及其对应的来源代码值以及与之相映射的标准字段及其对应的标准代码值;将若干来源表通过数据对标汇总至同一个标准表中,对标准表进行表级处理以及字段级处理,得到处理后的标准表;对若干处理后的标准表中的数据进行分发,得到目标表,并存入目标数据库中。通过来源表定义、存储定义、对标映射、字典映射、关联回填、去重规则、过滤规则、格式转换、自定义函数处理及分发映射等步骤进行信息同步,省去重复治理过程,快速输出数据。

    一种基于元数据的数据交互方法和系统

    公开(公告)号:CN115454948A

    公开(公告)日:2022-12-09

    申请号:CN202211285466.1

    申请日:2022-10-20

    Abstract: 公开了基于元数据的数据交互方法和系统,包括利用元数据压缩算法生成元数据仓库文件,包括:为每个目标数据文件生成虚拟目录描述文件;将目标数据文件分解为若干数据块,并添加至描述文件中;将分解后的数据块压缩转换为7z数据folder块,并在描述文件中添加7z数据folder描述数据库节点;生成一级数据文件,遍历统计压缩数据文件中数据块中元数据出现次数,排序生成元数据仓库文件;对于已经下载完成的元数据仓库文件,基于解压算法解压文件,包括:还原一级数据文件,解压最后一个数据块,获得虚拟目录描述文件;解压第一数据块,还原所有文件描述数据块;还原所有数据文件目录,完成文件解压。本申请可提高网站存储空间利用率,且解压速度的影响比较小。

Patent Agency Ranking