数据库的资源调度方法、系统、装置与存储介质

    公开(公告)号:CN119149229A

    公开(公告)日:2024-12-17

    申请号:CN202411182357.6

    申请日:2024-08-26

    Abstract: 本申请涉及计算机技术领域,尤其涉及一种数据库的资源调度方法、系统、装置与存储介质,方法包括:数据库集群中存在新创建的初始容器组时,分别确定各节点的节点剩余资源;基于初始容器组关联的至少一个历史容器组的资源占用信息,获得初始容器组的预测需求资源;在节点剩余资源满足预设需求资源的各节点中选取候选节点,对每个候选节点,预测将初始容器组调度至该候选节点后,该候选节点上最新的节点剩余资源的资源倾斜情况;将资源倾斜情况满足预设的资源分布条件的一个候选节点作为目标节点,将初始容器组调度至目标节点。由于本申请会预测容器组放置后节点上剩余资源的倾斜情况,以避免节点上各类资源出现严重倾斜,提高节点的资源利用率。

    数据处理方法、装置、计算机设备及存储介质

    公开(公告)号:CN119088293A

    公开(公告)日:2024-12-06

    申请号:CN202411080241.1

    申请日:2024-08-07

    Abstract: 本公开提供了一种数据处理方法、装置、计算机设备及存储介质。方法通过获取目标数据对象的数据元信息和在第一时间段内的第一访问请求信息;将数据元信息和第一访问请求信息输入第一神经网络模型进行数据热度预测,得到目标数据对象在第二时间段内的数据热度信息;将数据元信息以及第一访问请求信息输入第二神经网络模型进行数据有效时长预测,得到目标数据对象对应的数据有效时长;基于数据元信息、数据热度信息以及数据有效时长生成目标数据对象在目标数据存储集群中的数据迁移计划;根据数据迁移计划对目标数据对象在目标数据存储集群中进行数据迁移。该方法可以提升数据迁移的准确性。

    神经网络模型的训练方法、装置和电子设备

    公开(公告)号:CN110245721B

    公开(公告)日:2023-09-05

    申请号:CN201910555746.1

    申请日:2019-06-25

    Abstract: 本公开提供了一种神经网络模型的训练方法和装置、电子设备和计算机可读存储介质。神经网络模型的训练方法包括:利用第一训练样本集执行初始训练,获得初始神经网络模型;利用初始神经网络模型对第二训练样本集执行预测,获得第二训练样本集中每个训练样本的预测结果;基于预测结果,从第二训练样本集确定多个优选样本;接收对于多个优选样本的标注结果,将标注后的多个优选样本加入第一训练样本集,获得扩展的第一训练样本集;利用扩展的第一训练样本集执行更新训练,以获得更新的神经网络模型;在满足训练结束条件的情况下,结束训练;以及在不满足训练结束条件的情况下,重复执行预测步骤、优选样本确定步骤、样本扩展步骤以及更新训练步骤。

    日志压缩、日志还原方法、装置、计算机设备和存储介质

    公开(公告)号:CN115408350A

    公开(公告)日:2022-11-29

    申请号:CN202210822255.0

    申请日:2022-07-13

    Abstract: 本申请涉及一种日志压缩、日志还原方法、装置、计算机设备、存储介质和计算机程序产品。本发明实施例可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景。所述方法包括:将模板字符串排列信息和目标日志的字符串排列信息匹配成功的候选日志模板作为初始日志模板;从目标日志的日志字符串中,将与初始日志模板中的变量类模板字符串匹配的日志字符串作为第一初始字符串,将与初始日志模板中的常量类模板字符串匹配的日志字符串作为第二初始字符串;基于初始日志模板对应的模板标识、各个第一初始字符串分别对应的第一编码数据、目标日志中第一初始字符串和第二初始字符串之间的第一位置关系,生成日志压缩数据,以此提高日志压缩率。

    一种SSD缓存系统及缓存方法

    公开(公告)号:CN109189696B

    公开(公告)日:2020-11-24

    申请号:CN201810911523.X

    申请日:2018-08-12

    Abstract: 本发明公开了一种SSD缓存系统及缓存方法,其中系统包括:SSD缓存、存储装置、日志记录装置以及分类装置;分类装置包括:预测模块和历史表模块;预测模块用于利用目标分类器预测目标照片的类别;历史表模块用于存储最近被判定为一次访问文件的照片的元数据信息;分类装置用于在预测模块预测目标照片为一次访问文件,且目标照片的元数据信息未被存储或者目标照片的元数据信息被存储而当前请求与该元数据信息所对应的最近的请求之间的访问间隔大于访问间隔阈值时,将目标照片标记为一次访问文件;否则,将目标照片标记为非一次访问文件。本发明能够有效减小缓存写入,提高SSD缓存的使用寿命并改善SSD缓存的性能。

    一种照片分类器训练方法、SSD缓存系统及缓存方法

    公开(公告)号:CN109189696A

    公开(公告)日:2019-01-11

    申请号:CN201810911523.X

    申请日:2018-08-12

    Abstract: 本发明公开了一种照片分类器训练方法、SSD缓存系统及缓存方法,其中系统包括:SSD缓存、存储装置、日志记录装置以及分类装置;分类装置包括:预测模块和历史表模块;预测模块用于利用目标分类器预测目标照片的类别;历史表模块用于存储最近被判定为一次访问文件的照片的元数据信息;分类装置用于在预测模块预测目标照片为一次访问文件,且目标照片的元数据信息未被存储或者目标照片的元数据信息被存储而当前请求与该元数据信息所对应的最近的请求之间的访问间隔大于访问间隔阈值时,将目标照片标记为一次访问文件;否则,将目标照片标记为非一次访问文件。本发明能够有效减小缓存写入,提高SSD缓存的使用寿命并改善SSD缓存的性能。

    神经网络模型的训练方法、装置和医学图像处理系统

    公开(公告)号:CN110689038B

    公开(公告)日:2024-02-02

    申请号:CN201910759050.0

    申请日:2019-06-25

    Abstract: 本公开涉及人工智能领域中基于神经网络的计算机视觉技术。具体地,提供了一种神经网络模型的训练方法、装置和医学图像处理系统。训练方法包括:利用第一训练样本集执行初始训练,获得初始神经网络模型;利用初始神经网络模型对第二训练样本集执行预测,获得第二训练样本集中每个的预测结果;基于预测结果,从第二训练样本集确定多个优选样本;接收对于多个优选样本的标注结果,将标注后的多个优选样本加入第一训练样本集,获得扩展的第一训练样本集;利用扩展的第一训练样本集执行更新训练,以获得更新的神经网络模型;在满足训练结束条件时,结束训练;在不满足训练结束条件时,重复(56)对比文件CN 109840588 A,2019.06.04CN 109840913 A,2019.06.04US 2018165810 A1,2018.06.14US 2018330198 A1,2018.11.15US 2018330205 A1,2018.11.15US 2019102878 A1,2019.04.04邰建豪.深度学习在遥感影像目标检测和地表覆盖分类中的应用研究《.中国博士学位论文全文数据库 (基础科学辑)》.2019,(第2期),第A008-13页.Xiaocheng Xu, et.al.Weakly supervisedimage parsing by discriminativelysemantic graph propagation《. IEEEInternational Conference on Multimediaand Expo (ICME)》.2016,第1-6页.顾攀等.基于神经网络的图像弱监督语义分割算法《.计算机应用与软件》.2018,第35卷(第2期),第284-288页.丁英姿等.基于弱监督的改进型GoogLeNet在DR检测中的应用《.计算机应用》.2019,第39卷(第8期),第2484-2488页.Praveer Singh, et.al.Improvingrecognition of complex aerial scenesusing a deep weakly supervised learningparadigm《.IEEE geoscience and remotesensing letters》.2018,第15卷(第2期),第1932-1936段.SA Shahriyar, et.al.An approach formulti label image classification usingsingle label convolutional neuralnetwork《.21st International conference ofcomputer and information technology》.2019,

    一种分布式数据库系统的负载均衡方法和系统

    公开(公告)号:CN117215767A

    公开(公告)日:2023-12-12

    申请号:CN202310945035.1

    申请日:2023-07-28

    Abstract: 本申请实施例公开了一种分布式数据库系统的负载均衡方法和系统,该方法包括:在分布式数据库系统中确定负载异常的源节点;为所述数据分片的主副本和从副本所在的节点分别创建结点,为所述数据分片创建用于连接主副本所在结点和从副本所在结点的有向边,得到副本主从关系图,进而能够在所述副本主从关系图中,通过目标有向边快速地确定第一目的节点、待切换节点以及待切换主副本,提升切换计划的生成效率,切换计划被执行后,能够以均衡代价较小的主从角色切换的方式实现负载转移,提高节点间的负载均衡程度,可广泛应用于云技术、人工智能、智慧交通、辅助驾驶等场景。

    分类任务模型的训练方法、装置、设备及存储介质

    公开(公告)号:CN110097130B

    公开(公告)日:2022-12-13

    申请号:CN201910377510.3

    申请日:2019-05-07

    Abstract: 本申请公开了一种分类任务模型的训练方法、装置、设备及存储介质,涉及机器学习技术领域,所述方法包括:采用第一数据集训练初始的特征提取器,该第一数据集是类别不均衡数据集;构建生成对抗网络,该生成对抗网络包括特征提取器、特征生成器和域分类器;采用第二类别样本对生成对抗网络进行训练,得到完成训练的特征生成器;构建分类任务模型,该分类任务模型包括完成训练的特征生成器、特征提取器和分类器;采用第一数据集对分类任务模型进行训练;其中,完成训练的特征生成器用于对第二类别样本在特征空间进行扩增。本申请通过特征生成器对少数类别样本在特征空间进行扩增,提高最终训练得到的分类任务模型的精度。

    一种基于代价敏感分类算法的缓存方法及系统

    公开(公告)号:CN113268458A

    公开(公告)日:2021-08-17

    申请号:CN202110566053.X

    申请日:2021-05-24

    Abstract: 本发明公开了一种基于代价敏感分类算法的缓存方法,具体提出了一种大小感知代价敏感的AdaBoost(SAdaCost)算法来预测对象是否会被再次访问,为了尽可能地提高预测性能,SAdaCost引入了两个代价参数,同时考虑了误分类会被再次访问的对象,以及误分类不会被再次访问的较大对象而造成的缓存开销;随后,本发明将SAdaCost与传统缓存置换策略S3LRU相结合,根据分类结果将对象放入S3LRU三段缓存的不同位置,提出了一种基于分类预测的高效缓存方法,在不改变缓存算法复杂度的同时提升缓存命中率;同时,本发明将机器学习的思想引入缓存也给缓存算法研究提供了一种新的研究思路。

Patent Agency Ranking