数据处理方法和装置
    21.
    发明授权

    公开(公告)号:CN111966495B

    公开(公告)日:2022-02-01

    申请号:CN202010849131.2

    申请日:2020-08-21

    Abstract: 本发明公开了一种数据处理方法和装置。其中,该数据处理方法包括:获取分布式系统的基于粒子群优化实现负载均衡的数据分发算法;依据基于粒子群优化实现负载均衡的数据分发算法,计算分布式系统中负载均衡的粒子最佳位置;获取分布式系统的基于粒子群优化实现最优化存储的数据分发算法;依据基于粒子群优化实现最优化存储的数据分发算法和负载均衡的粒子最佳位置,对分布式系统中各节点所需的存储空间进行优化。本发明解决了由于现有的全比较计算研究采用的是分支定界法的方法来完成全比较计算的数据分发,导致的计算时间长,效率低的技术问题。

    基于并行改进的K-means算法的大数据文本聚类方法及系统

    公开(公告)号:CN111159406A

    公开(公告)日:2020-05-15

    申请号:CN201911393493.9

    申请日:2019-12-30

    Abstract: 本发明属于文本聚类技术领域,尤其涉及基于并行改进的K-means算法的大数据文本聚类方法及系统,通过Canopy中心点选取算法和K-means基于距离的聚类算法相结合的SWCK-means文本聚类算法处理将低维度的大数据文本数据进行聚类,本发明解决了现有技术存在由于K-means算法没有最优化或局部优化处理,从而导致算法的聚类的准确率和效率低下的问题,具有提高了K-means算法的聚类的准确率和效率、减少文本的维度、提高聚类的效果以及并行化设计的有益技术效果。

    一种淤地坝防洪预警方法与系统

    公开(公告)号:CN115909662B

    公开(公告)日:2024-11-15

    申请号:CN202211221993.6

    申请日:2022-10-08

    Abstract: 一种淤地坝防洪预警方法,选取水文风险、运行风险和工程风险,构建淤地坝防洪风险评价体系;水文风险指标包括水面到坝顶的距离C1以及有无溢洪道C2;运行风险指标包括剩余淤积年限C3、剩余淤积库容C4以及有无防汛预案C5;工程风险指标包括基础防渗质量C6、坝体防渗质量C7、填筑质量C8、坝肩渗漏C9以及坝体及防渗体渗漏C10;获取淤地坝实时水位,以获取指标C1;确定各类指标的影响因子和划分防洪预警等级;影响因子,是指标对淤地坝防洪风险的影响大小;将影响因子通过加权、归一化得到综合防洪风险得分;确定防洪预警等级。本发明还提供了一种淤地坝防洪预警系统,可使淤地坝防洪预警的操作步骤清晰化,并提高了其智能化。

    一种基于生成对抗网络的空气质量预测优化方法

    公开(公告)号:CN114565136B

    公开(公告)日:2024-01-26

    申请号:CN202210103413.7

    申请日:2022-01-27

    Abstract: 一种基于生成对抗网络的空气质量预测优化方法,收集数据若干空气质量监测点的实测数据和一次预报数据;利用空气质量监测点A的实测数据,训练生成对抗网络A,对其它空气质量监测点的实测数据,分别利用生成对抗网络A的判别器继续训练,得到多个生成器,通过得到的生成器预测和修正对应空气质量监测点的一次预报数据,并作为二次预报模型的输入;根据各空气质量监测点的生成器,对每一个空气质量监测点生成器的预测结果进行集成,建立一个协同时空的二次预报模型,并通过该模型得到污染物的浓度值单日预报,并计算相应AQI和首要污染物。本发明可降低预测结果误差,提高预报的准确性。

    面向非平衡数据基于半监督分布式训练的任务识别方法

    公开(公告)号:CN114154578B

    公开(公告)日:2023-10-31

    申请号:CN202111473280.4

    申请日:2021-12-02

    Abstract: 一种面向非平衡数据基于半监督分布式训练的任务识别方法,首先,边缘设备收集大量的数据,通过自适应数据采样的方式统计数据的类别,按照类别数量从大到小生成一个降序数据集。然后,通过一个多层结构的分布式训练框架得到一个优化模型。其中,边缘节点既可以作为聚合参数的服务器,也可以作为模型训练的训练节点。最后,通过类再平衡自训练对数据集进行调整,生成一个伪标签集并统计标签集的类分布情况,遵守类再平衡规则生成一个伪标签子集,补充到标签集中生成新的数据集,完成一次自训练迭代。本发明充分利用了分布式训练与半监督学习优势,降低了非平衡数据带来的影响,提高了神经网络训练效果。

    一种面向边缘智能的高弹性多节点协同模型卸载方法

    公开(公告)号:CN114595000A

    公开(公告)日:2022-06-07

    申请号:CN202210128433.X

    申请日:2022-02-11

    Abstract: 一种面向边缘智能的高弹性多节点协同模型卸载方法。在部署阶段,多边缘节点进行信息感知,构建多边缘节点深度神经网络(Deep Neural Network,DNN)协同执行图,实现神经网络分布式部署;在执行阶段,根据部署阶段生成的执行图运行DNN模型,同时使用故障检测机制检测故障,若检测到发生分区故障,则使用基于延迟改进的策略合理的选择DNN分区的最优部署节点进行卸载备份。并使用随机调度策略来随机选择执行路径。本发明通过提高分布式神经网络的故障弹性,有效规避了边缘节点发生故障对分布式推理的影响。同时,本发明不需要额外的模型重新设计和再训练,保证了执行效率和准确率。

    一种基于生成对抗网络的空气质量预测优化方法

    公开(公告)号:CN114565136A

    公开(公告)日:2022-05-31

    申请号:CN202210103413.7

    申请日:2022-01-27

    Abstract: 一种基于生成对抗网络的空气质量预测优化方法,收集数据若干空气质量监测点的实测数据和一次预报数据;利用空气质量监测点A的实测数据,训练生成对抗网络A,对其它空气质量监测点的实测数据,分别利用生成对抗网络A的判别器继续训练,得到多个生成器,通过得到的生成器预测和修正对应空气质量监测点的一次预报数据,并作为二次预报模型的输入;根据各空气质量监测点的生成器,对每一个空气质量监测点生成器的预测结果进行集成,建立一个协同时空的二次预报模型,并通过该模型得到污染物的浓度值单日预报,并计算相应AQI和首要污染物。本发明可降低预测结果误差,提高预报的准确性。

    基于禁忌搜索优化算法的全比较数据分发方法

    公开(公告)号:CN113407336A

    公开(公告)日:2021-09-17

    申请号:CN202110530699.2

    申请日:2021-05-15

    Abstract: 本发明公开了一种基于禁忌搜索优化算法的全比较数据分发方法,针对现有的全量分发存在的存储空间浪费问题以及使用HDFS存储无法实现完全数据本地化问题,提出了基于禁忌搜索优化的全比较计算数据分发模型,针对该模型还设计了基于禁忌搜索优化的负载均衡全比较数据分发算法和基于禁忌搜索优化的最小化存储全比较数据分发算法用于计算本发明提出的全比较计算数据分发模型的负载均衡、存储节约能力、数据本地化率以及计算速并进行了仿真实验,实验结果表明该全比较计算数据分发模型有效解决了大规模ATAC的数据分发问题,提高了计算速度,对生物信息学等学科ATAC任务的计算将产生较好的推动效果。

    数据处理方法和装置
    30.
    发明公开

    公开(公告)号:CN111966495A

    公开(公告)日:2020-11-20

    申请号:CN202010849131.2

    申请日:2020-08-21

    Abstract: 本发明公开了一种数据处理方法和装置。其中,该数据处理方法包括:获取分布式系统的基于粒子群优化实现负载均衡的数据分发算法;依据基于粒子群优化实现负载均衡的数据分发算法,计算分布式系统中负载均衡的粒子最佳位置;获取分布式系统的基于粒子群优化实现最优化存储的数据分发算法;依据基于粒子群优化实现最优化存储的数据分发算法和负载均衡的粒子最佳位置,对分布式系统中各节点所需的存储空间进行优化。本发明解决了由于现有的全比较计算研究采用的是分支定界法的方法来完成全比较计算的数据分发,导致的计算时间长,效率低的技术问题。

Patent Agency Ranking