一种hadoop参数优化模型的构建方法

    公开(公告)号:CN115061978B

    公开(公告)日:2025-03-21

    申请号:CN202210671845.8

    申请日:2022-06-15

    Abstract: 本发明涉及分布式处理技术领域,尤其涉及一种hadoop参数优化模型的构建方法,包含:利用服务器在一定时间内收集各数据源产生的数据量;分析单个所述数据源的特性,并根据其产生数据量的按比例赋予特征值,并利用服务器根据特征值预估待处理文件规模;服务器以一定时间为周期,收集各预备节点在常规运行状态下的资源存有量,并将其分组;服务器根据所述待处理文件规模,预估节点数量和处理时间;服务器依照服务器预估节点数量和处理时间,对hadoop的参数进行调整。通过分析数据源的特性,赋予特征值,根据特征值预估文件规模,将hadoop分布式节点进行分组,并依据文件规模和节点组对hadoop的参数进行调整,从而节约hadoop项目的资源。

    一种hadoop参数优化模型的构建方法

    公开(公告)号:CN115061978A

    公开(公告)日:2022-09-16

    申请号:CN202210671845.8

    申请日:2022-06-15

    Abstract: 本发明涉及分布式处理技术领域,尤其涉及一种hadoop参数优化模型的构建方法,包含:利用服务器在一定时间内收集各数据源产生的数据量;分析单个所述数据源的特性,并根据其产生数据量的按比例赋予特征值,并利用服务器根据特征值预估待处理文件规模;服务器以一定时间为周期,收集各预备节点在常规运行状态下的资源存有量,并将其分组;服务器根据所述待处理文件规模,预估节点数量和处理时间;服务器依照服务器预估节点数量和处理时间,对hadoop的参数进行调整。通过分析数据源的特性,赋予特征值,根据特征值预估文件规模,将hadoop分布式节点进行分组,并依据文件规模和节点组对hadoop的参数进行调整,从而节约hadoop项目的资源。

    基于多分支与改进的Dense2Net的高光谱图像分类方法及系统

    公开(公告)号:CN116883726B

    公开(公告)日:2024-06-14

    申请号:CN202310749812.5

    申请日:2023-06-25

    Inventor: 潘新 唐婷 罗小玲

    Abstract: 本发明属于信息技术服务技术领域,公开了一种基于多分支与改进的Dense2Net的高光谱图像分类方法、系统及终端,包括数据集生成,获取高光谱图像数据集,将数据集随机划分为训练集、验证集和测试集;构建TBTA‑D2Net网络模型;利用训练集训练TBTA‑D2Net网络模型,更新多次迭代的参数;利用验证集监测模型的性能并选择出最优模型;利用最优模型对测试样本进行测试,实现对高光谱数据每个像素点的分类。本发明的Dense2Net bottleneck模块加强了DenseNet的特征传播和特征重用,并结合了Res2Net模块的多尺度特征提取优势。除此之外,本发明还采用了一种新的深度模型优化器Adan。Adan结合了自适应优化器,Nesterov冲量,以及解耦的权重衰减策略的优点,可以有效提升网络模型的训练速度。

    一种基于上采样和多分支的高光谱图像分类方法和系统

    公开(公告)号:CN117765397A

    公开(公告)日:2024-03-26

    申请号:CN202311833814.9

    申请日:2023-12-28

    Abstract: 本发明公开了一种基于上采样和多分支的高光谱图像分类方法和系统,属于信息技术服务技术领域。方法包括:S1、采集高光谱遥感图像数据,并对高光谱图像数据的每个像素点获取邻域块;邻域块大小为9×9×b,b表示光谱带的数量;S2、对邻域块进行特征提取,得到特征图;构建StemNet模型,基于StemNet模型对特征图进行去冗余处理,得到去冗余特征图;S3、构建特征提取网络,并基于StemNet模型的输入参数对特征提取网络进行模型选择,基于选择的模型对去冗余特征图进行特征提取并融合,得到融合特征;S4、基于融合特征完成高光谱图像分类。本发明应用于机载遥感智能处理领域,能够提升高光谱遥感图像分类性能。

    一种基于无人机图像的草地鼠洞检测方法

    公开(公告)号:CN116977880A

    公开(公告)日:2023-10-31

    申请号:CN202311087548.X

    申请日:2023-08-25

    Abstract: 本发明公开了一种基于无人机图像的草地鼠洞检测方法,包括以下步骤:获取草地鼠洞图像;基于上下文增强模块、Tscode解耦头以及全维动态卷积对原始YOLOv5n模型进行改进,获得改进后的CTO‑YOLOv5n模型;基于所述CTO‑YOLOv5n模型对所述草地鼠洞图像进行处理,获得鼠洞的位置信息。本发明提出的检测方法可以精准的识别出草地鼠洞以及被杂草遮挡的鼠洞,并且能够区分鼠洞与石块的阴影,实现鼠洞的精准识别。

    一种结合D3D的三分支三注意力机制高光谱图像分类方法

    公开(公告)号:CN114758170B

    公开(公告)日:2023-04-18

    申请号:CN202210344115.7

    申请日:2022-04-02

    Abstract: 本发明属于光谱图像分类技术领域,公开了一种结合D3D的三分支三注意力机制高光谱图像分类方法,构建结合可变形3D卷积的三分支三注意力机制网络D3DTBTA‑Net,提取高光谱图像的光谱信息和空间信息;所述D3DTBTA‑Net分为光谱分支、空间X分支和空间Y分支,分别提取出光谱特征图、空间X特征图和空间Y特征图后,将三个分支上提取出的特征图融合进行分类。本发明能够根据训练好的深度学习模型,自动进行分类,无需输入任何参数和耗费大量的时间成本和人力成本去标注数据;通过可变形3D卷积和三分支三注意力机制能够提取出更具判别力的特征,从而提高分类精度,在训练样本数量有限的情况下仍然能保持好的分类性能。

    一种结合D3D的三分支三注意力机制高光谱图像分类方法

    公开(公告)号:CN114758170A

    公开(公告)日:2022-07-15

    申请号:CN202210344115.7

    申请日:2022-04-02

    Abstract: 本发明属于光谱图像分类技术领域,公开了一种结合D3D的三分支三注意力机制高光谱图像分类方法,构建结合可变形3D卷积的三分支三注意力机制网络D3DTBTA‑Net,提取高光谱图像的光谱信息和空间信息;所述D3DTBTA‑Net分为光谱分支、空间X分支和空间Y分支,分别提取出光谱特征图、空间X特征图和空间Y特征图后,将三个分支上提取出的特征图融合进行分类。本发明能够根据训练好的深度学习模型,自动进行分类,无需输入任何参数和耗费大量的时间成本和人力成本去标注数据;通过可变形3D卷积和三分支三注意力机制能够提取出更具判别力的特征,从而提高分类精度,在训练样本数量有限的情况下仍然能保持好的分类性能。

Patent Agency Ranking