-
公开(公告)号:CN120017527A
公开(公告)日:2025-05-16
申请号:CN202510486669.4
申请日:2025-04-18
Applicant: 齐鲁工业大学(山东省科学院) , 山东省计算中心(国家超级计算济南中心)
IPC: H04L41/14 , G06F18/23 , G06F18/22 , H04L41/142
Abstract: 本发明涉及电数字数据处理技术领域,提出了一种基于多维特征与改进聚类的通信性能分析方法及系统,包括:获取各类MPI通信函数的基础通信特征和组合通信特征,构建通信特征矩阵,采用基于特征方差的自适应相似度计算方法,根据各通信特征的方差为不同特征分配权重,进行聚类分析得到聚类结果;识别各应用程序的通信模式的性能差异。本发明通过计算各特征的方差,并根据方差为不同特征分配权重,动态调整相似度计算中各特征的贡献,确保在聚类过程中,方差较大的特占据更重要的地位;通过构建多维度的通信特征矩阵,并结合基于方差的自适应相似度计算方法,优化通信模式的聚类分析,从而提高MPI通信性能分析的精确性。
-
公开(公告)号:CN119903216A
公开(公告)日:2025-04-29
申请号:CN202510398399.1
申请日:2025-04-01
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F16/901 , G06F16/9038 , G06F16/904 , G06F16/906 , G06F16/903
Abstract: 本发明涉及基于数据湖通用元数据模型的元数据管理系统及方法,属于元数据模型技术领域,包括:元数据摄取模块,在多源异构数据入湖过程中摄取元数据;建模模块,通过元数据模型对摄取的元数据进行建模,并支持动态扩展;元数据库,用于接收和存储摄取的元数据;元数据管理模块,管理数据湖中多源异构数据的元数据和数据血缘,以图的形式进行可视化展示;其中,通过元数据模型对摄取的元数据进行建模,并支持动态扩展;包括:元数据以图的形式建模,用节点表示数据实体和元数据实体,自定义数据结构,包括结构化数据、半结构化数据和非结构化数据;用边表示节点之间的关联关系。本发明支持数据湖中的多源异构数据用例。
-
公开(公告)号:CN119669716A
公开(公告)日:2025-03-21
申请号:CN202510168242.X
申请日:2025-02-17
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F18/211 , G06F18/10 , G06F18/214 , G06F18/243 , G06N3/006
Abstract: 本发明涉及一种基于改进鸽群优化算法水质异常检测特征选择方法及系统,属于机器学习领域,包括:对净水厂数据进行预处理;执行改进鸽群算法,对鸽群进行评估;将适应度最低的鸽子的位置及速度赋予给全局最优鸽子;更新鸽子速度,并利用Sigmoid函数转换鸽子速度,根据Sigmoid函数的输出值更新鸽子位置;当达到迭代停止条件时,返回全局最优鸽子;否则,将鸽群进行变异,通过利他主义更新位置和速度;将变异完成的鸽子根据适应度值排名,计算理想目的地,更新鸽群位置;本发明通过设置自适应迭代地图和罗盘因子,同时引入利他主义机制,使鸽子个体之间能够进行信息交互和协作,促进群体的共同进化,进一步优化其搜索能力。
-
公开(公告)号:CN119597458A
公开(公告)日:2025-03-11
申请号:CN202411623640.8
申请日:2024-11-14
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F9/50 , G06F16/242 , G06F16/27 , G06F16/28
Abstract: 本发明涉及一种基于查询成本预测的资源组管理方法与系统,包括:数据采集与预处理;查询成本预测:输入XGBoost‑TF‑IDF算法,训练查询成本预测模型,再输入训练好的查询成本预测模型,预测用户提交的查询任务需要消耗的集群资源;集群配置:优化内存池的分配方式,再配置集群资源组为即时任务资源组和批处理任务资源组,分别优化即时任务资源组和批处理任务资源组的资源配置;资源组分类优化:根据查询任务的预测成本,将查询任务标记为即时任务或批处理任务并分发到相应资源组,并利用查询任务的预测成本对资源组进行动态的资源扩容和限制。通过本发明,合理分配集群的内存资源,提高查询集群的查询效率和稳定性。
-
公开(公告)号:CN119557849A
公开(公告)日:2025-03-04
申请号:CN202411610574.0
申请日:2024-11-12
Applicant: 齐鲁工业大学(山东省科学院) , 山东省计算中心(国家超级计算济南中心)
IPC: G06F18/27 , G06F18/15 , G06N3/0442 , G06N3/045 , G01W1/10 , G01W1/02 , G06F123/02
Abstract: 本发明涉及气象温度预测方法、系统、存储介质及设备,获取历史温度数据和影响温度变化的气象数据并预处理;预处理后的数据分别利用正向和反向的LSTM网络处理,得到时间序列的前向和后向隐藏状态序列,经拼接或逐元素加和得到双向隐藏状态序列;通过权重矩阵,将双向隐藏状态映射到注意力得分,经归一化处理得到每个时间步的注意力权重,并利用得到的注意力权重对双向隐藏状态序列加权求和,利用得到的上下文向量经全连接层处理,生成温度预测值。结合了双向LSTM和注意力机制,不仅增强了模型对复杂温度时间序列数据的处理能力,而且提高了预测的准确性和鲁棒性,从而应对传统方法的不足。
-
公开(公告)号:CN119520228A
公开(公告)日:2025-02-25
申请号:CN202411644819.1
申请日:2024-11-18
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: H04L41/0631 , H04L41/0677 , H04L41/0823 , H04L41/0897 , H04L41/149 , H04L41/16 , H04L47/80 , H04L47/83
Abstract: 本发明涉及云边环境中LLM增强的智能化微服务迁移方法及系统,包括:基于LLM和LSTM的待迁移微服务定位方法,根据需要迁移的历史异常事件,分析判断当前异常是否需要进行微服务迁移,如果需要迁移,则准确定位导致异常的待迁移微服务;采用基于动态GCN和BO的多目标微服务迁移决策方法,根据微服务的长期性能和运行成本,智能地为每个待迁移的微服务选择合适的节点进行迁移。本发明显著提高了判断当前异常是否需要进行迁移的准确性,并能够精准定位导致异常的待迁移微服务。有效避免了频繁迁移可能导致的网络拥堵、服务中断、性能下降以及资源利用不平衡等问题,从而实现了微服务迁移后系统性能的长期稳定性,并显著降低了运行成本。
-
公开(公告)号:CN119149240A
公开(公告)日:2024-12-17
申请号:CN202411594962.4
申请日:2024-11-11
Applicant: 齐鲁工业大学(山东省科学院) , 山东省计算中心(国家超级计算济南中心)
IPC: G06F9/50
Abstract: 本发明提出面向深度学习的细粒度、干扰感知的GPU调度方法及系统,涉及GPU资源调度技术领域。包括在离线阶段收集工作负载的资源需求信息;生成每个应用程序对应的在GPU上执行的CUDA内核任务;拦截每个应用程序CUDA内核任务的启动请求,并将启动请求对应的CUDA内核任务缓存在每个应用程序对应的任务队列中;对于高优先级应用程序,直接将对应任务队列中的CUDA内核任务提交给GPU调度;对于低优先级应用程序,根据干扰评分以及资源需求判断是否提交CUDA内核任务至GPU进行调度。本发明能够减少任务之间的资源冲突和干扰,实现GPU资源共享,提高GPU资源利用率。
-
公开(公告)号:CN119128794A
公开(公告)日:2024-12-13
申请号:CN202411152070.9
申请日:2024-08-21
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F18/25 , G06F18/214 , G06N3/0442
Abstract: 本发明提出一种基于记忆重放变分自动编码器的IoT数据在线预测系统,系统包括:预测模块,用于将待预测IoT数据输入至训练好的记忆重放VAE,得到预测结果;训练模块,用于训练记忆重放VAE,记忆重放VAE包括编码器和生成器;记忆重放VAE的训练过程为:将第一样本数据输入编码器,得到第一样本潜在因素和第一样本预测结果;生成器基于第一样本潜在因素得到第一样本重放数据;将第二样本数据和第一样本重放数据输入编码器,得到融合样本潜在因素,以及相应预测结果;基于标签和得到的预测结果,计算损失函数,当损失最小时,训练完成。本发明基于OLVAE结合注意力机制和脑重放机制,缓解编码器对旧知识的遗忘,实现IoT数据的高效预测。
-
公开(公告)号:CN118503152B
公开(公告)日:2024-10-18
申请号:CN202410953981.5
申请日:2024-07-17
Applicant: 齐鲁工业大学(山东省科学院) , 山东省计算中心(国家超级计算济南中心) , 山东省公安厅
IPC: G06F12/10 , G06N3/0442 , G06N3/045 , G06N3/08
Abstract: 本发明涉及计算机缓存技术领域,提供了一种基于门控循环与多头注意力机制的缓存替换方法及系统。该方法包括,将获取的当前访问的缓存行地址和程序计数器,转换为嵌入向量;基于嵌入向量以及前一时间步的隐藏状态,采用门控循环单元,得到当前时间步的隐藏状态,作为下一时间步门控循环单元的输入之一;将拼接的若干时间步的隐藏状态和缓存行地址输入多头注意力机制,得到上下文向量;将上下文向量输入全连接层,输出每个缓存行被替换的概率。本发明将机器学习应用于缓存优化,以满足不断变化的数据处理需求,提高缓存系统的性能和智能程度,更好地应对日益复杂和多边的数据需求,实现更高效的缓存系统。
-
公开(公告)号:CN118503229B
公开(公告)日:2024-09-27
申请号:CN202410961286.3
申请日:2024-07-18
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F16/21 , G06F16/22 , G06F16/2455 , G06F16/27
Abstract: 本发明涉及一种面向多源异构数据的Hudi数据摄取方法及系统,属于数据处理技术领域,包括:发布数据入湖任务:上传入湖任务的相关信息,发布入湖任务;执行数据入湖任务:采用Apache Hudi作为数据湖架构,通过数据入湖处理引擎将原始数据从数据源传输到数据湖中进行存储,同时采集原始数据的元数据信息,并将原始数据的元数据信息持久化存储到元数据库中;构建数据资源目录:根据采集的元数据以及元数据在数据湖中的相关信息构建数据湖的数据资源目录。本发明通过网关架构对所有数据流进行集中管理,简化来自不同源的数据集成过程,降低系统的复杂性和总体拥有成本。
-
-
-
-
-
-
-
-
-