-
公开(公告)号:CN119847673A
公开(公告)日:2025-04-18
申请号:CN202411898076.0
申请日:2024-12-23
Applicant: 中国科学院计算技术研究所 , 中科南京信息高铁研究院
IPC: G06F9/455 , G06F16/903
Abstract: 本发明提出一种用于高效管理、拉取容器镜像的方案。在该方案中,在镜像仓库侧,对其镜像文件存储架构进行深度改进,采用数据块为单位细致梳理镜像文件的相关数据,精准识别并剔除重复数据块,极大降低了镜像仓库的存储压力,使存储资源得到更合理利用。在此基础上,巧妙融合哈希桶与布隆过滤器的技术优势,构建高效的指纹检索结构,显著提高数据块的检索效率;在客户端侧,以数据块为单位从镜像仓库拉取容器镜像以启动容器,这种精准拉取方式巧妙避开了不必要数据的传输,为数据传输开辟捷径,有效减少了网络资源占用,切实提高容器镜像拉取效率,全方位推动容器技术在数据处理与应用上的进步。
-
公开(公告)号:CN119759946A
公开(公告)日:2025-04-04
申请号:CN202411613241.3
申请日:2024-11-13
Applicant: 中国科学院计算技术研究所 , 中科南京信息高铁研究院
IPC: G06F16/2453 , G06F16/22 , G06F16/21 , G06F40/284 , G06N3/044 , G06N3/0442 , G06N3/042 , G06N3/08
Abstract: 本发明提供了一种代价估计模型构建方法,包括:步骤S1、获取已执行的历史查询计划以构建训练数据集;步骤S2、采用独热编码方式和词嵌入编码方式对历史查询计划进行编码处理,以获取历史查询计划的初始向量表示;步骤S3、构建初始模型;步骤S4、以历史查询计划的初始向量表示为输入,历史查询计划的执行代价为输出,执行多轮迭代训练更新初始模型参数直至收敛。本发明的技术方案在提取特征信息时额外提取算子位置信息的特征,使得代价估计模型能够更加全面的表示查询计划在算力网场景下的执行特性;还引入词嵌入编码方式进行编码处理,不仅提高了编码效率,还能在不牺牲准确性的前提下减少代价估计模型预测时占用的计算资源。
-
公开(公告)号:CN116048912B
公开(公告)日:2024-07-30
申请号:CN202211636518.5
申请日:2022-12-20
Applicant: 中科南京信息高铁研究院
IPC: G06F11/30 , G06F18/2431 , G06F18/214 , G06F18/2433
Abstract: 本发明涉及数据处理领域,具体涉及一种基于弱监督学习的云服务器配置异常识别方法主要包括以下步骤:S1:读取服务器基础配置信息,所述服务器基础配置信息包括离散变量与非离散变量,读取历史服务器使用时长;S2:将服务器基础配置信息作为CatBoost回归模型的特征变量,将历史服务器使用时长作为CatBoost回归模型的监督信息,得到服务器使用时长的预测模型;S3:将服务器基础配置信息中的非离散变量、使用服务器使用时长的预测模型得到的预期服务器使用时长作为孤立森林模型的特征变量,得到异常识别模型。本发明利用了服务器使用时长作为服务器搭配异常问题的弱监督信号,从而提升了模型的表现力。
-
公开(公告)号:CN116048912A
公开(公告)日:2023-05-02
申请号:CN202211636518.5
申请日:2022-12-20
Applicant: 中科南京信息高铁研究院
IPC: G06F11/30 , G06F18/2431 , G06F18/214 , G06F18/2433
Abstract: 本发明涉及数据处理领域,具体涉及一种基于弱监督学习的云服务器配置异常识别方法主要包括以下步骤:S1:读取服务器基础配置信息,所述服务器基础配置信息包括离散变量与非离散变量,读取历史服务器使用时长;S2:将服务器基础配置信息作为CatBoost回归模型的特征变量,将历史服务器使用时长作为CatBoost回归模型的监督信息,得到服务器使用时长的预测模型;S3:将服务器基础配置信息中的非离散变量、使用服务器使用时长的预测模型得到的预期服务器使用时长作为孤立森林模型的特征变量,得到异常识别模型。本发明利用了服务器使用时长作为服务器搭配异常问题的弱监督信号,从而提升了模型的表现力。
-
公开(公告)号:CN116450300A
公开(公告)日:2023-07-18
申请号:CN202310487399.X
申请日:2023-05-04
Applicant: 中科南京信息高铁研究院
Abstract: 本发明涉及软件开发领域,具体涉及一种基于容器技术的并行自动化GitOps系统,包括:统一Gitlab代码仓库运行环境,存放开发人员提交的代码的环境,同时为容器化的中间件服务提供基础运行环境;统一流水线任务容器运行环境,运行持续集成工具,同时按照所属分支类型为属于不同分支的流水线任务挂载属于该分支单独的仓库;统一业务容器开发运行环境,提供各个不同业务系统项目的各个小组之间相互资源隔离的自测环境,同时为其中的微服务容器提供映射到宿主机的端口;统一业务容器测试运行环境;统一业务容器生产运行环境。本发明能够充分利用服务器的计算和存储能力,在保证各个项目没有环境冲突的情况下,能够有效节约服务器资源,提高资源利用率。
-
公开(公告)号:CN112214280A
公开(公告)日:2021-01-12
申请号:CN202010973634.0
申请日:2020-09-16
Applicant: 中国科学院计算技术研究所 , 国网辽宁省电力有限公司电力科学研究院
Abstract: 本发明提出一种电力系统仿真的云化方法及系统,包括:从计算集群中选择一个计算节点作为主节点安装容器云管理服务,并将计算集群除主节点以外的计算节点作为从节点安装容器云管理代理和容器引擎;将电力系统仿真任务中各个独立运行的组件及其运行环境封装为容器镜像,将所有容器镜像注册并上传到容器云平台的镜像库中,根据电力系统仿真任务的约束条件,编写容器编排文件;建立电力系统仿真任务中组件与当前计算集群中可用从节点的映射关系,根据映射关系和编排文件中的调度需求,将镜像库中容器镜像映射到对应从节点上以启动容器运行。本发明在同一套计算集群硬件设备上灵活部署、调度多套不同的电力系统仿真软件,提高资源利用率。
-
公开(公告)号:CN111767338A
公开(公告)日:2020-10-13
申请号:CN202010083967.6
申请日:2020-02-10
Applicant: 中国科学院计算技术研究所 , 国网辽宁省电力有限公司电力科学研究院
IPC: G06F16/27 , G06F16/2458 , G06F9/50 , G06F9/54 , G06F30/20
Abstract: 本发明提出一种电力系统在线超实时仿真的分布式数据存储方法及系统,包括:构建包括元数据节点和数据存储节点的分布式电力系统在线超实时仿真系统;根据仿真任务的存储资源调度请求和各数据存储节点的可用存储空间,元数据节点分配两个相互独立的数据存储节点分别作为原始存储节点和汇总存储节点;从电网持续周期性采集电网运行的状态数据,并将状态数据发送至原始数据存储节点和数据存储节点,各数据存储节点根据仿真任务和状态数据运行电力系统在线超实时仿真,得到局部超实时仿真结果;汇总各数据存储节点的局部仿真结果至汇总存储节点,得到电网的完整超实时仿真结果。本发明可在运行电力系统仿真的同时为仿真提供数据存储管理。
-
公开(公告)号:CN110308989A
公开(公告)日:2019-10-08
申请号:CN201910470637.X
申请日:2019-05-31
Applicant: 中国科学院计算技术研究所
Abstract: 本发明涉及一种针对OpenStack跨数据中心的资源管理装置及方法,该装置包括:多个数据中心;多个探针,分别对应各个数据中心设置,用于实时监控所述数据中心状态,并采集所述数据中心的状态信息以和空虚资源信息发送;一数据库,用于将所述状态信息和空虚资源信息进行数据存储;一配置同步模块,用于负责同步所述数据中心的环境配置;一资源调度模块,用于实现所述数据中心间的统一资源调度。本发明能实现openstack跨数据中心的资源统一调度,并实现多数据中心全局监控、管理资源和系统配置。
-
公开(公告)号:CN118796336A
公开(公告)日:2024-10-18
申请号:CN202311675065.1
申请日:2023-12-07
Applicant: 中国移动通信有限公司研究院 , 中国科学院计算技术研究所 , 中国移动通信集团有限公司
Abstract: 本申请公开了一种面向算力网络的资源调度方法、装置、设备、系统及介质。该方法包括:响应于作业任务,从至少一个虚拟队列中选取与作业资源需求参数匹配的目标超算队列;其中,作业任务包括作业资源需求参数,各虚拟队列用于维护具有相同规格配置的至少一个超算中心的超算队列;发送作业任务至目标超算队列所在的超算中心;接收目标超算队列所在的超算中心返回的作业数据;基于作业数据生成作业任务的作业结果。如此,可以对多超算中心的超算队列基于虚拟队列进行集中管理和调度,实现基于跨地域、跨平台的算力集群资源的集中管理和调度进行超算任务的目的,不仅灵活、便捷,还可以提高各超算中心的资源利用率。
-
公开(公告)号:CN112214280B
公开(公告)日:2023-09-12
申请号:CN202010973634.0
申请日:2020-09-16
Applicant: 中国科学院计算技术研究所 , 国网辽宁省电力有限公司电力科学研究院
Abstract: 本发明提出一种电力系统仿真的云化方法及系统,包括:从计算集群中选择一个计算节点作为主节点安装容器云管理服务,并将计算集群除主节点以外的计算节点作为从节点安装容器云管理代理和容器引擎;将电力系统仿真任务中各个独立运行的组件及其运行环境封装为容器镜像,将所有容器镜像注册并上传到容器云平台的镜像库中,根据电力系统仿真任务的约束条件,编写容器编排文件;建立电力系统仿真任务中组件与当前计算集群中可用从节点的映射关系,根据映射关系和编排文件中的调度需求,将镜像库中容器镜像映射到对应从节点上以启动容器运行。本发明在同一套计算集群硬件设备上灵活部署、调度多套不同的电力系统仿真软件,提高资源利用率。
-
-
-
-
-
-
-
-
-