一种面向集群微服务高可用的实现方法

    公开(公告)号:CN108712464A

    公开(公告)日:2018-10-26

    申请号:CN201810330549.5

    申请日:2018-04-13

    Abstract: 本发明提供一种面向集群微服务高可用的实现方法。包括以下步骤:通过部署服务架构使集群中的全部节点同步感知新发布的微服务;集群中的各节点的服务代理程序通过建立IPTABLES转发规则对微服务进行负载均衡调节;在集群中各节点运行服务负载监控程序,定时采集并整合各节点所有微服务的负载情况,据此进行动态的增加或删减微服务的后端实例的操作。可使新服务发布后,集群中所有的节点都能够感知,并在此基础上实施自适应负载均衡策略,进而在进行扩容缩容的时根据自适应负载均衡策略动态地调整本地IPTABLES转发规则,以保证扩容缩容之后的负载均衡。即从不同的阶段和角度为实现集群微服务的高可用性发挥作用。

    一种异构集群中面向混合负载的任务调度方法及系统

    公开(公告)号:CN104243617B

    公开(公告)日:2017-10-27

    申请号:CN201410543294.2

    申请日:2014-10-14

    Abstract: 本发明涉及一种异构集群中面向混合负载的任务调度方法及系统,包括以下步骤:资源调度器接收机器心跳,维护机器的属性簇;作业管理器接收并解析作业,获得若干个任务;作业管理器为任务设置属性簇和约束需求,并将任务信息发送给资源管理器;资源调度器为任务匹配满足约束且最优的机器,并将任务与机器的匹配关系返回给作业管理器;作业管理器将任务下发到匹配机器上的执行器上,执行任务。本发明通过一种易拓展的约束描述方法来表示异构化的机器属性和任务需求,在此基础上,将硬约束作为过滤标准,将软约束作为选择标准,为任务分配最优机器,显著提高了任务的执行效率和系统的整体性能。

    一种基于数据增强的以太坊账户身份识别方法及系统

    公开(公告)号:CN117689386A

    公开(公告)日:2024-03-12

    申请号:CN202311521280.6

    申请日:2023-11-15

    Abstract: 本发明公开了一种基于数据增强的以太坊账户身份识别方法及系统。本方法为:1)根据以太坊网络中的账户交易信息以及以太坊网络中各节点的标签信息,构建全局账户交易图;2)获取每一节点的统计特征、时序交易特征和交易结构特征,并将每一节点及其邻居节点的信息进行聚合得到对应节点的多维融合特征;3)通过生成对抗网络根据各节点的多维融合特征学习得到少样本节点类别的完整特征潜在分布;根据样本的实际分布与完整特征潜在分布之间的差异优化生成对抗网络;然后利用优化后的生成器生成少样本节点类别的多维融合特征;4)利用增强后的样本集训练得到分类器;5)将待识别的以太坊账户的多维融合特征输入到分类器中,得到对应的身份类别。

    一种大模型混合并行训练加速方法和系统

    公开(公告)号:CN116755876A

    公开(公告)日:2023-09-15

    申请号:CN202310583278.5

    申请日:2023-05-23

    Abstract: 本发明公开了一种大模型混合并行训练加速方法和系统,其步骤包括:1)利用分布式集群采用双向流水线并行方案运行目标大模型,并采集分布式集群的静态数据和动态数据;静态数据包括集群中各GPU之间每次数据传输的通信量和目标大模型每层计算操作的计算量,动态数据包括各GPU之间每次数据传输的通信时间和目标大模型每层计算操作的计算时间;2)依据静态、动态数据构建GPU性能模型,通过平衡流水线利用率和设备利用率对双向流水线并行方案进行优化;3)结合数据并行方案和优化后的双向流水线并行方案构建混合并行方案,并依据GPU性能模型确定混合并行方案的最优混合并行模式;然后按照所确定最优混合并行模式对目标大模型进行训练。

    面向样本不均衡场景下的联邦学习优化方法、装置及系统

    公开(公告)号:CN115906153A

    公开(公告)日:2023-04-04

    申请号:CN202211357345.3

    申请日:2022-11-01

    Abstract: 本发明公开了一种面向样本不均衡场景下的联邦学习优化方法、装置及系统。所述方法包括:获取各参与者的本地训练样本集中的样本数量;生成业务初始模型;基于各参与者的本地训练样本集对所述业务初始模型进行联合学习训练,得到一全局模型;将所述全局模型分发各参与者,以使所述样本数量不小于一阈值的参与者将所述全局模型作为最终模型,以及所述样本数量小于所述阈值的参与者基于本地数据对所述全局模型进行迭代优化,并将训练后的模型作为最终模型。本发明更好的实现了参与者在样本不均衡场景下的数据安全共享和高效合作建模。

    一种云平台中分布式应用的智能部署方法及系统

    公开(公告)号:CN103810023A

    公开(公告)日:2014-05-21

    申请号:CN201410080662.4

    申请日:2014-03-06

    Abstract: 本发明涉及一种云平台中分布式应用的智能部署方法及系统,其方法为用户提交运行作业及资源需求;调度管理器将运行作业指定的可执行程序存储到分布式存储系统中,并记录存储位置;调度管理器根据运行作业中包含实例的个数形成相应数量的任务,为各个任务匹配物理节点,并将各任务下发给最匹配物理节点的任务执行器;最匹配物理节点的任务执行器根据任务中包含的信息配置虚拟机并启动;虚拟机根据任务中包含的信息自动从分布式存储系统中获取可执行程序并运行;本发明其使得云平台中多个分布式应用程序可以共享一个物理集群的资源,并给用户提供一种简单、透明、自动的部署接口,方便分布式应用程序的智能化部署,提高了资源的利用率。

Patent Agency Ranking