基于并行计算的SGD负载均衡方法、装置及存储介质

    公开(公告)号:CN111858058A

    公开(公告)日:2020-10-30

    申请号:CN202010723846.3

    申请日:2020-07-24

    Inventor: 王彪 王亚强 刘魁

    Abstract: 本发明公开了基于并行计算的SGD负载均衡方法,该方法包括:基于模型并行和数据并行相结合的设计模式实现分布式并行gpu计算;采用信号量机制实现主节点对子节点间同步通信,并在子容器中优化器采用随机梯度下降算法更新权重。主节点依据子节点控制表中的误差为权重构建最小生成树,发现图节点中的关键节点,并按次序消除无关节点,重新分配其硬件资源。实现多个模型副本同时处理训练样本的不同子集,周期性的对模型副本进行交互合并,对分布式算法进行优化。本发明提出了一种新的架构思路来实现负载均衡计算的策略,提高了模型开发效率并降低了开发成本,该算法对数据规模有较好的适应性,同时实现了动态管理子容器间的异步通信。

    一种面向文件分级存储的数据迁移系统及方法

    公开(公告)号:CN111427844A

    公开(公告)日:2020-07-17

    申请号:CN202010296769.8

    申请日:2020-04-15

    Abstract: 本发明公开了一种面向文件分级存储的数据迁移系统及方法,根据周期内文件的访问次数和最近访问时间为依据对文件进行冷热程度的判别;并在数据的性质由潜热数据转变为潜冷数据时引发真正的文件迁移;包括迁移速率控制和数据迁移的控制流程。本发明通过数据冷热程度算法对数据性质进行分类,并通过计算时间长度确定负载状态,达到通过内部的数据存储调度和迁移调度,以及在业务场景下的数据自动评估方法,实现系统中数据的自动迁移,从而达到在降低数据存储成本的同时保证数据访问的高性能访问的发明目的。

    一种软件建模过程实体演进系统及方法、处理器、终端

    公开(公告)号:CN109377159A

    公开(公告)日:2019-02-22

    申请号:CN201811092842.9

    申请日:2018-09-19

    Abstract: 本发明属于程序控制装置技术领域,公开了一种软件建模过程实体演进系统及方法、处理器、终端;业务获取模块,获取关于业务的表格模板;业务分解模块,根据获取的表格模板,业务对象初步分解;关联关系形成模块,根据分解的业务对象,形成概念实体及落实关联关系;结构转换模块,用于物理表结构转换。表格包括:申请表、计划表、单据审批表、统计报表。所述业务分解模块进一步包括:对应单元,用于实现信息数据对应一个主业务对象;对象罗列单元,用于各类需要罗列的多行数据分解为子业务对象或称关联对象。本发明能够达到业务数据从源头直到物理表的全过程跟踪及关联的结果,能够实现所有业务物理表的推导及来源有迹可循。

    一种基于语义的服务构件搜索推荐方法

    公开(公告)号:CN109165351A

    公开(公告)日:2019-01-08

    申请号:CN201810982638.8

    申请日:2018-08-27

    Abstract: 本发明涉及一种基于语义的服务构件搜索推荐方法,其包括:(1)根据用户输入的搜索语句进行分词,获取不同命名实体;(2)将命名实体转换为词向量方式,在构件中心寻找与该命名实体相近的构件;(3)将寻找出的基于语义的构件,按照相似度从大到小以列表形式展现;(4)用户根据业务场景需求选择所需构件;(5)在选择所需构件后,用户可直接可视化拖拽使用构件;(6)当用户选择某一构件使用在具体流程后,通过构件推荐功能直接给出推荐结果列表,显示出在此业务场景下,用完所选构件后可能会使用的下一个构件;(7)用户在使用推荐结果整个过程中,用户的使用数据将会被记录在数据中心,供推荐结果的更新。本发明能实现用户能够更全面查询所需构件,并减少用户的构件查询次数,有效提高软件开发效率。

    一种基于(k,n)门限秘密分享的失效份额恢复方法

    公开(公告)号:CN105743639B

    公开(公告)日:2018-10-19

    申请号:CN201510324929.4

    申请日:2015-06-13

    Abstract: 本发明涉及一种基于(k,n)门限秘密分享的失效份额恢复方法。当第r个份额持有者Pr的份额f(r)失效时,选择k个有效份额的持有者p1,p2,…,pk,其有效份额分别为F(1),F(2),……,F(k);对每一个有效份额持有者pi,各自确定一个k‑1阶多项式gi(x),计算出gi(1),gi(2),…,gi(k),并分发给对应的有效份额持有者p1,p2,…,pk;计算g1(i)+g2(i)+…+gk(i)+F(i)=h(i);将获得的数据集{h(i),1≤i≤k}进行拉格朗日插值多项式算法得到一个k‑1阶多项式h(x);计算得出h(r)的值,即是丢失的份额。本发明所述方法在不大于n‑k个份额失效后,可以在不暴露秘密的前提下得到恢复,增强了秘密分享系统的实用性。

    降水量气象报文数据误差修正方法、雨凇景观预测方法

    公开(公告)号:CN107765348A

    公开(公告)日:2018-03-06

    申请号:CN201710995289.9

    申请日:2017-10-23

    Abstract: 针对现有降水量预测方法存在对局部环境特殊性考虑不足而使预测的数值越容易出现误差的缺陷,本发明提供了一种降水量气象报文数据误差修正方法,用于在起报日修正气象台对公共发布的预测日降水量报文数据Ym,得到预测日降水量修正值Yj。本发明还提供利用降水量气象报文数据误差修正方法实现的雨凇景观预测方法,用于在起报日测算预测日发生雨凇景观的概率,以及对该预测方法中温度值加以修正的优化方法。本发明还提供雨凇景观预测方法在峨眉山景区的适用。本发明方法都是以气象台对公发布的气象预报产品为数据基础,利用气象台针对大区域做出的气象预报产品实现对既定小地区的气象景观发生概率的测算,能够有效利用公共服务数据,具有较高实用性。

    一种分布式数据副本的分级存储与调度方法

    公开(公告)号:CN112947860B

    公开(公告)日:2022-11-04

    申请号:CN202110236046.3

    申请日:2021-03-03

    Abstract: 本发明公开了一种分布式数据副本的分级存储与调度方法,包括以下步骤:建立SSD‑HDD的分层式存储结构,数据的存储采用三副本的存储策略;将数据划分为冷数据、潜冷数据、热数据以及潜热数据;采用基于线段树的分配算法选择合适的存储节点;按照副本冷热属性的不同,分阶段迁移数据的副本;当数据的冷热属性变化时,将数据按照相应属性的策略进行迁移。本发明避免了因短时间大量数据的迁移而导致系统不稳定,减少数据迁移对整个存储系统的性能影响;同时为不同属性的数据提供了合适的存储和迁移方式,从而使数据对外服务达到较高的性能,并节约了成本。

Patent Agency Ranking