一种基于深度强化学习的Web服务组合方法

    公开(公告)号:CN107241213A

    公开(公告)日:2017-10-10

    申请号:CN201710295158.X

    申请日:2017-04-28

    Applicant: 东南大学

    Inventor: 王红兵 顾明珠

    Abstract: 本发明公开了一种基于深度强化学习的Web服务组合方法,针对传统服务组合方法在面对大规模服务场景下耗时长、灵活性差、组合结果不理想等问题,将深度强化学习技术和启发式思想应用于服务组合问题。此外考虑到真实环境的部分可观察性的特点,本发明将服务组合过程转化为一个部分可观察马尔可夫决策过程(Partially‑Observable Markov Decision Process,POMDP),利用循环神经网络解决POMDP的求解问题,使方法在面对“维度灾难”挑战时仍能表现出高效性。本发明方法能够有效的提高求解的速度,保证服务组合方案的质量的基础上,自主地适应动态性服务组合环境,在大规模动态性服务组合场景下有效的提高了服务组合的效率自适应性和灵活性。

    基于multi_DBNs模型的大服务组件系统在线可靠性预测方法

    公开(公告)号:CN107145967A

    公开(公告)日:2017-09-08

    申请号:CN201710237640.8

    申请日:2017-04-12

    Applicant: 东南大学

    Inventor: 王红兵 余媛

    Abstract: 本发明的目的是提供一种基于multi_DBNs模型的服务系统组件在线可靠性预测的方法,这种方法是能够支持网络状况处于随机波动环境以及大服务环境下,发生错误的时间表现出不确定性的可靠性预测方法。为预测组建系统在有效预测时间段内的可靠性,我们拟基于概率图模型,对动态贝叶斯网络进行适当改进,提出基于multi_DBNs模型,通过对历史数据的学习构建m_DBNs模型中的条件概率表,最后根据实时采集的系统吞吐量、响应时间信息,开展m_DBNs模型推理,选取概率最大的决定关系中的可靠性特征子序列来作为SoS组件系统可靠性在线时间序列预测的结果,然后根据多步历史的预测结果的误差,通过multi_DBNs模型以校准未来的预测。

    基于分布估计和限制玻尔兹曼机结合的自适应服务组合方法

    公开(公告)号:CN106934495A

    公开(公告)日:2017-07-07

    申请号:CN201710110885.4

    申请日:2017-02-28

    Applicant: 东南大学

    Inventor: 王红兵 彭顺顺

    CPC classification number: G06Q10/04 G06Q50/10 H04L67/02

    Abstract: 本发明公开了一种基于分布估计和限制玻尔兹曼机结合的自适应服务组合方法,包括如下步骤:1随机生成N个服务组合构成初始父代服务组合集合,根据限制玻尔兹曼机建立可选服务组合分布的概率模型;2对父代服务组合集合中的元素进行评估,选择前M个最优势服务组合构成优势解集合;3将每一个优势解作为训练数据带给概率模型的可视单元,更新RBM参数;4通过简单采样方法产生N个服务组合构成子代服务组合集合,评估子代服务组合集合和优势解集合中的元素,选择前N个最优势服务组合构成本次迭代的服务组合集合;5判断是否达到迭代终止条件,如达到,选择最优的组合服务作为结果;如没有达到,本次迭代的服务组合集合作为父代服务组合集合,跳转到步骤2。

    基于概率图模型的服务组件可靠性在线时间序列预测方法

    公开(公告)号:CN103197983A

    公开(公告)日:2013-07-10

    申请号:CN201310141453.1

    申请日:2013-04-22

    Applicant: 东南大学

    Inventor: 王红兵 王磊

    Abstract: 本发明公开了一种基于概率图模型的服务组件可靠性在线时间序列预测方法,包括如下步骤:(1)motifs发现过程;(2)使用发现的motifs标注服务组件的各个历史参数;(3)通过DBNs模型学习构建CPT;(4)DBNs模型推理并开展基于系统实时参数的在线预测。本发明提供的基于概率图模型的服务组件可靠性在线时间序列预测方法,能够有效解决面向服务的组件级系统在线可靠性时间序列预测的问题,对服务计算领域软件质量保障问题提供一种有效的解决方案,为我国开展大规模复杂软件系统的应用提供支撑,解决了自主计算领域有关Self-*的相关研究中最为核心的一个问题。

    一种用户偏好检索方法
    25.
    发明公开

    公开(公告)号:CN103106268A

    公开(公告)日:2013-05-15

    申请号:CN201310041726.5

    申请日:2013-02-01

    Applicant: 东南大学

    Abstract: 本发明公开了一种用户偏好检索方法,首先判断多维的用户偏好模型中,注册中心数据的各维之间的相关性是否确定,如确定,则进行多维降到一维的数据处理,否则进行多维到低维的多维数据处理。本发明方法找出对用户偏好模型数据的有效的索引方法并根据用户偏好模型表达的用户偏好在数据库中有效地检索k个最优的数据项的索引方法,使得检索过程不必扫描整个数据库,并构建一个满足不同情况的top-k检索引擎,可提供高效的检索服务。

    基于因果图的分层强化学习任务图进化方法

    公开(公告)号:CN102521203A

    公开(公告)日:2012-06-27

    申请号:CN201110369847.3

    申请日:2011-11-18

    Applicant: 东南大学

    Inventor: 王红兵 周建才

    Abstract: 一种基于因果图的分层强化学习任务图进化方法,步骤包括:(1)参数设置;(2)探索目标环境的因果图;(3)种群N初始化;(4)计算适应度值;(5)遗传操作,包括选择、交叉和变异;操作时保持结点之间的因果关系;(6)判断是否终止;(7)保存此因果图对应的k个适应度最高的任务图G1,G2,…,GK;(8)输出适应度最高的任务图G1。与现有技术相比本发明的构造任务图的自动化,任务图的高效性,能适应大规模复杂系统,能适用系统环境动态变化的情况。本方法仅仅依赖目标环境的因果图变化情况,在目标环境因果图有规律变化时能够预测目标环境的任务层次变化情况,从而快速高效地生成目标环境的MAXQ任务图。

    一种开源软件项目的演化建模方法

    公开(公告)号:CN114442998B

    公开(公告)日:2024-07-19

    申请号:CN202210102008.3

    申请日:2022-01-27

    Applicant: 东南大学

    Inventor: 王红兵 季浩然

    Abstract: 本发明以系统动力学领域中的元胞自动机(CA)建模OSS项目,构建了灰狼优化算法(GWO)的CA演化规则,定义了面向OSS元胞演化的灰狼优化目标向量、目标函数和优化关键算子,实现了GitHub中的OSS项目演化规则的智能获取。本发明选取了GitHub中2015年至2020年的2971个OSS项目数据进行了模拟实验,实验结果得出模拟的总体准确率较高,与真实数据具有较好的一致性。

    一种基于开发者特征的群智化软件任务推荐方法

    公开(公告)号:CN111061959B

    公开(公告)日:2024-03-19

    申请号:CN201911386686.1

    申请日:2019-12-29

    Applicant: 东南大学

    Inventor: 王红兵 严嘉

    Abstract: 群智化软件开发是一种利用世界各地开发人员资源,基于竞争或协作的方式来完成复杂开发任务的新型软件开发模式。但是,目前该软件开发模式存在着信息过载、挑选任务困难,任务复杂、质量难以保证的问题。为有效解决上述问题,本发明基于群智化软件开发者的特征给其推荐适合完成的任务,从而提高软件开发的效率与质量。开发者特征主要从两个方面来衡量,分别是开发者的动态偏好和开发者的竞争力。首先,我们使用基于注意力机制的长短期记忆神经网络来获取开发者动态变化的偏好并筛选出符合开发者偏好的前N个任务。然后,针对开发者的竞争力,采用基于差分进化算法改进的XGBoost模型预测开发者在待推荐任务上的评分。最后按照预测评分的高低向该开发者推荐Top‑K任务。

    基于最近探索的启发式服务组合方法

    公开(公告)号:CN106878403B

    公开(公告)日:2019-10-11

    申请号:CN201710055814.9

    申请日:2017-01-25

    Applicant: 东南大学

    Inventor: 王红兵 费欢欢

    Abstract: 本发明公开了一种基于最近探索的启发式服务组合方法,包括如下步骤:1、将服务组合问题建模为一个六元组马尔可夫决策过程;2、应用基于Q‑learning的启发式学习方法求解六元组马尔可夫决策过程,得到最优策略;3、将最优策略映射为web服务组合的工作流。该方法充分利用学习过程中的学习经验来提高学习速度,学习效率更高。

    结合高斯过程与强化学习的服务组合方法

    公开(公告)号:CN106850289A

    公开(公告)日:2017-06-13

    申请号:CN201710055817.2

    申请日:2017-01-25

    Applicant: 东南大学

    Inventor: 王红兵 李佳杰

    Abstract: 本发明公开了一种结合高斯过程与强化学习的服务组合方法,包括如下步骤:1、将服务组合问题建模为一个四元组马尔可夫决策过程;2、应用基于Q‑learning的强化学习方法求解四元组马尔可夫决策过程,得到最优策略;其中通过建立Q值高斯预测模型来对Q值进行更新;3、将最优策略映射为web服务组合的工作流。该方法使用高斯过程对Q值的学习进行建模,从而使其具有更好的精确性和泛化性。

Patent Agency Ranking