基于缓存价值的Spark缓存淘汰方法及系统

    公开(公告)号:CN112015765B

    公开(公告)日:2023-09-22

    申请号:CN202010837412.6

    申请日:2020-08-19

    Abstract: 本发明涉及大数据计算领域,具体涉及一种基于缓存价值的Spark缓存淘汰方法及系统,包括:根据基于RDD信息的缓存价值模型得到每个RDD的初始缓存价值;利用改进的快速排序算法对RDD进行排序,得到RDD序列;依据初始缓存价值由高到低的顺序依次将RDD序列中RDD的计算结果存放到集群节点内存中;在任务动态执行过程中每个Stage结束时更新RDD信息;当节点内存不足时,利用基于Block信息的缓存价值模型计算已缓存Block的缓存价值;淘汰缓存价值小的Block释放内存空间。本发明将最具有缓存价值的RDD保存在内存中,及时清理不使用的Block,提升计算速度,减少RDD重算开销,优化内存资源利用率。

    一种基于超级账本的去中心化物联网异构标识解析方法

    公开(公告)号:CN111431960A

    公开(公告)日:2020-07-17

    申请号:CN202010102761.3

    申请日:2020-02-19

    Abstract: 本发明涉及一种基于超级账本的去中心化物联网异构标识解析方法,属于物联网技术领域。该方法包括以下步骤:S1:构建基于区块链的去中心化物联网标识解析架构,利用Hyperledger Fabric超级账本多通道特性,将传统单根节点解析转换为多根节点对等解析;S2:引入基尼系数,构建异构标识解析节点信誉值的解析服务竞争模型,动态平衡各解析服务器负载,提高标识解析效率;S3:设计适用于标识解析的区块结构,通过智能合约实现物联网异构标识对等解析。该方法通过解析节点上链和解析多通道的方式以保障异构标识解析的去中心化和稳定性,解决了传统标识解析系统中单根节点解析结构中心化问题,避免了出现单一节点负载过重的问题。

    基于边界成本效益模型的边云缓存协同方法、装置及系统

    公开(公告)号:CN114070859B

    公开(公告)日:2023-09-01

    申请号:CN202111428649.X

    申请日:2021-11-29

    Abstract: 本发明属于边缘计算领域,涉及一种基于边界成本效益模型的边云缓存协同方法、装置及系统;所述方法包括构建出局部微基站缓存协同网络模型,包括边缘云服务器、边缘协调节点、微基站以及终端设备组;根据文件被请求次数,构建出文件偏好度预测模型;根据文件编码段的带宽成本、时延成本以及存储成本,构建出文件缓存协同成本模型;边缘协调节点根据文件偏好度预测模型,预测出每个微基站上的文件请求概率偏好度,并在每个微基站的私有存储空间内执行缓存策略;边缘协调节点将每个微基站的公共存储空间联合形成缓存域,并在所述缓存域中根据文件缓存协同成本模型,采用置信度传播算法进行缓存协同。本发明能够有效降低边缘云的负载,提升了工作效率。

    一种用于工业物联网环境下的异构网络资源调度方法

    公开(公告)号:CN114173359B

    公开(公告)日:2023-07-14

    申请号:CN202111501136.7

    申请日:2021-12-09

    Abstract: 本发明涉及异构网络领域,具体涉及一种用于工业物联网环境下的异构网络资源调度方法,该方法包括:构建异构工业网络体系结构;获取任务参数,采用改进的TOPSIS方法对任务参数进行处理,得到每个任务的候选网络集合;构建系统吞吐量目标函数,采用改进的BES算法对系统吞吐量目标函数进行处理,得到任务时延约束条件;在任务时延约束条件下对每个设备任务分配网络资源;本发明结合改进的TOPSIS和秃鹰算法来处理网络选择和资源分配问题,改进的TOPSIS法选择结果更加符合实际情况;BES算法全局搜索能力强,收敛速度快,能够有效的解决资源分配问题。

    一种用于工业物联网环境下的异构网络资源调度方法

    公开(公告)号:CN114173359A

    公开(公告)日:2022-03-11

    申请号:CN202111501136.7

    申请日:2021-12-09

    Abstract: 本发明涉及异构网络领域,具体涉及一种用于工业物联网环境下的异构网络资源调度方法,该方法包括:构建异构工业网络体系结构;获取任务参数,采用改进的TOPSIS方法对任务参数进行处理,得到每个任务的候选网络集合;构建系统吞吐量目标函数,采用改进的BES算法对系统吞吐量目标函数进行处理,得到任务时延约束条件;在任务时延约束条件下对每个设备任务分配网络资源;本发明结合改进的TOPSIS和秃鹰算法来处理网络选择和资源分配问题,改进的TOPSIS法选择结果更加符合实际情况;BES算法全局搜索能力强,收敛速度快,能够有效的解决资源分配问题。

    基于边界成本效益模型的边云缓存协同方法、装置及系统

    公开(公告)号:CN114070859A

    公开(公告)日:2022-02-18

    申请号:CN202111428649.X

    申请日:2021-11-29

    Abstract: 本发明属于边缘计算领域,涉及一种基于边界成本效益模型的边云缓存协同方法、装置及系统;所述方法包括构建出局部微基站缓存协同网络模型,包括边缘云服务器、边缘协调节点、微基站以及终端设备组;根据文件被请求次数,构建出文件偏好度预测模型;根据文件编码段的带宽成本、时延成本以及存储成本,构建出文件缓存协同成本模型;边缘协调节点根据文件偏好度预测模型,预测出每个微基站上的文件请求概率偏好度,并在每个微基站的私有存储空间内执行缓存策略;边缘协调节点将每个微基站的公共存储空间联合形成缓存域,并在所述缓存域中根据文件缓存协同成本模型,采用置信度传播算法进行缓存协同。本发明能够有效降低边缘云的负载,提升了工作效率。

    一种基于超级账本的去中心化物联网异构标识解析方法

    公开(公告)号:CN111431960B

    公开(公告)日:2022-04-22

    申请号:CN202010102761.3

    申请日:2020-02-19

    Abstract: 本发明涉及一种基于超级账本的去中心化物联网异构标识解析方法,属于物联网技术领域。该方法包括以下步骤:S1:构建基于区块链的去中心化物联网标识解析架构,利用Hyperledger Fabric超级账本多通道特性,将传统单根节点解析转换为多根节点对等解析;S2:引入基尼系数,构建异构标识解析节点信誉值的解析服务竞争模型,动态平衡各解析服务器负载,提高标识解析效率;S3:设计适用于标识解析的区块结构,通过智能合约实现物联网异构标识对等解析。该方法通过解析节点上链和解析多通道的方式以保障异构标识解析的去中心化和稳定性,解决了传统标识解析系统中单根节点解析结构中心化问题,避免了出现单一节点负载过重的问题。

    基于缓存价值的Spark缓存淘汰方法及系统

    公开(公告)号:CN112015765A

    公开(公告)日:2020-12-01

    申请号:CN202010837412.6

    申请日:2020-08-19

    Abstract: 本发明涉及大数据计算领域,具体涉及一种基于缓存价值的Spark缓存淘汰方法及系统,包括:根据基于RDD信息的缓存价值模型得到每个RDD的初始缓存价值;利用改进的快速排序算法对RDD进行排序,得到RDD序列;依据初始缓存价值由高到低的顺序依次将RDD序列中RDD的计算结果存放到集群节点内存中;在任务动态执行过程中每个Stage结束时更新RDD信息;当节点内存不足时,利用基于Block信息的缓存价值模型计算已缓存Block的缓存价值;淘汰缓存价值小的Block释放内存空间。本发明将最具有缓存价值的RDD保存在内存中,及时清理不使用的Block,提升计算速度,减少RDD重算开销,优化内存资源利用率。

Patent Agency Ranking