一种基于性价比的storm任务调度方法

    公开(公告)号:CN115827237A

    公开(公告)日:2023-03-21

    申请号:CN202211594280.4

    申请日:2022-12-13

    Abstract: 本发明涉及大数据流处理领域,涉及一种基于性价比的storm任务调度方法。该方法包括基于Storm流处理框架,构建出基于流处理的性价比模型,提交拓扑后判断在性价比数据库中是否有该拓扑的性价比信息,若有则在满足时延SLA和资源约束的条件下,按照性价比优先级来放置线程,否则以默认调度算法的方式来放置;监控集群中的task线程的性能,统计成本信息,写入性价比数据库,评判出计算资源放置的性价比优先级列表,并更新优先级列表,重新提交该拓扑。使本发明方法能够有效地权衡流式作业运行时的综合性能和成本,使用图划分思想进一步优化集群调度的性能,并考虑了资源容量的情况,使得集群以高性价比的方式调度。

    一种基于SSA-XGboost算法的大数据处理框架的动态资源分配方法

    公开(公告)号:CN115794405A

    公开(公告)日:2023-03-14

    申请号:CN202211595525.5

    申请日:2022-12-13

    Abstract: 本发明属于大数据流处理技术领域,具体涉及一种基于SSA‑XGboost算法的大数据处理框架的动态资源分配方法,包括:构建目标函数;获取Spark Streaming作业的成本模型的运行数据,并对运行数据进行清洗;采用优化后的XGboost算法对目标函数进行优化求解,得到Spark Streaming每一批次时间内所需的最佳资源大小;根据求得的最佳资源大小采用BFD算法进行Spark Streaming执行器的放置;本发明采用麻雀搜索算法SSA对XGboost算法的超参数进行选取高了算法的预测精度。

    一种clickhouse实时数据流负载均衡方法及系统

    公开(公告)号:CN115665161A

    公开(公告)日:2023-01-31

    申请号:CN202211265815.3

    申请日:2022-10-17

    Abstract: 本发明属于数据处理技术领域,具体涉及一种clickhouse实时数据流负载均衡方法及系统;该方法包括:采集clickhouse物理集群节点负载数据,构建一致性哈希多环结构,得到集群数据流的路由策略;根据clickhouse物理集群节点负载数据构建流量分发矩阵;根据流量分发矩阵,采用人工蜂群算法定期寻找流量分发的最优值,得到数据流量负载策略;根据路由策略和数据流量负载策略,采用flink流计算引擎对clickhouse集群的实时数据流进行动态调度;本发明可均衡各存储节点数据存储量,提高流量分发效率和存储性能,实用性高。

    一种基于QoS的微服务动态编排方法

    公开(公告)号:CN112769942B

    公开(公告)日:2022-09-16

    申请号:CN202110051791.0

    申请日:2021-01-15

    Abstract: 本发明属于微服务技术领域,特别涉及一种基于QoS的微服务动态编排方法,包括基于工作流对QoS的全局约束进行分解得到局部约束,选择符合局部约束的服务实例构成候选服务集合;使用效益函数获取工作流中节点的最优候选服务集合,实时监控并获取工作流节点的QoS属性,动态调整工作流节点的QoS约束;计算后继工作流QoS属性的约束紧迫度,调整后继工作流的效益函数的权重;本发明能根据运行时QoS自适应调整服务的选择和执行,并根据约束紧迫度调节服务选择的效益函数权重,动态地选择服务实例来保证全局QoS的稳定。

    基于Kubernetes的自适应伸缩web容器的方法

    公开(公告)号:CN111385142B

    公开(公告)日:2022-04-12

    申请号:CN202010092969.1

    申请日:2020-02-14

    Abstract: 本发明涉及一种基于Kubernetes的自适应伸缩web容器的方法,属于云计算技术领域,包括步骤:S1:通过web容器的请求特征,采用arima预测模型分析web请求到达率,构建web容器的请求预测模型,以获取web请求分布规律;S2:根据S1获取到web容器请求到达率和执行时间,并利用M/M/m排队网络,生成web容器自适应动态伸缩策略;S3:Kubernetes调度器依据web容器动态伸缩需求,提前配置扩容或缩容。本发明能够提前对web容器做好动态伸缩的配置,以保证请求高峰期的服务质量,同时提升容器资源利用率,从而提高用户体验,提高企业收益;预测过程和扩缩容过程无需用户干预,对用户友好。

    基于文本相似度的数据去重方法、装置及存储介质和服务器

    公开(公告)号:CN114281989A

    公开(公告)日:2022-04-05

    申请号:CN202111516164.6

    申请日:2021-12-06

    Abstract: 本发明涉及大数据处理领域,具体涉及一种基于文本相似度的数据去重方法、装置及存储介质和服务器;所述方法包括对初始文本数据和增量文本数据分别预处理;从初始文本数据中抽取部分样本,采用层次聚类算法对其分类,并确定出一级索引;采用k‑means聚类算法将所有初始文本数据哈希值划分到层次聚类算法对应的类别中,构建出二级索引,并将二级索引的地址指向一级索引;通过检索二级索引,对初始文本数据去重,并从二级索引选择排名靠前的作为常驻索引,结合常驻索引、二级索引和一级索引,对增量文本数据进行去重处理。本发明能提高内存命中率,有效减少磁盘I/O操作,极大减少去重任务对系统资源的占用,有效降低企业数据的存储成本。

    面向雾计算的成本效率优化的动态自适应任务调度方法

    公开(公告)号:CN111614754B

    公开(公告)日:2022-04-05

    申请号:CN202010429823.1

    申请日:2020-05-20

    Abstract: 本发明涉及雾计算技术领域,具体涉及一种面向雾计算的成本效率优化的动态自适应任务调度方法,包括:根据预估的任务需求资源、时间要求计算节点的延迟以及吞吐量,并根据节点的延迟以及吞吐量获得QoS违反率Rqos;根据QoS违反率Rqos的值,将系统QoS状态划分不可用状态、可容忍状态和不易察觉状态;不可用状态下采用最大化QoS策略,可容忍状态采用最大化单位成本策略,不易察觉状态下采用成本最低策略;根据具体任务调度策略请求雾节点,通过使用FFD算法为任务分配合适的雾节点;本发明能够更精确地衡量系统实际运行的成本,通过该调度策略框架,实现雾计算平台在保障系统QoS的前提下自适应准确降低成本。

    基于区块链技术的细粒度云存储访问控制方法、系统及设备

    公开(公告)号:CN114065265A

    公开(公告)日:2022-02-18

    申请号:CN202111429870.7

    申请日:2021-11-29

    Abstract: 本发明涉及数据安全领域,涉及基于区块链技术的细粒度云存储访问控制方法、系统及设备;所述方法包括构建出基于区块链技术的云存储共享模型,DO和DU向智能合约注册并生成私钥;DO对数据文件用对称密钥加密得到数据密文,将其上传至CSP,CSP返回文件存储地址;DO根据私钥、模型公钥和访问控制策略树对对称密钥和文件存储地址进行属性基加密,将属性基密文发送至区块链中形成区块,并返回区块标识;DU向区块链发送数据请求,返回对应属性基密文,解密出数据文件的文件存储地址和对称密钥;DU根据解密地址向CSP发出请求,使用解密出的对称密钥对CSP返回的数据密文解密出数据文件。本发明保证了密钥传输和数据传输的安全性。

    基于黑寡妇优化算法的最优QoS服务选择方法及装置

    公开(公告)号:CN113962161A

    公开(公告)日:2022-01-21

    申请号:CN202111303203.4

    申请日:2021-11-05

    Inventor: 熊安萍 田浩 蒋溢

    Abstract: 本发明涉及微服务领域,涉及一种基于黑寡妇优化算法的最优QoS服务选择方法及装置,所述该方法包括:初始化CPS服务集合,根据CPS结构的特性,采用微服务架构将其划分为应用层服务、网络层服务和物理层服务;根据不同层服务的参考指标,分别构建各层的QoS模型;依据各层QoS模型,得出各层最优QoS的目标函数,并将目标函数作为各层对应的适应函数;采用优化的BWO算法对CPS服务选择进行优化,确定CPS环境下服务选择的QoS最优解。本发明中采用融合柯西变异和反向学习策略来优化黑寡妇算法,有效避免了搜索陷入局部最优解的情况;本发明能够有效降低CPS环境下服务选择的复杂性和海量性,使得服务QoS达到最优。

    一种基于Fabric的数据库访问日志上链方法及系统

    公开(公告)号:CN113158227A

    公开(公告)日:2021-07-23

    申请号:CN202110249318.3

    申请日:2021-03-08

    Inventor: 蒋溢 陈军 熊安萍

    Abstract: 本发明属于区块链技术领域,特别涉及一种基于Fabric的数据库访问日志上链方法及系统,所述方法包括:基于HyperLedgerFabric构建数据库访问日志上链模型;基于Raft共识机制中日志应用的迟滞差值和节点迟滞差值的方差齐性检验,构建信誉值模型,并选举Leader节点;代理节点发起交易,经背书节点验证后,将交易信息广播给排序模块,由排序节点打包成块,通过组织节点写入账本;本发明在保证Leader节点选举的安全性基础之上,通过代理节点过滤并旁路数据库访问日志记录,保证了数据库访问日志的防篡改性、可溯源性,尤其适用于重数据资产企业数据库访问安全。

Patent Agency Ranking