基于内存计算框架Spark的性能优化和参数配置方法

    公开(公告)号:CN111176832B

    公开(公告)日:2022-07-01

    申请号:CN201911241267.9

    申请日:2019-12-06

    Abstract: 本发明公开了一种基于内存计算框架Spark的性能优化和参数配置方法,通过先确定Spark应用程序类型以及影响不同类型的Spark性能参数,随机组合配置参数得到训练集,将训练集通过LightGBM算法建立配置参数模型,通过贝叶斯优化算法搜索LightGBM算法的超参数最优组合,进一步使得配置模型选择出最优配置参数。本发明不要求用户理解Spark运行机制、参数意义作业和取值范围,以及应用程序类型特点和输入集的情况下,能为用户找到运行在不同集群环境下不同类型应用程序的最优配置参数,较之前的参数配置方法更加简单明了方便。

    基于内存计算框架Spark的性能优化和参数配置方法

    公开(公告)号:CN111176832A

    公开(公告)日:2020-05-19

    申请号:CN201911241267.9

    申请日:2019-12-06

    Abstract: 本发明公开了一种基于内存计算框架Spark的性能优化和参数配置方法,通过先确定Spark应用程序类型以及影响不同类型的Spark性能参数,随机组合配置参数得到训练集,将训练集通过LightGBM算法建立配置参数模型,通过贝叶斯优化算法搜索LightGBM算法的超参数最优组合,进一步使得配置模型选择出最优配置参数。本发明不要求用户理解Spark运行机制、参数意义作业和取值范围,以及应用程序类型特点和输入集的情况下,能为用户找到运行在不同集群环境下不同类型应用程序的最优配置参数,较之前的参数配置方法更加简单明了方便。

    一种无线传感器网络层次路由协议的组簇方法

    公开(公告)号:CN102448138B

    公开(公告)日:2014-04-09

    申请号:CN201110458685.0

    申请日:2011-12-31

    CPC classification number: Y02D70/10 Y02D70/30

    Abstract: 本发明涉及一种无线传感器网络路由协议成簇方法,与传统的层次路由协议的分簇方法不同,本发明对所有节点设置层次号和簇号进行标识,并计算出每层合理的簇数,设计了合理的网络拓扑结构,解决了传统路由协议的簇域分布过多,基站对网络的管理更加繁琐和复杂的问题。本发明提出的独立重建簇的方法有效地平衡簇首节点与簇内节点之间的能量消耗,有效地提高了簇头节点基站进行通信的效率,显著的延长了网络的生存周期。本发明通过辅助节点对簇首节点进行实时的监听,防止因簇首突然死亡,整个簇失去管理而造成的能量浪费。还在数据传输过程中,设计了合理的路径补救策略,有效地提高了数据传输的效率与完整性。

    无线通信方法与无线直接连接通信系统

    公开(公告)号:CN102685856A

    公开(公告)日:2012-09-19

    申请号:CN201210186927.X

    申请日:2012-06-08

    Abstract: 本发明设计了一种无线通信方法和系统。包含:至少支持软AP角色的第一无线通信终端,支持STA角色的第二无线通信终端,为第一无线通信终端指定无线直接连接网络的服务集标识SSID,第二无线通信终端扫描到该任意指定SSID,在通信双方发送之前及接收之后对帧进行SSID映射处理。无线直接连接通信终端之间无需AP即可直接建立连接。无线通信方法基于直接连接技术,采用SSID映射过程,从而可以有效的解决无线直接连接中SSID不可任意指定的问题。

    一种LTE中鉴权的方法
    26.
    发明公开

    公开(公告)号:CN102395130A

    公开(公告)日:2012-03-28

    申请号:CN201110339773.9

    申请日:2011-11-01

    Abstract: 针对目前LTE网络中存在的安全问题,本发明提出了一种新的鉴权方法,在方法中,由于增加了核心网对eNodeB的鉴权并把鉴权结果发送给MME,这样就避免了一些非法的eNodeB对核心网和用户进行攻击;当UE需要向核心网发送IMSI时,需要根据分配的TMSI完成上述通信流程,后利用ASE给UE颁发的身份来加密IMSI,这样避免了UE以明文的方式发送IMSI,使之不易被截获;通过本发明鉴权步骤,能够使UE到ASE之间的通信链路是安全的,可以更新共享密钥K。当然,后面两个问题的解决,是依赖于事先已经建立过的安全的链路而实现的。

    软件定义网络中综合链路负载与带宽碎片化的流调度方法

    公开(公告)号:CN116248578B

    公开(公告)日:2024-09-20

    申请号:CN202211655306.1

    申请日:2022-12-21

    Abstract: 本发明请求保护一种软件定义网络中综合链路负载与带宽碎片化的流调度方法。该方法包括:通过SDN控制器来获取网络拓扑结构,实时获取链路负载情况,通过最短K路径算法为大象流找出源、目的节点间的最短路径集合,筛选路径中大流碰撞度较小的候选路径集;通过网络各链路的平均负载值来衡量网络整体负载状况,提出了一个网络负载阈值,当小于阈值时,从路径的可用带宽、稳定度和时延三个指标上对候选路径进行评估,通过选取一条最优路径;当大于阈值时,为大流从匹配度以及碎片化代价寻找最优路径作为调度路径。本发明综合考虑了链路负载均衡和带宽碎片化问题,提高了网络总吞吐量和链路利用率,保证网络的负载均衡。

    一种面向多用户独立授权的多元化神经网络模型水印方法

    公开(公告)号:CN116561714A

    公开(公告)日:2023-08-08

    申请号:CN202211650481.1

    申请日:2022-12-21

    Abstract: 本发明请求保护一种面向多用户独立授权的多元化神经网络模型水印方法,包括以下步骤:①水印设计以及预处理:设计神经网络多元化模型水印,选择编码方式将水印转换成二进制代码向量。②嵌入层选择以及参数提取:根据嵌入参数确定水印信息嵌入层,获取嵌入层参数,将单精度浮点型参数转化为4字节32位二进制形式。③水印信息嵌入:根据嵌入参数将预处理后的水印信息分割成若干段替换选中的嵌入层参数的部分比特位,根据替换后的浮点数二进制计算新的嵌入层参数。④水印信息提取:将各嵌入层参数转换为二进制浮点数形式,根据嵌入参数提取出各嵌入层参数中的水印信息,拼接后反编码提取完整水印。

    一种基于视频流量预测模型的改进TFRC拥塞控制系统及方法

    公开(公告)号:CN113141318B

    公开(公告)日:2023-03-31

    申请号:CN202110334863.2

    申请日:2021-03-29

    Abstract: 本发明请求保护一种基于视频流量预测模型的改进TFRC拥塞控制系统及方法,其包括:视频流量数据获取模块、视频流量发送速率预测模块及数据包发送速率调整模块,其中,视频流量数据获取模块采用抓包软件对每秒视频数据包的发送率进行采集;视频数据包发送速率预测模块采用小波变换与神经网络门控循环单元GRU的组合预测模型对视频包发送速率进行预测,将历史发送速率及影响参数作为预测模型的输入,对视频流量发送速率进行预测;数据包发送速率调整模块将发送速率预测值作为下一时刻TFRC协议调节视频发送端发送速率的一个参考因子,与原TFRC计算的预估值共同作用于调节发送速率中,进行视频发送端视频流量发送速率的调节。

    一种基于视频流量预测模型的改进TFRC拥塞控制系统及方法

    公开(公告)号:CN113141318A

    公开(公告)日:2021-07-20

    申请号:CN202110334863.2

    申请日:2021-03-29

    Abstract: 本发明请求保护一种基于视频流量预测模型的改进TFRC拥塞控制系统及方法,其包括:视频流量数据获取模块、视频流量发送速率预测模块及数据包发送速率调整模块,其中,视频流量数据获取模块采用抓包软件对每秒视频数据包的发送率进行采集;视频数据包发送速率预测模块采用小波变换与神经网络门控循环单元GRU的组合预测模型对视频包发送速率进行预测,将历史发送速率及影响参数作为预测模型的输入,对视频流量发送速率进行预测;数据包发送速率调整模块将发送速率预测值作为下一时刻TFRC协议调节视频发送端发送速率的一个参考因子,与原TFRC计算的预估值共同作用于调节发送速率中,进行视频发送端视频流量发送速率的调节。

Patent Agency Ranking