一种基于Spark下并行超网络的分类方法

    公开(公告)号:CN106777006B

    公开(公告)日:2020-10-23

    申请号:CN201611115832.3

    申请日:2016-12-07

    Abstract: 本发明涉及一种基于Spark下并行超网络的分类算法,具体包括以下步骤:步骤S1.把文本数据部署到Spark平台上;步骤S2.在Spark平台上对文本数据进行并行化预处理;步骤S3.在Spark平台上,对超网络算法的演化学习进行并行化实现。本发明主要解决在大规模文本数据量的情况下,演化超网络分类算法的并行处理问题,通过分布式数据存储阶段,数据预处理阶段,并且通过改变超边结构以及超网络演化计算方式,修改目标函数,完成对超网络算法的并行化处理,提高传统超网络的分类算法性能和效率,解决在海量数据中,传统的超网络模型已经难以满足时间和空间的限制。

    一种基于Spark的高维稀疏文本数据聚类方法

    公开(公告)号:CN106570173B

    公开(公告)日:2020-09-29

    申请号:CN201610988558.4

    申请日:2016-11-09

    Abstract: 本发明请求保护一种基于Spark的高维稀疏文本数据聚类方法,包括步骤:用RDD读入数据集;并用RDD接口设计出分布式稀疏向量集;分布式稀疏向量集与其所在结点的完整数据集计算相似度,按编号抽象为相似矩阵。将存放的相似矩阵对称化,并求其归一化形式和Laplace矩阵形式。4、利用SVD分解步骤3中归一化Laplace矩阵,5、步骤4构建的新矩阵作为样本输入到K‑means模型进行训练。6、利用建立的模型对测试集进行聚类。本发明提高了传统谱聚类算法在大数据集下的运算性能。

    一种基于KCP协议的Android端到端直播方法

    公开(公告)号:CN111405298A

    公开(公告)日:2020-07-10

    申请号:CN202010095724.4

    申请日:2020-02-17

    Inventor: 王进 周郁淳

    Abstract: 本发明请求保护一种基于KCP协议的Android端到端直播方法,包括:101Android推流端采集直播音视频数据进行本机预览并拷贝到本机;102Android推流端对拷贝的数据进行转码;103Android推流端通过KCP将数据发送到Android播放端;104Android播放端通过KCP对数据进行接收;105Android播放端对收到的数据进行计算;106Android播放端对数据进行播放。本发明主要是通过Android推流端对采集到的音视频数据进行拷贝和转码,通过KCP协议进行发送,Android播放端对接收到的数据行进解压、计算和播放,使得直播能够在网络不佳的情况下依旧能维持观看的实时性、流畅性,优化用户的直播体验。

    一种基于大数据的网络流量异常实时监测系统

    公开(公告)号:CN107332848B

    公开(公告)日:2020-05-12

    申请号:CN201710542877.7

    申请日:2017-07-05

    Abstract: 本发明请求保护一种基于大数据的网络流量异常实时监测的系统,使用了一种解耦合的系统设计,数据采集,数据处理,数据分析与及时响应自成一体,系统高度模块化。其特征在于:用嗅探器进行了数据的分布式采集,实现全网监测,实时抓取网络数据包信息。根据URL结构设定了特定规则,构建数据处理模块,实现对URL的有效信息提取。大量URL数据输入到利用bagging集成的机器学习器中进行有监督式学习,得到能够识别URL类型的数据分析模块;Web端与移动客户端的结合以多角度,多层次呈现数据。安装在服务器上的防御插件实现了对服务器的及时防护,与此同时,实时更新系统分类器数据,提高系统实用性。

    一种基于大数据的地铁站客流量预测方法

    公开(公告)号:CN110222873A

    公开(公告)日:2019-09-10

    申请号:CN201910398192.9

    申请日:2019-05-14

    Abstract: 本发明公开了一种基于大数据的地铁站客流量预测方法,主要是通过对地铁站历史刷卡数据进行预处理和分析,构建特征,对特征进行选择,建立多个机器学习模型并进行融合,根据地铁站历史刷卡数据对地铁站在未来的客流量进行预测,以帮助实现更合理的出行路线选择,规避交通堵塞,提前部署站点安保措施等,最终实现用大数据和人工智能等技术助力未来城市安全出行。

    一种基于大数据的商家回头客预测方法

    公开(公告)号:CN110210913A

    公开(公告)日:2019-09-06

    申请号:CN201910516387.9

    申请日:2019-06-14

    Abstract: 本发明请求保护一种基于大数据的商家回头客预测方法,包括:101对消费者的历史行为数据进行预处理操作;102根据历史行为划分训练集数据、验证集数据;103对消费者历史行为数据进行特征工程操作;104对构建特征完成的样本集进行特征选择;105建立多个机器学习模型,并进行模型融合操作;106通过建立的模型,根据消费者历史行为数据对新买家在未来六个月内是否会再次在同一商家购买商品进行预测。本发明通过预处理和分析,提取特征,特征选择工作,建立多个机器学习模型,根据消费者在双十一之前半年的消费行为数据对新买家在未来六个月内是否会再次在同一商家购买商品进行预测,为商家精准定位潜在忠实客户、减少促销成本和提高投资回报提供服务。

    一种光纤折射率大数据预测方法

    公开(公告)号:CN109711004A

    公开(公告)日:2019-05-03

    申请号:CN201811511344.3

    申请日:2018-12-11

    Abstract: 本发明请求保护一种光纤折射率大数据预测方法,包括:101对光纤拉制时的生产数据进行预处理;102根据光纤拉制设备的不同,划分训练集和验证集;103建立三个基础机器学习模型;104利用线性加权方法对基础模型进行融合;105根据最终建立的模型,对即将拉制的光纤的折射率进行回归预测。本发明主要是通过对光纤拉制时的生产数据进行预处理和分析,建立三个机器学习模型并进行模型融合,从而对即将被拉制的光纤的折射率进行回归预测分析,判断生产的光纤是否满足要求,同时也可以通过预测结果对现已有的参数进行调整,进而提高光纤生产的效率与合格率。

    一种基于深度迁移学习的图片分类方法

    公开(公告)号:CN109523018A

    公开(公告)日:2019-03-26

    申请号:CN201910016242.2

    申请日:2019-01-08

    Abstract: 本发明请求保护一种基于深度迁移学习的图片分类方法,其中,所述的领域适应至少包含两个领域的数据,分别为源域和目标域,并且源域数据为已标记的样本数据.所述方法主要包括以下步骤:步骤1)数据准备阶段.准备源域数据和目标域数据,确定目标类别集合.步骤2)特征提取模型构建阶段.使用ResNet和自注意力网络构建基础特征提取模型.步骤3)领域对抗模型构建阶段.使用领域对抗模型预测样本类别和样本领域;步骤4)训练阶段.对源域和目标域样本进行领域标记,设置基于样本迁移权重的损失函数.步骤5)预测阶段.对目标域数据进行预测,将类别预测结果作为最终结果.本发明降低标记成本,达到知识迁移的目的。

    一种基于神经网络和图像识别的智能水面漂浮物打捞系统

    公开(公告)号:CN109466725A

    公开(公告)日:2019-03-15

    申请号:CN201811184499.0

    申请日:2018-10-11

    Abstract: 本发明请求保护一种基于神经网络和图像识别的智能水面漂浮物打捞系统,涉及智能识别和自动控制领域,包括1)双体船结构建模;2)图像采集与处理;3)图片识别模型建模;4)船体控制模型建模,根据图像识别出的漂浮物坐标与识别区域三等分线坐标的比较,通过一个线性函数求出下一时刻的偏转方向;5)智能水面漂浮物打捞系统的搭建,将单片机、电池、发动机、散热器、打捞网、广角摄像头、PC等器材组装成一个智能水面漂浮物打捞船,然后将构造好的船体控制程序烧录进智能水面漂浮物识别系统的单片机中,实现智能水面漂浮物识别系统转向、巡航、掉头等功能,本发明无需人为控制便能自动、快速、高效率地打捞起水面漂浮物,实现自主清淤。

Patent Agency Ranking