基于Spark大数据平台的三支决策不平衡数据过采样方法

    公开(公告)号:CN106599935A

    公开(公告)日:2017-04-26

    申请号:CN201611244051.4

    申请日:2016-12-29

    CPC classification number: G06K9/6256 G06K9/6262 G06K9/6271

    Abstract: 本发明请求保护一种基于Spark大数据平台的三支决策不平衡数据过采样方法,涉及数据挖掘邻域,Spark大数据技术。首先使用Spark的RDD进行数据变换,得到归一化的LabeledPoint格式 的样本集,并分成训练集和测试集;其次采用Spark的RDD进行数据变化,求样本间的距离,确定领域半径,根据邻域三支决策模型将整个训练集中的样本划分成正域样本,边界域样本和负域样本;然后分别对边界域样本,负域样本进行过采样;最后调用Spark Mllib机器学习算法,验证采样效果。本发明有效解决大规模不平衡数据集在机器学习和模式识别领域中的分类问题。

    一种基于Spark的高维稀疏文本数据聚类方法

    公开(公告)号:CN106570173A

    公开(公告)日:2017-04-19

    申请号:CN201610988558.4

    申请日:2016-11-09

    Abstract: 本发明请求保护一种基于Spark的高维稀疏文本数据聚类方法,包括步骤:用RDD读入数据集;并用RDD接口设计出分布式稀疏向量集;分布式稀疏向量集与其所在结点的完整数据集计算相似度,按编号抽象为相似矩阵。将存放的相似矩阵对称化,并求其归一化形式和Laplace矩阵形式。4、利用SVD分解步骤3中归一化Laplace矩阵,5、步骤4构建的新矩阵作为样本输入到K‑means模型进行训练。6、利用建立的模型对测试集进行聚类。本发明提高了传统谱聚类算法在大数据集下的运算性能。

    基于粒计算的缩微智能车智能控制装置及方法

    公开(公告)号:CN102745196B

    公开(公告)日:2015-02-18

    申请号:CN201210249480.6

    申请日:2012-07-18

    Abstract: 本发明实施例提供了一种缩微智能车辆智能控制装置,包括摄像头(10)、信号检测模块(20)、控制规则模块(31)、控制参数计算模块(32)、Arduino控制板(33)、电机驱动器(40)和舵机驱动器(50);还提供了一种缩微智能车辆智能控制方法;本发明应用粒计算理论获取控制规则,并实现缩微智能车的智能控制,避免了传统控制需要建立的精确的数学模型,在实时控制通过建立层次的控制规则,逐步加精的控制方法,具有良好的控制精度、实时性好且抗干扰能力强。

    基于图卷积网络的环境数据的格点处理方法

    公开(公告)号:CN114647819B

    公开(公告)日:2025-02-25

    申请号:CN202210325115.2

    申请日:2022-03-30

    Abstract: 本发明涉及数据处理领域,涉及一种基于图卷积网络的环境数据的格点处理方法;所述方法包括获取目标区域内的空气质量监测数据和气象监测数据;对所有监测数据进行缺失处理,并将站点的监测数据映射到目标区域所划分的格点矩阵内;使用风向数据和风速数据生成动态风场图,并使用迪杰斯特拉算法计算出风场邻接矩阵;根据空气质量浓度数据构建出每个时刻的掩码矩阵,根据风场邻接矩阵、掩码矩阵和气象监测数据构建出每个时刻的特征向量集合Z;根据掩码矩阵和空气质量浓度数据生成每个时刻的目标矩阵Y;将特征向量集合Z矩阵输入到训练完成的图卷积神经网络模型,得到目标矩阵的估计矩阵P。本发明能提高环境数据格点化的精度。

    一种基于图神经网络的II型糖尿病并发症协同预测方法

    公开(公告)号:CN118039157B

    公开(公告)日:2024-10-01

    申请号:CN202410235426.9

    申请日:2024-03-01

    Abstract: 本发明涉及医疗领域,特别涉及一种基于图神经网络的II型糖尿病并发症协同预测方法,包括获取糖尿病并发症医疗数据,对医疗数据进行数据预处理;根据糖尿病患者患病情况构建患者‑疾病关系图,根据患者‑疾病‑患者元路径构建患者‑患者关系图,根据糖尿病并发症之间的相似性构建疾病‑疾病关系图;通过三种关系图构建全局异构图,利用图学习器分别对患者‑患者关系图和疾病‑疾病关系图进行优化;利用图神经网络学习提取全局异构图中糖尿病患者之间和糖尿病并发症之间的潜在关系并输入到糖尿病并发症协同预测模型中,预测糖尿病患者各种糖尿病并发症的发病概率;本发明解决目前糖尿病并发症的协同预测问题,提升模型预测的准确率。

    基于双规则因果特征选择的疾病因素数据处理方法

    公开(公告)号:CN117352162B

    公开(公告)日:2024-10-01

    申请号:CN202311389736.8

    申请日:2023-10-24

    Abstract: 本发明涉及医疗领域,特别涉及一种基于双规则因果特征选择的疾病因素数据处理方法,本发明将特征选择方法与因果贝叶斯网络结合,通过引入改进的OR规则和AND规则充分挖掘与疾病存在因果关系的疾病危险因素,避免了现有特征选择方法因挖掘错误的因果关系而导致有偏疾病预测输出;本发明通过融合双规则挖掘与疾病具有因果关系的父子特征和配偶特征,解决了当前疾病危险因素挖掘算法存在的假阳性与假阴性错误,并进一步采用分类器进行疾病预测,进而提高疾病诊断系统的精度。

    一种不平衡医疗数据集的处理方法及装置

    公开(公告)号:CN118535980A

    公开(公告)日:2024-08-23

    申请号:CN202410613582.4

    申请日:2024-05-17

    Abstract: 本发明涉及医疗数据处理领域,特别涉及一种不平衡医疗数据集的处理方法及装置;所述方法包括获取医疗数据集,所述医疗数据集包括多个医疗样本数据,包括少数类医疗样本或者多数类医疗样本;将所述少数类医疗样本输入到自动编码器,输出所述少数类医疗样本对应的低维向量;将每个少数类医疗样本对应的低维向量进行层次聚类,获得所述少数类医疗样本的路径信息;将所述少数类医疗样本的路径信息作为条件变量输入条件生成对抗网络中,输出生成的少数类医疗样本;将生成的少数类医疗样本加入到医疗数据集中,获得优化后的医疗数据集。本发明解决了不平衡医疗数据的类间不平衡和类内不平衡,显著提高了医疗预测模型的全面性和准确性。

    一种基于图神经网络的II型糖尿病并发症协同预测方法

    公开(公告)号:CN118039157A

    公开(公告)日:2024-05-14

    申请号:CN202410235426.9

    申请日:2024-03-01

    Abstract: 本发明涉及医疗领域,特别涉及一种基于图神经网络的II型糖尿病并发症协同预测方法,包括获取糖尿病并发症医疗数据,对医疗数据进行数据预处理;根据糖尿病患者患病情况构建患者‑疾病关系图,根据患者‑疾病‑患者元路径构建患者‑患者关系图,根据糖尿病并发症之间的相似性构建疾病‑疾病关系图;通过三种关系图构建全局异构图,利用图学习器分别对患者‑患者关系图和疾病‑疾病关系图进行优化;利用图神经网络学习提取全局异构图中糖尿病患者之间和糖尿病并发症之间的潜在关系并输入到糖尿病并发症协同预测模型中,预测糖尿病患者各种糖尿病并发症的发病概率;本发明解决目前糖尿病并发症的协同预测问题,提升模型预测的准确率。

    一种基于云模型的多粒度煤矿瓦斯风险预测方法

    公开(公告)号:CN111680268B

    公开(公告)日:2023-05-23

    申请号:CN202010528525.8

    申请日:2020-06-11

    Inventor: 代劲 张磊 胡峰

    Abstract: 本发明涉及一种基于云模型的多粒度煤矿瓦斯风险预测方法,所述方法包括:根据原始数据生成多个含混度小于阈值的高斯云;将论域边界由高斯云表征的概念转换成半梯形云,最终生成表示原始数据宏观概念的多个混合云;按照煤矿监管监察时间架构离散化数据集,调用逆向云发生器将每个离散的时间片转换成赋有语义的时间粒;按照煤矿监管监察空间架构离散化数据集,调用逆向云发生器将每个离散的空间片转换成赋有语义的空间粒;计算每个时间粒所隶属的相应宏观概念及隶属度;根据煤矿瓦斯浓度的多粒度表示结果构建云规则推理,对短期内的瓦斯浓度进行预测;本发明能够充分考虑真实生产环境,高效地处理海量煤矿安全生产数据,属于数据分析技术领域。

Patent Agency Ranking