一种基于大数据模型分析平台的数据溯源方法及系统

    公开(公告)号:CN106055676B

    公开(公告)日:2019-04-02

    申请号:CN201610395246.2

    申请日:2016-06-03

    Abstract: 本发明公开了一种基于大数据模型分析平台的数据溯源方法及系统,其方法包括以下步骤:S1.模型工作流分析:分析Hadoop平台上的模型构成的模型工作流的输入节点、输出节点和动作节点,并获取各节点的唯一标识;S2.设计溯源信息元数据模型:根据每个模型工作流对应描述一个溯源文件;S3.溯源信息存储:对所述溯源文件构建索引,将索引信息存放在缓存数据库,索引文件存放在HDFS上;S4.数据溯源追踪:判断是否追踪数据产生过程,若不追踪数据产生过程,则通过查询所述索引信息获取所述溯源文件的地址。本发明克服了传统数据溯源方法在大数据平台下不适用的问题,并为溯源文件建立索引,减少了输入/输出操作,提高了查询速度。

    一种基于深度学习模型的人脸识别方法

    公开(公告)号:CN109359608A

    公开(公告)日:2019-02-19

    申请号:CN201811250425.2

    申请日:2018-10-25

    Abstract: 本发明公开了一种基于深度学习模型的人脸识别方法,包括:构建卷积神经网络、对网络参数进行训练、图片预处理和输入模型进行类别判定;构建卷积神经网络,用于利用大规模人脸数据集进行改进的卷积深度神经网络构建;对网络参数进行训练,用于利用误差反向传播算法对神经网络参数进行训练;图片预处理,用于基于MTCNN算法的人脸检测和人脸归一化处理,将图片转化成统一的特征向量表示;输入模型进行类别判定,用于将特征向量输入训练好的卷积神经网络中进行类别标签判定。本发明改进了传统的卷积神经网络中的正则化项,提出了一种新的神经网络权重初始化的方法,能够显著提升人脸识别分类的效果。

    一种实时ETL系统及方法
    23.
    发明授权

    公开(公告)号:CN105069029B

    公开(公告)日:2019-01-29

    申请号:CN201510425219.0

    申请日:2015-07-17

    Abstract: 本发明公开了一种实时ETL系统及方法,包括ETL客户端、分布式数据缓存队列、分布式状态管理机和ETL群集;所述ETL客户端,用于设计ETL流程、测试ETL流程和发布ETL流程;所述分布式数据缓存队列,用于缓存输入数据;所述分布式状态管理机,用于存储系统状态信息;所述ETL群集,用于按行从数据源获取输入数据,并将输入数据缓存到分布式数据缓存队列中,然后对输入数据进行处理。本发明具有很高的效率,能够解决目前ETL技术应用在实时大数据环境下的局限性问题。

    一种交互式多用户空间关键词查询方法

    公开(公告)号:CN108717447A

    公开(公告)日:2018-10-30

    申请号:CN201810476520.8

    申请日:2018-05-17

    Abstract: 本发明公开了一种交互式多用户空间关键词查询方法,其包括空间关键词数据处理步骤S1、构造查询请求步骤S2、查询初始化步骤S3、数据查询步骤S4、用户交互步骤S5;本发明提供了一种交互式空间关键词查询方法,能够适用于多用户查询的场景中,且能够通过与用户交互的方式度量查询用户潜藏的个人偏好信息,为用户提供更加准确地查询结果,提高用户查询满意度。

    一种大数据分析中缺失数据混合多重插值的装置和方法

    公开(公告)号:CN107273445A

    公开(公告)日:2017-10-20

    申请号:CN201710385780.X

    申请日:2017-05-26

    CPC classification number: G06F17/30303 G06K9/6227 G06K9/6256

    Abstract: 本发明公开了一种大数据分析中缺失数据混合多重插值的装置和方法,以深度神经网络为基础模型,结合数据驱动的多阶段、多模型混合缺失数据填补方法,该模型鲁棒性更高,填补结果更准确,可以填补大数据分析中由于各种数据缺失模型而引起的不完整数据,本混合填补模型可控在数据缺失率15%以下,平均填补准确率在89%~99.95%之间。一种大数据分析中缺失数据混合多重插值的装置包括数据预处理模块、模型训练模块和数据填补模块;一种大数据分析中缺失数据混合多重插值的方法包括数据预处理、模型训练和数据填补。

    一种基于大数据的联机分析处理系统和方法

    公开(公告)号:CN106372114A

    公开(公告)日:2017-02-01

    申请号:CN201610707020.1

    申请日:2016-08-23

    Abstract: 本发明公开了一种基于大数据的联机分析处理系统和方法,该系统能够在Hadoop环境下针对不同规模级别数据集进行快速多维查询分析。通过查询规划评估选择的查询计划包括支持Hive的MDX查询和基于Hbase预计算缓存机制的多维查询。实现可扩展集群节点上支持Hive数据仓库的MDX查询,基于Hbase预计算缓存机制的多维查询优化,满足不同规模级别数据集的低延迟多维查询需求,解决了单一数据源背景下不同OLAP数据组织模型的OLAP多维查询。针对大规模数据集上的Hive多维查询性能优化问题,提出一种构建基于Hbase缓存的分段逐层降维聚合算法。该算法把解决大规模数据多维查询计算的MOLAP带入了大数据OLAP系统中,极大增强了大数据背景下,不同规模级别数据多维查询的可扩展性和高效性。

    一种基于大数据模型分析平台的数据溯源方法及系统

    公开(公告)号:CN106055676A

    公开(公告)日:2016-10-26

    申请号:CN201610395246.2

    申请日:2016-06-03

    CPC classification number: G06F17/30194 G06F17/30094 G06F17/30545

    Abstract: 本发明公开了一种基于大数据模型分析平台的数据溯源方法及系统,其方法包括以下步骤:S1.模型工作流分析:分析Hadoop平台上的模型构成的模型工作流的输入节点、输出节点和动作节点,并获取各节点的唯一标识;S2.设计溯源信息元数据模型:根据每个模型工作流对应描述一个溯源文件;S3.溯源信息存储:对所述溯源文件构建索引,将索引信息存放在缓存数据库,索引文件存放在HDFS上;S4.数据溯源追踪:判断是否追踪数据产生过程,若不追踪数据产生过程,则通过查询所述索引信息获取所述溯源文件的地址。本发明克服了传统数据溯源方法在大数据平台下不适用的问题,并为溯源文件建立索引,减少了输入/输出操作,提高了查询速度。

    一种基于智能手机音频的紧急自助信号呼救方法

    公开(公告)号:CN103347255B

    公开(公告)日:2016-07-06

    申请号:CN201310224879.3

    申请日:2013-06-07

    CPC classification number: Y02D70/00

    Abstract: 本发明公开了一种基于智能手机音频的紧急自助信号呼救方法,它包括以下步骤:判断紧急事件发生状态,控制启动紧急自助信号呼救系统;呼救系统检测移动网络无法连接时,关闭手机其它应用程序;进入循环检测外界环境与半休眠等待状态;自动进行紧急呼救。本发明可智能判断紧急异常事件的发生状态,自动启动呼救系统,还可通过人工呼救按键启动呼救系统,呼救启动方式多;有智能的环境感知能力,高效的辨识附近是否有救援人员;结合语音呼救和正弦波信号呼救,提高救援效率,减少人员伤亡;能自我节省能源,减少能耗,延长呼救等待的持续时间。

    一种基于智能手机音频的紧急自助信号呼救方法

    公开(公告)号:CN103347255A

    公开(公告)日:2013-10-09

    申请号:CN201310224879.3

    申请日:2013-06-07

    CPC classification number: Y02D70/00

    Abstract: 本发明公开了一种基于智能手机音频的紧急自助信号呼救方法,它包括以下步骤:判断紧急事件发生状态,控制启动紧急自助信号呼救系统;呼救系统检测移动网络无法连接时,关闭手机其它应用程序;进入循环检测外界环境与半休眠等待状态;自动进行紧急呼救。本发明可智能判断紧急异常事件的发生状态,自动启动呼救系统,还可通过人工呼救按键启动呼救系统,呼救启动方式多;有智能的环境感知能力,高效的辨识附近是否有救援人员;结合语音呼救和正弦波信号呼救,提高救援效率,减少人员伤亡;能自我节省能源,减少能耗,延长呼救等待的持续时间。

    一种人脸识别方法
    30.
    发明公开

    公开(公告)号:CN101587543A

    公开(公告)日:2009-11-25

    申请号:CN200910059666.3

    申请日:2009-06-19

    Abstract: 本发明涉及一种人脸识别方法。包括以下步骤:S1.商图计算;S2.光线补偿;S3.特征提取:对光线补偿人脸图像数据库的每一幅人脸图像划分子块并进行特征提取;S4.模型训练:基于步骤S3中提取的特征训练不同光线条件下的人脸模型并储存,构成人脸模型数据库;S5.特征提取:对待识别人脸图像划分子块并进行特征提取;S6.人脸识别:根据已经构成的人脸模型数据库和步骤S5中提取的特征进行计算匹配,选择出最佳匹配结果;S7.后续处理。本发明的有益效果是抑制了局部图像污染造成的局部特征失配对识别率的影响,从而解决了解决复杂光线和人脸图像存在局部扭曲或闭塞情况下的人脸识别问题。

Patent Agency Ranking