-
公开(公告)号:CN107807983A
公开(公告)日:2018-03-16
申请号:CN201711034642.3
申请日:2017-10-30
Applicant: 辽宁大学
IPC: G06F17/30
CPC classification number: G06F17/30575 , G06F17/30595
Abstract: 本发明提供一种支持大规模动态图数据查询的并行处理框架及设计方法,设计方法如下:该并行处理框架结合了MapReduce框架和BSP框架,以Hadoop框架为底层基础,采取“MapReduce+BSP”模式来满足图计算数据量大和多次迭代的需求,同时该并行处理框架通过构建迭代控制模块、构建实时监听模块、Map阶段功能设计、Reduce阶段功能设计来实现实时监控功能来检查图文件的动态变化。本发明设计出的框架将MapReduce框架和BSP框架的优势合二为一,在解决BSP框架无法实现高吞吐量计算的同时,避免了MapReduce框架无法进行多次迭代计算的缺点。
-
公开(公告)号:CN106844419A
公开(公告)日:2017-06-13
申请号:CN201611081151.X
申请日:2016-11-30
Applicant: 辽宁大学
IPC: G06F17/30
Abstract: 本发明涉及一种基于海量不完备数据集的skyline偏好查询方法,本方法根据用户偏好按属性重要程度将不完备数据集IS进行投影,对于投影得到的两个数据集IS’和IS”分别进行严格聚类和松散聚类,聚类后分别执行两种不同的skyline偏好查询算法,分别得到基于严格聚类的skyline结果集SSRS和基于松散聚类的skyline结果集RSRS,最后执行一次基于信息熵计算的skyline偏好查询结果选择策略,得到满足用户偏好的skyline查询结果集。有效解决了在海量不完备数据集上提取个性化信息的问题并提高了skyline查询算法在海量不完备数据集上的效率。
-
公开(公告)号:CN106599112A
公开(公告)日:2017-04-26
申请号:CN201611081152.4
申请日:2016-11-30
Applicant: 辽宁大学
IPC: G06F17/30
CPC classification number: G06F16/2228 , G06F16/215
Abstract: 本发明涉及一种海量不完整数据存储及操作方法,该方法首先根据完整数据和不完整数据的特点采用不同的处理策略,然后对不完整数据的属性缺失字段进行标记并建立对应索引;根据属性划分对索引文件再次压缩以节省存储空间,通过编码字典来完成无解压查询,在查询的基础上实现了海量不完整数据的删除,修改及插入。该方法越过数据清洗直接对海量不完整数据进行操作,可以大幅度地减少存储空间,快速定位不完整数据的压缩位置,保证查询的快速性,删除的准确性,修改结果的完整性及插入的高效性。本方法能够节省存储空间,快速定位不完整数据的压缩位置,保证查询的快速性,删除的准确性,修改结果的完整性及插入的高效性。
-
公开(公告)号:CN106598492A
公开(公告)日:2017-04-26
申请号:CN201611081153.9
申请日:2016-11-30
Applicant: 辽宁大学
CPC classification number: G06F3/0608 , G06F3/064 , G06F17/30094 , G06F17/30132
Abstract: 本发明涉及一种应用于海量不完整数据的压缩优化方法,包括硬优化方法、软优化方法;该方法通过将海量不完整数据的压缩与传统粗糙理论相集合,并对其中的方法进行改进,利用其对不完整数据压缩过程中的属性进行属性重要性以及属性综合权重进行计算。同时在属性综合权重的基础上设计一种新的不完整数据集中属性值字段的编码方式。该方法提高海量不完整数据的压缩效率,减少海量不完整数据的存储空间,能够在减少冗余的前提下实现海量不完整数据的高效率压缩。它适应于海量不完整数据的减冗余压缩。
-
-
-