-
公开(公告)号:CN107103055B
公开(公告)日:2020-05-12
申请号:CN201710237896.9
申请日:2017-03-29
Applicant: 东北大学
Abstract: 本发明公开一种面向内存更新密集型程序的Hourglass和Piggyback算法,其优秀性能来源于在updater和dumper线程之间的指针交换技术,可以避免大量数据拷贝。它周期性的发生updater和dumper线程的角色交换,可以被周期性无止境的复用,一旦上面的部分为空的时候交换上下角色。可以拥有更少的内存和基本没有抖动的延时效果。其都属于轻量级检查点算法的一种,Hourglass结合了目前最好的两个算法zigzag和pingpong,从而利用两个的优点指针交换和比特位标志。Piggyback算法提高性能通过提供一种全量快照,从而可以支持实时olap和oltp的应用。其具有更小的内存占用、全量快照开销、更小的延时、更均匀的延时的优点。
-
公开(公告)号:CN109947904A
公开(公告)日:2019-06-28
申请号:CN201910222188.7
申请日:2019-03-22
Applicant: 东北大学
Abstract: 本发明公开了一种基于Spark环境的偏好空间Skyline查询处理方法,包括基于偏好函数的空间Skyline查询处理算法和基于偏好优先的空间Skyline查询处理算法,本发明科学合理,使用安全方便,通过基于偏好函数的空间Skyline查询处理算法的作用,将数据的空间属性与非空间属性相整合,并利用相关性对不满足任一查询点偏好的数据进行过滤,减少了数据集的大小,利用网格支配关系进一步减少处理任务量,提高了查询的处理速度;通过基于偏好优先的空间Skyline查询处理算法的作用,对空间数据进行聚类,并将类中出现频率较高的关键词作为整个类的文本特征信息,同时对类中的空间对象建立扩展的R-tree索引,利用扩展R-tree索引的高效空间查找和过滤能力进行支配判断,从而加快Skyline查询处理。
-
公开(公告)号:CN102289466A
公开(公告)日:2011-12-21
申请号:CN201110206391.9
申请日:2011-07-21
Applicant: 东北大学
IPC: G06F17/30
Abstract: 本发明提供一种基于区域覆盖的k近邻查询方法,属于移动数据索引技术领域,将空间进行网格划分,数据点保存在对应的网格中,再将网格作为四分树的叶子结点存储起来,同时将网格作为一个移动对象保存在Voronoi图中,查询时首先根据对象的坐标找到其所在的网格,进而找到该网格在Voronoi图中的位置,该网格内的对象按照距离的升序组织成结果链表,同时根据Voronoi图把相邻的网格按距离的升序放入访问链表中,进行距离比较,最终找到该对象的K个最近邻。本方法综合利用Voronoi图和虚拟网格四分树的索引结构,利用哈希表快速查找定位,从而提高了查询的效率。
-
公开(公告)号:CN112181617B
公开(公告)日:2024-05-17
申请号:CN202010979603.6
申请日:2020-09-17
Applicant: 东北大学
Abstract: 本发明公开了一种基于特定索引结构的高效调度算法,由一个特殊的布隆过滤器和每个过滤器元素对应的事务队列组成,所述布隆过滤器和事务队列组成特殊的索引结构,其分别进行高效的依赖检测和保留必要的依赖信息,通过布隆过滤器,在一定时间内检测出事务之间的依赖关系,事务队列具有保持总顺序关系和简化依赖关系图的特性,借助于索引结构,调度器支持记录粒度锁,从而支持并发事务调度操作。本发明提出的方法高效的解决了依赖图调度中由于基于两两比较而调度开销过大导致的性能损失问题,保证了在各种依赖率工作负载下的并行执行能力,正式证明了副本调度与其他调度安全的一致性,调度器比对比方法具有更高的效率、可扩展性和健壮性。
-
公开(公告)号:CN116821125A
公开(公告)日:2023-09-29
申请号:CN202310697612.X
申请日:2023-06-13
Applicant: 东北大学
Abstract: 本发明公开了一种基于高并行场景下的FPGA数据加速方法,包括:建立用于比较的二叉树,假设所述树的叶子节点数量为N,对所述二叉树设置一个全局标志位,对二叉树的每个非叶子节点设置一个标志位;将待处理数据依次插入二叉树的空叶子节点,并在非叶子节点进行比较,将比较中较小的数据传入父节点继续参与比较,最后输出二叉树中最小的数据,清空最小数据所在的叶子节点。根据输出数据的标志位,对全局标志位进行更新;插入新数据,设置新数据的标志位,对树内数据互相比较,输出本次比较后的最小数据;直到所有数据全部插入,输出排序后的数据集,在单位时间内排序数据量提高,缩短连接阶段运行时间,减少资源消耗,提高看数据的处理速度。
-
公开(公告)号:CN113010597B
公开(公告)日:2023-08-01
申请号:CN202110368784.3
申请日:2021-04-06
Applicant: 东北大学
IPC: G06F16/26 , G06F16/2458 , G06F16/182 , G06F18/23213 , G06N3/0464 , G06N3/049
Abstract: 本发明提供一种面向海洋大数据的并行关联规则挖掘方法,包括海洋大数据预处理、海洋数值大数据离散化处理及并行关联规则挖掘三部分,数据离散化采用信息熵结合K‑means的方法,并行关联规则挖掘主要基于改进Apriori算法来完成,即基于Spark并行化Apriori算法,并将事务矩阵引入到了并行处理中,在迭代计算中简化事务矩阵,通过矩阵做逻辑“与”运算得到频繁项集和支持度,通过频繁项集与支持度计算关联规则。在计算过程中仅对该RDD进行操作,而不再扫描原始数据,从而通过内存计算加快了算法处理效率。通过剪枝来简约事务矩阵,减少后续迭代扫描范围和计算量,减少了I/O操作,有效解决了现有方法满足不了海洋大数据关联挖掘分析需求的问题。
-
公开(公告)号:CN112256866A
公开(公告)日:2021-01-22
申请号:CN202011027335.4
申请日:2020-09-25
Applicant: 东北大学
IPC: G06F16/35 , G06F16/33 , G06F40/211 , G06F40/242 , G06F40/289 , G06N3/04 , G06N3/08
Abstract: 本发明提供了一种基于深度学习的文本细粒度情感分析方法,包括如下步骤:基于辅助学习和注意力机制的AL‑ATT模型和基于图卷积网络与注意力机制的GCN‑ATT模型;基于辅助学习和注意力机制的AL‑ATT模型包括如下步骤:数据预处理—注意力嵌入模块—辅助学习模块—交互注意力模块—输出模块—正则化约束;相比于依赖语言学知识和人工特征提取的基于规则和机器学习方法,使用深度学习不需要人工的选择特征也不需要依赖大量的特征工程,它可以很好的处理高维的输入数据,可以自动学习文本中的特征,从而对文本向量实现进行准确的分类。
-
公开(公告)号:CN107103055A
公开(公告)日:2017-08-29
申请号:CN201710237896.9
申请日:2017-03-29
Applicant: 东北大学
Abstract: 本发明公开一种面向内存更新密集型程序的Hourglass和Piggyback算法,其优秀性能来源于在updater和dumper线程之间的指针交换技术,可以避免大量数据拷贝。它周期性的发生updater和dumper线程的角色交换,可以被周期性无止境的复用,一旦上面的部分为空的时候交换上下角色。可以拥有更少的内存和基本没有抖动的延时效果。其都属于轻量级检查点算法的一种,Hourglass结合了目前最好的两个算法zigzag和pingpong,从而利用两个的优点指针交换和比特位标志。Piggyback算法提高性能通过提供一种全量快照,从而可以支持实时olap和oltp的应用。其具有更小的内存占用、全量快照开销、更小的延时、更均匀的延时的优点。
-
公开(公告)号:CN102289466B
公开(公告)日:2013-11-13
申请号:CN201110206391.9
申请日:2011-07-21
Applicant: 东北大学
IPC: G06F17/30
Abstract: 本发明提供一种基于区域覆盖的k近邻查询方法,属于移动数据索引技术领域,将空间进行网格划分,数据点保存在对应的网格中,再将网格作为四分树的叶子结点存储起来,同时将网格作为一个移动对象保存在Voronoi图中,查询时首先根据对象的坐标找到其所在的网格,进而找到该网格在Voronoi图中的位置,该网格内的对象按照距离的升序组织成结果链表,同时根据Voronoi图把相邻的网格按距离的升序放入访问链表中,进行距离比较,最终找到该对象的K个最近邻。本方法综合利用Voronoi图和虚拟网格四分树的索引结构,利用哈希表快速查找定位,从而提高了查询的效率。
-
公开(公告)号:CN102063486A
公开(公告)日:2011-05-18
申请号:CN201010611355.6
申请日:2010-12-28
Applicant: 东北大学
IPC: G06F17/30
Abstract: 一种面向多维数据管理的云计算平台查询处理方法,属于数据库领域,该方法包括以下步骤:步骤1构建一个云计算平台,该平台由主节点和若干从属节点组成,主节点用于发送查询,从属节点用于存储多维数据对象、接收查询并将查询结果返回给用户,主节点和从属节点由互联网连接;步骤2采用IDBC算法将所有从属节点划分成多个簇,使得在相同簇中的从属节点含有相似的数据对象;步骤3为每个从属节点簇构建基于四叉树的多维索引,并将其组织在一个CAN覆盖网络中;步骤4进行查询处理。
-
-
-
-
-
-
-
-
-