-
公开(公告)号:CN110472115B
公开(公告)日:2022-08-02
申请号:CN201910728636.0
申请日:2019-08-08
Applicant: 东北大学
IPC: G06F16/9035 , G06F16/906 , G06F16/951 , G06Q50/00
Abstract: 本发明提供一种基于深度学习的社交网络文本情感细粒度分类方法,涉及情感多分类领域,本发明使用Scrapy框架爬取社交网络文本数据,进行数据清洗、分词,将分词结果作为word2vec的输入进行词向量转化;基于CNN模型进行文本的情感8分类,将词向量转化结果作为CNN嵌入层的输入,进行卷积、池化、概率计算等前向、反向传播过程训练模型,实现对网络评论情感分类的迁移学习,对社交网络文本进行二轮抽样实现实例迁移、训练分类器,并对评论进行情感预测;对前述工作进行系统设计,对分析结果进行可视化展示,利用MVC三层架构设计展示模块,并针对单文本或多文本情感细粒度分类、跨平台迁移学习文本情感细粒度分类、社交网络热度地图等三方面功能对界面进行设计。
-
公开(公告)号:CN108133330B
公开(公告)日:2022-04-08
申请号:CN201810032010.1
申请日:2018-01-12
Applicant: 东北大学
IPC: G06Q10/06 , G06F16/9536 , G06Q50/00
Abstract: 本发明公开了一种面向社交众包任务分配方法及其系统,包括根据任务发布者发布的众包任务,对工作者以及所述众包任务进行匹配度估计算法计算,得到众包任务匹配度最高的一组工作者;采用贪心算法对任务分配进行计算,在众包任务匹配度最高的一组工作者中,选择整体匹配度之和最大的一组工作者作为最后的分配结果,以使得每个任务具有不同的待分配工作者,等待工作者成员领取任务,完成众包任务分配,增加了任务推荐的兴趣等信息的参考关系,使得任务推荐更加的高效,准确,并且,提高了算法性能,提高众包服务的质量。
-
公开(公告)号:CN112181617A
公开(公告)日:2021-01-05
申请号:CN202010979603.6
申请日:2020-09-17
Applicant: 东北大学
Abstract: 本发明公开了一种基于特定索引结构的高效调度算法,由一个特殊的布隆过滤器和每个过滤器元素对应的事务队列组成,所述布隆过滤器和事务队列组成特殊的索引结构,其分别进行高效的依赖检测和保留必要的依赖信息,通过布隆过滤器,在一定时间内检测出事务之间的依赖关系,事务队列具有保持总顺序关系和简化依赖关系图的特性,借助于索引结构,调度器支持记录粒度锁,从而支持并发事务调度操作。本发明提出的方法高效的解决了依赖图调度中由于基于两两比较而调度开销过大导致的性能损失问题,保证了在各种依赖率工作负载下的并行执行能力,正式证明了副本调度与其他调度安全的一致性,调度器比对比方法具有更高的效率、可扩展性和健壮性。
-
公开(公告)号:CN107103055B
公开(公告)日:2020-05-12
申请号:CN201710237896.9
申请日:2017-03-29
Applicant: 东北大学
Abstract: 本发明公开一种面向内存更新密集型程序的Hourglass和Piggyback算法,其优秀性能来源于在updater和dumper线程之间的指针交换技术,可以避免大量数据拷贝。它周期性的发生updater和dumper线程的角色交换,可以被周期性无止境的复用,一旦上面的部分为空的时候交换上下角色。可以拥有更少的内存和基本没有抖动的延时效果。其都属于轻量级检查点算法的一种,Hourglass结合了目前最好的两个算法zigzag和pingpong,从而利用两个的优点指针交换和比特位标志。Piggyback算法提高性能通过提供一种全量快照,从而可以支持实时olap和oltp的应用。其具有更小的内存占用、全量快照开销、更小的延时、更均匀的延时的优点。
-
公开(公告)号:CN109947904A
公开(公告)日:2019-06-28
申请号:CN201910222188.7
申请日:2019-03-22
Applicant: 东北大学
Abstract: 本发明公开了一种基于Spark环境的偏好空间Skyline查询处理方法,包括基于偏好函数的空间Skyline查询处理算法和基于偏好优先的空间Skyline查询处理算法,本发明科学合理,使用安全方便,通过基于偏好函数的空间Skyline查询处理算法的作用,将数据的空间属性与非空间属性相整合,并利用相关性对不满足任一查询点偏好的数据进行过滤,减少了数据集的大小,利用网格支配关系进一步减少处理任务量,提高了查询的处理速度;通过基于偏好优先的空间Skyline查询处理算法的作用,对空间数据进行聚类,并将类中出现频率较高的关键词作为整个类的文本特征信息,同时对类中的空间对象建立扩展的R-tree索引,利用扩展R-tree索引的高效空间查找和过滤能力进行支配判断,从而加快Skyline查询处理。
-
公开(公告)号:CN112181617B
公开(公告)日:2024-05-17
申请号:CN202010979603.6
申请日:2020-09-17
Applicant: 东北大学
Abstract: 本发明公开了一种基于特定索引结构的高效调度算法,由一个特殊的布隆过滤器和每个过滤器元素对应的事务队列组成,所述布隆过滤器和事务队列组成特殊的索引结构,其分别进行高效的依赖检测和保留必要的依赖信息,通过布隆过滤器,在一定时间内检测出事务之间的依赖关系,事务队列具有保持总顺序关系和简化依赖关系图的特性,借助于索引结构,调度器支持记录粒度锁,从而支持并发事务调度操作。本发明提出的方法高效的解决了依赖图调度中由于基于两两比较而调度开销过大导致的性能损失问题,保证了在各种依赖率工作负载下的并行执行能力,正式证明了副本调度与其他调度安全的一致性,调度器比对比方法具有更高的效率、可扩展性和健壮性。
-
公开(公告)号:CN116821125A
公开(公告)日:2023-09-29
申请号:CN202310697612.X
申请日:2023-06-13
Applicant: 东北大学
Abstract: 本发明公开了一种基于高并行场景下的FPGA数据加速方法,包括:建立用于比较的二叉树,假设所述树的叶子节点数量为N,对所述二叉树设置一个全局标志位,对二叉树的每个非叶子节点设置一个标志位;将待处理数据依次插入二叉树的空叶子节点,并在非叶子节点进行比较,将比较中较小的数据传入父节点继续参与比较,最后输出二叉树中最小的数据,清空最小数据所在的叶子节点。根据输出数据的标志位,对全局标志位进行更新;插入新数据,设置新数据的标志位,对树内数据互相比较,输出本次比较后的最小数据;直到所有数据全部插入,输出排序后的数据集,在单位时间内排序数据量提高,缩短连接阶段运行时间,减少资源消耗,提高看数据的处理速度。
-
公开(公告)号:CN107103055A
公开(公告)日:2017-08-29
申请号:CN201710237896.9
申请日:2017-03-29
Applicant: 东北大学
Abstract: 本发明公开一种面向内存更新密集型程序的Hourglass和Piggyback算法,其优秀性能来源于在updater和dumper线程之间的指针交换技术,可以避免大量数据拷贝。它周期性的发生updater和dumper线程的角色交换,可以被周期性无止境的复用,一旦上面的部分为空的时候交换上下角色。可以拥有更少的内存和基本没有抖动的延时效果。其都属于轻量级检查点算法的一种,Hourglass结合了目前最好的两个算法zigzag和pingpong,从而利用两个的优点指针交换和比特位标志。Piggyback算法提高性能通过提供一种全量快照,从而可以支持实时olap和oltp的应用。其具有更小的内存占用、全量快照开销、更小的延时、更均匀的延时的优点。
-
公开(公告)号:CN102043852A
公开(公告)日:2011-05-04
申请号:CN201010600979.8
申请日:2010-12-22
Applicant: 东北大学
IPC: G06F17/30
Abstract: 一种基于路径信息的可扩展标记语言祖先后代索引方法,包括以下步骤:步骤一:解析XML文档;步骤二:建立B+树索引;步骤三:使用B+树索引进行祖先后代关系查询。本发明是一个实用的索引,基于计算机数据库领域内的B+树结构,该结构保证了在绝大多数情况下,采用索引都会比不采用索引查询效率有很大的提高,该索引无论对于基于关系数据库的XML数据库管理系统还是基于Native存储的XML数据库管理系统,都易于实现;该结构实现简单,只需要进行一次节点扫描,对于文档的数据是否有数据倾斜状况,都有很好的性能;还可以很好的处理A1//A2//…//An这类复杂的路径查询,避免了把长路径分成若干个祖先后代对的做法,有效的实现了对索引节点一次扫描即可得到查询结果。
-
公开(公告)号:CN118052773A
公开(公告)日:2024-05-17
申请号:CN202410061078.8
申请日:2024-01-16
Applicant: 东北大学
IPC: G06T7/00 , G06V10/774 , G06V10/82 , G06V10/80 , G06V10/762 , G06V10/25 , G06N3/045 , G06N3/0464 , G06N3/08 , G06N3/126
Abstract: 本发明提供一种基于跨路径特征融合网络的钢铁瑕疵检测方法,涉及钢材缺陷检测技术领域。首先使用数据增强方式对图像的色域、像素进行处理;在特征金字塔PANet基础上,设计自顶向下和自底向上的双向融合骨干网络,在最底层和最顶层使用拼接操作来缩短层之间的路径;同时增添新的“跨路径”融合通道,将底层特征信息与高层跨越融合,顶层特征信息与底层跨越融合;使用k‑means算法对缺陷数据集进行处理,引入遗传算法对锚框参数进行优化,将优化的锚框参数加入YOLOv7网络,生成钢铁瑕疵检测的聚类结果。本发明实现在实际的钢铁生产质量检测过程中既能够满足检测的速度又能够实现瑕疵检测的精度,来帮助钢铁生产企业优化生产工艺,保证钢铁产品的质量。
-
-
-
-
-
-
-
-
-