-
公开(公告)号:CN110264392B
公开(公告)日:2021-05-04
申请号:CN201910371236.9
申请日:2019-05-06
Applicant: 中国科学院信息工程研究所
Abstract: 本发明提出一种基于多GPU的强连通图检测方法,包括以下步骤:加载图数据并统一存储格式;对图数据进行预处理,包括按照分区个数进行图分割并进行分区保存,对相互链接的处于不同分区的顶点进行复制顶点处理;将预处理好的数据存入多个GPU中,以复制顶点为中心进行广度优先遍历并记录复制边信息;将复制边传回CPU,检测强连通图并标记属于同一个强连通图的顶点;将标记的顶点传回上述多个GPU中,进行强连通图检测。
-
公开(公告)号:CN112241365A
公开(公告)日:2021-01-19
申请号:CN202010722288.9
申请日:2020-07-24
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC: G06F11/36 , G06F16/182 , G06F9/54
Abstract: 本发明涉及一种面向Namenode的高效元数据构建和RPC性能提升的方法和装置。该方法通过性能测试工具中的创建文件功能构造文件对象,通过在内存中虚拟出的仅有基本结构的Datanode节点构造文件块对象,由文件对象和文件块对象构成Namenode内存元数据;基于构建的元数据,构造与生产环境相符的Namenode负载状态,并进行Namenode内部扩展和集群扩展,实现RPC性能优化。本发明能够高速构建Namenode元数据,为快速搭建接近生产环境的测试集群提供了帮助,全局锁的拆分能够提升RPC性能,多个Namenode协作管理集群且同时对外提供服务,提供了更高的读写吞吐量。
-
公开(公告)号:CN112069312A
公开(公告)日:2020-12-11
申请号:CN202010806716.6
申请日:2020-08-12
Applicant: 中国科学院信息工程研究所 , 国家计算机网络与信息安全管理中心
IPC: G06F16/35 , G06F40/295 , G06F40/30 , G06F16/9535
Abstract: 本发明提供一种基于实体识别的文本分类方法,包括:对待检测文本进行切词,得到情感词与实体词,并通过一实体及情感类别已标注数据集判断实体词的情感类别;对待检测文本进行断句,通过情感词与标注情感类别的实体词在每一句子中的词性、否定词及标点符号内容,获取各句子的情感类别;依据各句子的情感类别,得到待检测文本的情感类别。本发明利用半监督学习的方式,通过协同训练加主动学习的方式,结合学习加情感规则的方式,确定指向性实体集;通过识别指定方向实体,结合情感词进行倾向性判断;生成指定类别实体集,结合情感规则,实现对文本更深层次的分析。
-
公开(公告)号:CN111985333A
公开(公告)日:2020-11-24
申请号:CN202010698168.X
申请日:2020-07-20
Applicant: 中国科学院信息工程研究所
Abstract: 本发明提供一种基于图结构信息交互增强的行为检测方法及电子装置,包括提取一视频的n维视频特征,计算该n维视频特征基于自注意力的n维视频特征表达及各视频特征表达维度的自注意力权重向量,并根据n维视频特征表达,构建一图特征表达;将图特征表达输入一已训练的对抗网络,得到视频特征向量,并对视频特征向量进行分类;根据分类结果及自注意力权重向量,获取该视频的帧类别激活结果,分辨视频中的各动作或背景,得到所述视频中各动作的发生时间段。本发明可对复杂的视频动作和背景的视觉-运动相关性灵活而明确的建模,更好的学习长视频特征,大大降低了计算复杂度以及时序标注的时间。
-
公开(公告)号:CN107391555B
公开(公告)日:2020-08-04
申请号:CN201710422553.X
申请日:2017-06-07
Applicant: 中国科学院信息工程研究所
IPC: G06F16/27 , G06F16/2455 , G06F16/23
Abstract: 本发明涉及一种面向Spark‑Sql检索的元数据实时更新方法。该方法在Spark Sql进行检索时,会将使用的元数据进行缓存,将被检索的数据块文件元数据以集合的形式缓存于内存中;当获得文件元数据的增量信息时,将首先检查该增量信息所属的表的检索元数据是否存在于缓存之中,若存在,则将增量的文件元数据增加至缓存的该表文件元数据的集合之中,由此完成Spark Sql检索元数据的增量更新。本发明还提出了对Spark Sql检索元数据增加情况的处理方法,可以实时的对检索元数据的增加情况进行处理,提高检索结果的实时性。本发明可以避免对检索元数据进行经常性的全量更新,以减少更新元数据时的时间和资源开销。
-
公开(公告)号:CN110288507A
公开(公告)日:2019-09-27
申请号:CN201910371230.1
申请日:2019-05-06
Applicant: 中国科学院信息工程研究所
IPC: G06T1/20 , G06F16/901
Abstract: 本发明提出一种基于GPU的多分区强连通图检测方法,包括以下步骤:加载图数据并统一存储格式;在图数据上基于GPU进行第一剪枝操作,检测出1-SCC;在除1-SCC外的部分上选取中心点,从中心点开始并行地前向和后向遍历,更新状态得到SCC和多个分区;在未被检测的图数据上基于GPU进行第二剪枝操作,检测出2-SCC;在未被检测的图数据上检测弱连通区域,并在弱连通区域上每个选取中心点,从中心点开始前向遍历;在弱连通区域的中未被前向遍历到的区域随机选取保存的最后一个顶点做为副中心点,从中心点与副中心点开始后向遍历,再进行第一剪枝操作,再次更新状态得到SCC和分区;通过上述步骤获得全部的SCC。
-
公开(公告)号:CN106127305B
公开(公告)日:2019-07-16
申请号:CN201610439325.9
申请日:2016-06-17
Applicant: 中国科学院信息工程研究所
Abstract: 本发明涉及一种针对多源异构数据的异源间相似性度量方法。该方法利用多源异构数据间的语义互补性,基于子空间学习方法,根据马氏距离度量和伪度量约束,将多源异构数据线性投影到一个特征同构空间,消除了异源间的特征异构性,实现了异源间的相似度对比,并在这个空间中充分嵌入异源间的互补信息。本发明对包括多源检索,聚类和分类这样的现实应用有着十分重要的意义。
-
公开(公告)号:CN105045806B
公开(公告)日:2019-04-09
申请号:CN201510304691.9
申请日:2015-06-04
Applicant: 中国科学院信息工程研究所
IPC: G06F16/903
Abstract: 本发明涉及一种面向分位数查询的概要数据动态分裂与维护方法。该方法首先对写入的数据项进行采样,构建q‑digit概要数据;然后按照q‑digit后序遍历的分位数查询规则,查询q‑digit概要数据中数据项的中间点;然后以中间点为基础逆序遍历q‑digit概要数据,建立分割路径,根据分割路径把q‑digit概要数据分裂成两个数据量近似均等的概要数据结构;分裂以后每个结构仍然是独立的q‑digit结构,可以正常接收并处理新到达的数据源。本发明可用于分布式环境下q‑digit概要数据的动态管理,有效支持大数据环境下概要数据的维护与管理,有效支持分位数查询与计算。
-
公开(公告)号:CN109189743A
公开(公告)日:2019-01-11
申请号:CN201810671449.9
申请日:2018-06-26
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC: G06F16/178 , G06F16/182 , H04L12/26 , H04L29/06
Abstract: 本发明公开一种面向大流量实时图数据的低资源消耗的超级节点识别过滤方法和系统,属于大数据预处理领域。该方法包括:1)接收图数据并对其进行格式转化;2)根据过滤规则对格式转化之后的数据进行过滤;3)识别过滤之后的数据中的超级节点,并根据识别出的超级节点对所述过滤规则进行动态修改。该系统包括数据接收模块、数据过滤模块、过滤规则管理模块以及超级节点识别模块。本发明可在海量实时图数据流中识别出超级节点,是一种低资源消耗的超级节点识别方案,只需极少资源就可以在海量数据中识别出超级节点。
-
公开(公告)号:CN108319645A
公开(公告)日:2018-07-24
申请号:CN201711420097.1
申请日:2017-12-25
Applicant: 中国科学院信息工程研究所
CPC classification number: G06F17/30557 , G06F11/1458 , G06F17/30386 , G06F17/30554 , G06F17/30575
Abstract: 本发明涉及一种异构存储环境下多版本文件视图管理方法和装置。该方法包括:抽取异构存储环境下的多版本数据的元数据信息,利用元数据信息形成关系表结构,并利用关系型数据库对元数据进行集中存储;通过逻辑卷整合分布在不同存储位置的多版本数据,实现介质无关的多版本数据的管理与组织;利用SQL语法规则实现对元数据的访问控制与选择过滤,并在文件视图中以目录树的形式展示和管理异构存储环境下的多版本数据。本发明能够针对本地存储、云存储等异构存储环境,针对增量备份、差量备份、全量备份等不同备份策略,实现高性能的多版本文件视图管理。
-
-
-
-
-
-
-
-
-