-
公开(公告)号:CN106648934B
公开(公告)日:2019-12-03
申请号:CN201611228895.X
申请日:2016-12-27
Applicant: 中国科学院计算技术研究所 , 中科天玑数据科技股份有限公司
Abstract: 本发明公开了一种Impala与HBase之间的高效数据传输方法及系统。该方法包括:步骤1,将Impala发出的查询语句编译为查询指令,该查询指令的数量与HBase的Region的数量相同;步骤2,每个该查询指令对应查询该HBase的一个Region,所有该查询指令并行对该HBase进行查询,所获得的查询结果并行传输至一缓冲区;步骤3,以socket的方式,将该缓冲区中存储的数据传输至Impala。本发明具有较高的传输性能,且通过采用以socket传输二进制数据的方式,使得本发明在数据传输层,没有序列化以及反序列化的开销,不存在性能瓶颈,使得传输性能比JNI的传输方式更加高效。
-
公开(公告)号:CN108090222B
公开(公告)日:2020-07-07
申请号:CN201810011460.2
申请日:2018-01-05
Applicant: 中国科学院计算技术研究所 , 中科天玑数据科技股份有限公司
IPC: G06F16/27
Abstract: 本发明公开了一种数据库集群节点间数据同步系统,涉及数据处理领域。所述系统包括配置单元、元数据存储单元、元数据判断单元、读写判断单元、Paxos同步单元、日志存储单元和日志重现单元。本发明解决了现有数据库同步方法中异步方式可能导致数据库集群数据不一致的问题,也解决了同步方式可能因为某个节点阻塞导致性能低下的问题;最后,本发明所述数据库集群节点间数据同步系统也支持不同方向的数据同步,没有只能将数据从主数据库同步到从数据库的限制。
-
公开(公告)号:CN108090222A
公开(公告)日:2018-05-29
申请号:CN201810011460.2
申请日:2018-01-05
Applicant: 中国科学院计算技术研究所 , 中科天玑数据科技股份有限公司
IPC: G06F17/30
Abstract: 本发明公开了一种数据库集群节点间数据同步系统,涉及数据处理领域。所述系统包括配置单元、元数据存储单元、元数据判断单元、读写判断单元、Paxos同步单元、日志存储单元和日志重现单元。本发明解决了现有数据库同步方法中异步方式可能导致数据库集群数据不一致的问题,也解决了同步方式可能因为某个节点阻塞导致性能低下的问题;最后,本发明所述数据库集群节点间数据同步系统也支持不同方向的数据同步,没有只能将数据从主数据库同步到从数据库的限制。
-
公开(公告)号:CN103020205B
公开(公告)日:2018-07-31
申请号:CN201210518038.9
申请日:2012-12-05
Applicant: 中科天玑数据科技股份有限公司
IPC: G06F17/30
Abstract: 本发明公开了种分布式文件系统上基于硬件加速卡的压缩解压缩方法,属于分布式文件系统技术领域。该技术包括:客户端向数据节点写数据时,先将文件块进行分片,再经硬件加速卡对分片进行压缩,将压缩后的分片发送至数据节点;客户端从数据节点读取数据时,先从数据节点取回包含读取数据的各分片,调用硬件加速卡对各分片解压缩并组合,将组合后的数据发送至上层应用。上层应用可独立使用硬件加速卡以数据流的形式对数据进行压缩或解压缩。本发明提出的技术在分布式文件系统和上层应用中使用硬件加速卡,只需要很小的缓存就能实现数据压缩或解压缩,可以卸载传统压缩方法所消耗的大量CPU资源,并且对系统的用户而言完全透明。
-
公开(公告)号:CN114581230B
公开(公告)日:2025-04-04
申请号:CN202210044130.X
申请日:2022-01-14
Applicant: 中国科学院计算技术研究所
IPC: G06Q40/04 , G06Q20/40 , G06N20/00 , G06F16/901
Abstract: 本发明提出一种流式图中的洗钱行为检测方法、装置、介质,所述方法包括获取洗钱场景中的资金交易信息作为图数据通过有向图表示;在每一条所述资金流到达时,判断所述发生源账户是否在转出资金后达到资金平衡状态,且所述目标账户是否在转入资金后到达资金平衡状态;分别统计当前时刻时所述发生源账户与目标账户达到资金平衡状态的次数以及从初始时刻到当前时刻最近一次达到资金平衡状态之间累积的资金有效转入次数,作为统计特征输入至异常账户评估模型进行异常评估。该方法能够快速并且准确地检测出不同模式的洗钱行为,并且找到可疑的洗钱账户。
-
公开(公告)号:CN113569539B
公开(公告)日:2025-04-04
申请号:CN202110164573.8
申请日:2021-02-05
Applicant: 中国科学院计算技术研究所 , 腾讯科技(深圳)有限公司
IPC: G06F40/166 , G06F40/279
Abstract: 本申请的实施例提供了一种文本内容的衍生方法、装置、计算机可读介质及电子设备。该文本内容的衍生方法包括:获取原始文本内容,基于原始文本内容以及与原始条件相对应的反事实条件,从原始结尾中识别出与原始条件相关的因果内容;基于原始结尾以及原始结尾中的因果内容,确定表示原始结尾的文本架构的结尾框架;基于前提、反事实条件以及结尾框架构成的序列,生成原始结尾对应的反事实结尾;本实施例中生成的反事实结尾在原始结尾的基础上,基于原始文本内容中的因果内容生成,在因果内容与原始文本内容一致性的前提下,使得生成的反事实结尾更加符合因果逻辑,增加表达的流畅性。
-
公开(公告)号:CN119089890A
公开(公告)日:2024-12-06
申请号:CN202410585948.1
申请日:2024-05-13
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提出一种推荐系统评论区的群体极化问题检测方法和装置,包括:对推荐系统指定的评论主帖进行话题观点提取,得到主帖观点;对评论主帖的评论区进行立场检测,得到评论区各条评论相对主帖观点的立场类别;通过提取各条评论的关键词,得到各条评论的立场类别对应的强烈程度;按照评论时间将评论区的评论排序,统计评论初始时间段内各立场类别的评论数量,并根据初始时间段内各条评论的强烈程度,得到各立场类别的平均极化程度,作为基准;持续抽取与初始时间段相同长度但时间靠后的后续时间段,计算后续时间段各立场类别的平均极化程度,并与基准进行对比,得到立场的极化偏离程度,当极化偏离程度超出阈值时进行报警。
-
公开(公告)号:CN117131189A
公开(公告)日:2023-11-28
申请号:CN202310294820.5
申请日:2023-03-23
Applicant: 中国科学院计算技术研究所
IPC: G06F16/35 , G06F16/31 , G06F16/332 , G06F40/35 , G06N3/0499 , G06N3/08
Abstract: 本发明提出一种基于语义的开放域网页知识抽取方法,包括:获取开放域网页的骨架树,对该骨架树的骨架节点进行分裂,得到该骨架节点的骨架子节点,生成骨架子节点序列;对该骨架子节点和该骨架节点标注分类标签,根据该分类标签对该骨架树进行关系抽取,获得抽取任务的关系子节点序列,并生成关系片段;基于该关系片段对该骨架树进行客体抽取,以抽取到的骨架子节点序列为客体片段;以该关系片段和其对应的客体片段为该抽取任务的抽取结果。本发明还提出一种基于语义的开放域网页知识抽取系统,以及一种用于开放域网页知识抽取的数据处理装置。
-
公开(公告)号:CN113392139B
公开(公告)日:2023-10-20
申请号:CN202110624648.6
申请日:2021-06-04
Applicant: 中国科学院计算技术研究所
IPC: G06F16/2458 , G06F16/901 , G06N3/0442 , G06N3/045 , G06N3/08
Abstract: 本发明提出一种基于关联融合的环境监测数据补全方法和系统,包括:获取数据存在缺失的环境监测数据及其对应的标记矩阵;根据环境监测数据中每个时间点的各个属性,得到属性间的关联系数,以构建图G,图G中节点对应属性,节点间的边对应属性间的属性关联系数;通过将图G和待补全矩阵按位相乘,得到中间矩阵,通过神经网络对中间矩阵进行时序处理,得到环境监测数据中各时间点的隐藏状态;根据各时间点的隐藏状态,计算环境监测数据的时间关联性系数;通过将时间关联性系数和各时间点的隐藏状态按位相乘,得到环境监测数据中各时间点的中间状态;在环境监测数据中,对中间状态采用生成式的非线性变换,得到环境监测数据的重构补全数据。
-
公开(公告)号:CN113190733B
公开(公告)日:2023-09-12
申请号:CN202110459851.2
申请日:2021-04-27
Applicant: 中国科学院计算技术研究所
IPC: G06F16/951 , G06N3/0464 , G06N3/0442 , G06N3/08
Abstract: 本发明公开一种基于多平台的网络事件流行度预测方法,包括以下步骤:分别获取多个平台的网络事件的流行度预测序列,并融合多个流行度预测序列形成网络事件的流行度联合预测序列;分别获取多个平台的网络事件的流行度历史序列,并融合多个流行度历史序列形成网络事件的流行度联合历史序列;利用生成式对抗网络将流行度联合预测序列与流行度联合历史序列进行对齐,得到网络事件的流行度最终预测序列。
-
-
-
-
-
-
-
-
-