-
公开(公告)号：CN105404611B
公开(公告)日：2018-07-20
申请号：CN201510755922.8
申请日：2015-11-09
Applicant: 南京大学
IPC: G06F17/16
Abstract: 本发明公开了一种基于矩阵模型的多计算引擎的自动选择方法，包括以下步骤：采用矩阵作为编程模型，R作为编程语言，在R语言程序中去调用不同计算引擎的矩阵计算操作；通过对不同规模的矩阵计算不同引擎下执行不同操作的时间，进行分析建模得到时间性能模型；对引擎间不同规模矩阵数据的传输时间建模，得到时间性能模型；对R程序进行语法分析，构建矩阵操作的数据流图，根据总体执行时间最少原则，通过对数据流图递归分析，将每个矩阵操作应用到某个计算引擎上；对R语言程序进行语法分析，将设置好的引擎信息添加到R语言程序中，得到最终的执行解决方案。本发明解决了现有矩阵计算平台单一、性能低、应对矩阵规模变化的能力不足的问题。
-
公开(公告)号：CN105808428A
公开(公告)日：2016-07-27
申请号：CN201610120973.8
申请日：2016-03-03
Applicant: 南京大学
CPC classification number: G06F11/3688 , G06F17/30194
Abstract: 本发明公开了一种对分布式文件系统进行统一性能测试的方法，具体包括以下步骤：首先，提供一个主从式的分布式测试框架，能够运行在多台计算机上，每台计算机上以多进程和多线程的方式并行地运行具体的测试用例；然后，在分布式测试框架中，定义并封装一套能够统一地访问不同分布式文件系统的访问接口；接着，在分布式测试框架中，设计一套能够用于实现不同测试用例的测试用例模型；最后，实现具体的、能够体现大规模机器学习以及大数据查询应用特性的测试用例。本发明解决了现有的分布式文件系统测试工具可扩展性能差，额外开销大，无法进行统一性能测试的问题。
-
公开(公告)号：CN105404611A
公开(公告)日：2016-03-16
申请号：CN201510755922.8
申请日：2015-11-09
Applicant: 南京大学
IPC: G06F17/16
CPC classification number: G06F17/16
Abstract: 本发明公开了一种基于矩阵模型的多计算引擎的自动选择方法，包括以下步骤：采用矩阵作为编程模型，R作为编程语言，在R语言程序中去调用不同计算引擎的矩阵计算操作；通过对不同规模的矩阵计算不同引擎下执行不同操作的时间，进行分析建模得到时间性能模型；对引擎间不同规模矩阵数据的传输时间建模，得到时间性能模型；对R程序进行语法分析，构建矩阵操作的数据流图，根据总体执行时间最少原则，通过对数据流图递归分析，将每个矩阵操作应用到某个计算引擎上；对R语言程序进行语法分析，将设置好的引擎信息添加到R语言程序中，得到最终的执行解决方案。本发明解决了现有矩阵计算平台单一、性能低、应对矩阵规模变化的能力不足的问题。
-
公开(公告)号：CN103617276A
公开(公告)日：2014-03-05
申请号：CN201310658588.5
申请日：2013-12-09
Applicant: 南京大学
IPC: G06F17/30
CPC classification number: G06F17/30321 , G06F17/30306
Abstract: 本发明公开了一种分布式层次化的RDF数据的存储方法，包括以下步骤：对所有RDF数据进行索引；采用两个存储层以存储索引后的RDF数据，从底层到上层依次为：持久化存储层和分布式内存存储层；所有RDF数据首先存储到持久化存储层，然后，将常用的RDF数据存储到分布式内存存储层；将所有存储在持久化存储层的RDF数据自动保持多个备份；当检测到分布式内存存储层的节点发生数据失效时，在下次查询到该节点中的RDF数据时，从持久化存储层去获取相应的数据。本发明解决了现有的分布式存储方法计算延时大、性能低、应对动态变化的能力不足的问题。
-
公开(公告)号：CN119621777A
公开(公告)日：2025-03-14
申请号：CN202411706764.2
申请日：2024-11-26
Applicant: 南京大学 , 中移(苏州)软件技术有限公司 , 中国移动通信集团有限公司 , 中国移动通信集团江苏有限公司
IPC: G06F16/2455 , G06F16/22
Abstract: 本发明公开了一种自适应的范围查询过滤方法、系统、设备及存储介质。所述方法包括：将输入数据集中的每个键切分为前缀和后缀，并将前缀相同的键划分到同一分区，每个分区包括前缀、后缀个数和按升序排列的后缀数组；构建自适应范围过滤器，构建过程以分区为单位进行编码，前缀插入到布谷鸟过滤器，后缀个数插入到桥结构，后缀数组根据稀疏程度连续紧凑存储，并进行压缩处理；根据查询的范围，将左右边界切分为两个前缀‑后缀对，根据前缀快速定位到相应的分区，在该分区的后缀数组中执行范围查询，返回符合条件的后缀。本发明通过键的切分和特定编码方式实现了一种基于指纹的自适应的范围查询过滤器，能够自适应应对倾斜工作负载，提高查询性能。
-
Patent Agency Ranking
公开(公告)号：CN111444148B
公开(公告)日：2023-09-05
申请号：CN202010273234.9
申请日：2020-04-09
IPC: G06F16/16 , G06F16/13 , G06F16/182 , H04L67/06
Abstract: 本申请实施例公开了基于MapReduce的数据传输方法和装置。该方法的一具体实施方式包括：执行Map任务，以生成计算结果文件，其中，该计算结果文件中包括与Reduce端数目一致的分区及其对应的数据；将该计算结果文件上传至提供冗余存储的目标文件系统，以使对应的Reduce端通过该目标文件系统获取该计算结果文件中的数据，其中，该目标文件系统按照预定的命名规则对该计算结果文件进行命名，以及按照预定目录结构对该计算结果文件进行存储。该实施方式避免了由于重计算而带来的计算资源消耗和时间花销，提升Shuffle过程的稳定性，并且具备较好的普适性。
-
公开(公告)号：CN115277531B
公开(公告)日：2023-07-25
申请号：CN202210909508.8
申请日：2022-07-29
Applicant: 南京大学
Abstract: 本发明公开了一种面向云上广域网的多径瓶颈公平性约束的两阶段路由方法。首先，本方法将网络抽象为有向图模型，将带宽分配方案形式化描述。其次，本发明方法基于上述模型建立了多径瓶颈公平性约束条件。然后，本发明方法实现了一种基于链路层级的两阶段路由算法。最后，根据带宽分配结果缩减网络，得到多径瓶颈公平分配方案。本发明方法能够有效地提升总吞吐量，或是在总吞吐量持平的基础上，大幅提升公平性。
-
公开(公告)号：CN105389220B
公开(公告)日：2019-02-15
申请号：CN201510755923.2
申请日：2015-11-09
Applicant: 南京大学
Abstract: 本发明公开了一种基于交互式R语言平台的并行化线性代数计算的方法，包括以下步骤：提供两个计算平台，一个是交互式R语言平台，另外一个是并行线性代数计算平台，两个计算平台通过计算机网络进行通信；然后在交互式R语言平台中，设计实现一个并行线性代数计算的应用程序接口；最后在并行线性代数计算的应用程序接口的分布式矩阵类中，包含一个R环境类型的成员变量，并在分布式矩阵类的对象的初始化过程中，通过R语言的reg.finalizer函数向交互式R语言平台的垃圾回收器注册该成员变量的垃圾回收响应方式。本发明解决了现有的交互式R语言编程平台无法进行并行线性代数计算的不足，扩展了交互式R语言平台的计算能力。
-
公开(公告)号：CN108595624A
公开(公告)日：2018-09-28
申请号：CN201810367758.7
申请日：2018-04-23
Applicant: 南京大学
IPC: G06F17/30
Abstract: 本发明公开了一种大规模分布式函数依赖发现方法，包括以下步骤：第一步，并行地获取数据集的统计信息、对属性进行排序和对数据进行分布式编码；第二步，依次选取属性，将在该属性上取值相同的数据发送到同一个节点上；第三步，在每个节点上进行候选函数依赖发现。该过程可以分为以下两步：第一步，并行地进行采样，利用采样结果对候选集进行剪枝和生成；第二步，并行地对候选集进行验证，利用验证结果对候选集进行剪枝和生成。每轮采样和验证结束后均需根据其效率来决定是否进行采样和验证的切换。第四步，生成函数依赖结果。本发明可高效地实现分布式函数依赖发现，解决现有函数依赖求解方法计算量大、内存占用多、无法处理大规模数据集等问题。
-
公开(公告)号：CN105808428B
公开(公告)日：2018-09-14
申请号：CN201610120973.8
申请日：2016-03-03
Applicant: 南京大学
Abstract: 本发明公开了一种对分布式文件系统进行统一性能测试的方法，具体包括以下步骤：首先，提供一个主从式的分布式测试框架，能够运行在多台计算机上，每台计算机上以多进程和多线程的方式并行地运行具体的测试用例；然后，在分布式测试框架中，定义并封装一套能够统一地访问不同分布式文件系统的访问接口；接着，在分布式测试框架中，设计一套能够用于实现不同测试用例的测试用例模型；最后，实现具体的、能够体现大规模机器学习以及大数据查询应用特性的测试用例。本发明解决了现有的分布式文件系统测试工具可扩展性能差，额外开销大，无法进行统一性能测试的问题。
-
-
-
-
-
-
-
-
-
Search Results
57
records
(took 0.025 seconds)
