-
公开(公告)号：CN112416585B
公开(公告)日：2024-03-15
申请号：CN202011310749.8
申请日：2020-11-20
Applicant: 南京大学
Abstract: 本发明公开了一种面向深度学习的GPU资源管理与智能化调度方法，包括以下步骤：第一步，用户通过前端接口组件提交深度学习作业，包括待执行的深度学习程序与训练数据集；第二步，在进行验证后将作业添加到调度器对应的待调度队列；第三步，为该作业启动独立的作业管理器；第四步，向资源管理器申请作业运行需要的计算资源；第五步，对待调度作业进行特征建模与分析；第六步，根据作业特征与集群计算节点特征生成资源调度方案；第七步，按照调度方案将作业调度到指定计算节点上；第八步，作业执行器启动容器并执行深度学习程序。本发明可解决现有集群资源调度方法在深度学习场景下GPU资源利用率低、作业执行性能差的问题。
-
公开(公告)号：CN113177034B
公开(公告)日：2023-07-18
申请号：CN202110491976.3
申请日：2021-05-06
Applicant: 南京大学
IPC: G06F16/182 , G06F16/901
Abstract: 本发明公开了一种跨平台统一的分布式图数据处理方法，包括如下步骤：用户通过跨平台统一分布式图处理编程框架提供的API触发计算；用户的程序被序列化到程序文件中并上传分布式文件系统；框架启动相应分布式图处理系统的计算作业；集群中多个计算节点启动计算进程；每个计算进程下载程序文件并启动PregelX Runner进程；PregelX Runner与计算进程建立进程间通信通道，计算进程通过进程间通信通道调用用户程序进行具体的数据处理。本发明使得用户可以基于Python语言编写可跨平台执行的分布式图数据处理程序，解决了现有分布式图处理系统用户学习成本高、程序迁移代价高等易用性不足的问题。
-
公开(公告)号：CN108573052B
公开(公告)日：2019-09-10
申请号：CN201810368421.8
申请日：2018-04-23
Applicant: 南京大学
IPC: G06F16/2458
Abstract: 本发明公开了一种阈值自适应的集合相似连接方法，对于保存在数据库中的由集合记录构成的数据集R和S,以及相似度阈值τ，共包含六个步骤，其中前两个步骤属于数据预处理阶段，后四个步骤属于相似连接阶段：第一步，对R和S中所有的集合元素按照出现频率重编号；第二步，计算S集合元素的倒排索引I并将I存入数据库；第三步,对于R中的每条记录r，利用过滤器得到S中与r的相似度系数不小于阈值τ的候选记录集；第四步和第五步分别计算全量计算和直接验证两种模式的数据库获取开销；第六步选择开销更小的方式计算r的相似记录对。本发明可在广阈值范围内均高效的进行集合相似连接计算，解决现有技术不能同时兼顾低阈值和高阈值情况的问题。
-
公开(公告)号：CN105389220B
公开(公告)日：2019-02-15
申请号：CN201510755923.2
申请日：2015-11-09
Applicant: 南京大学
Abstract: 本发明公开了一种基于交互式R语言平台的并行化线性代数计算的方法，包括以下步骤：提供两个计算平台，一个是交互式R语言平台，另外一个是并行线性代数计算平台，两个计算平台通过计算机网络进行通信；然后在交互式R语言平台中，设计实现一个并行线性代数计算的应用程序接口；最后在并行线性代数计算的应用程序接口的分布式矩阵类中，包含一个R环境类型的成员变量，并在分布式矩阵类的对象的初始化过程中，通过R语言的reg.finalizer函数向交互式R语言平台的垃圾回收器注册该成员变量的垃圾回收响应方式。本发明解决了现有的交互式R语言编程平台无法进行并行线性代数计算的不足，扩展了交互式R语言平台的计算能力。
-
公开(公告)号：CN105389220A
公开(公告)日：2016-03-09
申请号：CN201510755923.2
申请日：2015-11-09
Applicant: 南京大学
CPC classification number: G06F9/547 , G06F9/5022 , G06F17/16 , G06F2209/541
Abstract: 本发明公开了一种基于交互式R语言平台的并行化线性代数计算的方法，包括以下步骤：提供两个计算平台，一个是交互式R语言平台，另外一个是并行线性代数计算平台，两个计算平台通过计算机网络进行通信；然后在交互式R语言平台中，设计实现一个并行线性代数计算的应用程序接口；最后在并行线性代数计算的应用程序接口的分布式矩阵类中，包含一个R环境类型的成员变量，并在分布式矩阵类的对象的初始化过程中，通过R语言的reg.finalizer函数向交互式R语言平台的垃圾回收器注册该成员变量的垃圾回收响应方式。本发明解决了现有的交互式R语言编程平台无法进行并行线性代数计算的不足，扩展了交互式R语言平台的计算能力。
-
Patent Agency Ranking
公开(公告)号：CN113177034A
公开(公告)日：2021-07-27
申请号：CN202110491976.3
申请日：2021-05-06
Applicant: 南京大学
IPC: G06F16/182 , G06F16/901
Abstract: 本发明公开了一种跨平台统一的分布式图数据处理方法，包括如下步骤：用户通过跨平台统一分布式图处理编程框架提供的API触发计算；用户的程序被序列化到程序文件中并上传分布式文件系统；框架启动相应分布式图处理系统的计算作业；集群中多个计算节点启动计算进程；每个计算进程下载程序文件并启动PregelX Runner进程；PregelX Runner与计算进程建立进程间通信通道，计算进程通过进程间通信通道调用用户程序进行具体的数据处理。本发明使得用户可以基于Python语言编写可跨平台执行的分布式图数据处理程序，解决了现有分布式图处理系统用户学习成本高、程序迁移代价高等易用性不足的问题。
-
公开(公告)号：CN108573052A
公开(公告)日：2018-09-25
申请号：CN201810368421.8
申请日：2018-04-23
Applicant: 南京大学
IPC: G06F17/30
Abstract: 本发明公开了一种阈值自适应的集合相似连接方法，对于保存在数据库中的由集合记录构成的数据集R和S,以及相似度阈值τ，共包含六个步骤，其中前两个步骤属于数据预处理阶段，后四个步骤属于相似连接阶段：第一步，对R和S中所有的集合元素按照出现频率重编号；第二步，计算S集合元素的倒排索引I并将I存入数据库；第三步,对于R中的每条记录r，利用过滤器得到S中与r的相似度系数不小于阈值τ的候选记录集；第四步和第五步分别计算全量计算和直接验证两种模式的数据库获取开销；第六步选择开销更小的方式计算r的相似记录对。本发明可在广阈值范围内均高效的进行集合相似连接计算，解决现有技术不能同时兼顾低阈值和高阈值情况的问题。
-
公开(公告)号：CN106991195A
公开(公告)日：2017-07-28
申请号：CN201710295982.5
申请日：2017-04-28
Applicant: 南京大学
IPC: G06F17/30
CPC classification number: G06F16/2237 , G06F16/2246 , G06F16/27
Abstract: 本发明公开了一种分布式的子图枚举方法，包括以下步骤：第一步，根据输入的查询图生成一棵查询树，并将查询树分发到各个计算节点；第二步，根据查询树在输入的数据图上查询出部分匹配结果；第三步，根据部分匹配结果和查询树，完成子图匹配任务，生成匹配结果。其中第二步查询部分匹配结果在分布式图计算框架中完成，该步骤又分为以下两个子步骤：第一步，接收邻居顶点发送的部分匹配结果并进行连接操作生成新的部分匹配结果；第二步，将新的部分匹配结果发送给邻居节点。本发明在分布式环境中高效地完成了子图枚举计算任务，改善了现有的分布式子图枚举计算方法网络开销过大，性能较低等问题。
-
公开(公告)号：CN112416585A
公开(公告)日：2021-02-26
申请号：CN202011310749.8
申请日：2020-11-20
Applicant: 南京大学
Abstract: 本发明公开了一种面向深度学习的GPU资源管理与智能化调度方法，包括以下步骤：第一步，用户通过前端接口组件提交深度学习作业，包括待执行的深度学习程序与训练数据集；第二步，在进行验证后将作业添加到调度器对应的待调度队列；第三步，为该作业启动独立的作业管理器；第四步，向资源管理器申请作业运行需要的计算资源；第五步，对待调度作业进行特征建模与分析；第六步，根据作业特征与集群计算节点特征生成资源调度方案；第七步，按照调度方案将作业调度到指定计算节点上；第八步，作业执行器启动容器并执行深度学习程序。本发明可解决现有集群资源调度方法在深度学习场景下GPU资源利用率低、作业执行性能差的问题。
-
公开(公告)号：CN106991195B
公开(公告)日：2020-08-11
申请号：CN201710295982.5
申请日：2017-04-28
Applicant: 南京大学
Abstract: 本发明公开了一种分布式的子图枚举方法，包括以下步骤：第一步，根据输入的查询图生成一棵查询树，并将查询树分发到各个计算节点；第二步，根据查询树在输入的数据图上查询出部分匹配结果；第三步，根据部分匹配结果和查询树，完成子图匹配任务，生成匹配结果。其中第二步查询部分匹配结果在分布式图计算框架中完成，该步骤又分为以下两个子步骤：第一步，接收邻居顶点发送的部分匹配结果并进行连接操作生成新的部分匹配结果；第二步，将新的部分匹配结果发送给邻居节点。本发明在分布式环境中高效地完成了子图枚举计算任务，改善了现有的分布式子图枚举计算方法网络开销过大，性能较低等问题。
-
-
-
-
-
-
-
-
-
Search Results
10
records
(took 0.016 seconds)
