-
公开(公告)号：CN110399222B
公开(公告)日：2022-01-21
申请号：CN201910675587.9
申请日：2019-07-25
Applicant: 北京邮电大学
Abstract: 本申请实施例提供的GPU集群深度学习任务并行化方法、装置及电子设备，涉及互联网技术领域，通过先分析待处理深度学习任务和GPU集群各计算节点的相似性，确定待处理深度学习任务在GPU集群中的目标计算节点，以减少计算节点资源争用的可能性，从而提高了深度学习任务系统资源的利用率和执行效率，再根据待处理深度学习任务的需要的GPU个数，将待处理深度学习任务分为多个目标子任务，分析目标子任务的干扰等级和通信代价，从而确定目标子任务在目标计算节点中的目标GPU，以避免计算节点中GPU上的资源分配不均衡，实现了深度学习任务的高度并行化，提高了GPU集群的资源利用率，同时提高了深度学习任务的执行效率。
-
公开(公告)号：CN110162272A
公开(公告)日：2019-08-23
申请号：CN201910436377.4
申请日：2019-05-23
Applicant: 北京邮电大学
IPC: G06F3/06
Abstract: 本发明实施例提供了一种内存计算缓存管理方法及装置，其中内存计算缓存管理方法包括：在存在新数据块需要缓存在内存中的情况下，获取数据块使用的成本，所述数据块包括：所述新数据块及所述内存中的原有数据块，所述成本至少包括：所述数据块的引用成本，该成本还包括：所述数据块的计算成本和/或所述数据块的存储成本；基于所述数据块使用的成本，确定所述数据块的重要性；在确定所述内存的剩余空间不足够缓存所述新数据块的情况下，将所述原有数据块中重要性最小的数据块逐出所述内存；选择所述新数据块中重要性最大的数据块，作为目标数据块；在确定所述剩余空间足够为所述目标数据块提供可用空间的情况下，将所述目标数据块缓存至所述内存。
-
公开(公告)号：CN109101339B
公开(公告)日：2019-05-31
申请号：CN201810931427.1
申请日：2018-08-15
Applicant: 北京邮电大学
Abstract: 本发明实施例提供了一种异构集群中视频任务并行化方法、装置及异构集群系统，所述方法应用于异构集群中的集群调度器，所述异构集群还包括多个节点，所述方法包括：获取任务缓存队列中每个视频任务的特征参数和每个节点的特征参数；将所述每个视频任务的特征参数和每个节点的特征参数输入预先训练的第一深度Q网络DQN，按照每个视频任务的等候时长的长短顺序，依次确定出所述每个视频任务对应的节点；针对每一视频任务，将该视频任务调度至该视频任务对应的节点，以使该节点对该视频任务包括的多个子任务进行并行化处理。本发明实施例可以提高异构集群在处理视频任务时的数据吞吐量，并减少视频任务的处理时间。
-
公开(公告)号：CN110399222A
公开(公告)日：2019-11-01
申请号：CN201910675587.9
申请日：2019-07-25
Applicant: 北京邮电大学
Abstract: 本申请实施例提供的GPU集群深度学习任务并行化方法、装置及电子设备，涉及互联网技术领域，通过先分析待处理深度学习任务和GPU集群各计算节点的相似性，确定待处理深度学习任务在GPU集群中的目标计算节点，以减少计算节点资源争用的可能性，从而提高了深度学习任务系统资源的利用率和执行效率，再根据待处理深度学习任务的需要的GPU个数，将待处理深度学习任务分为多个目标子任务，分析目标子任务的干扰等级和通讯代价，从而确定目标子任务在目标计算节点中的目标GPU，以避免计算节点中GPU上的资源分配不均衡，实现了深度学习任务的高度并行化，提高了GPU集群的资源利用率，同时提高了深度学习任务的执行效率。
-
公开(公告)号：CN109101339A
公开(公告)日：2018-12-28
申请号：CN201810931427.1
申请日：2018-08-15
Applicant: 北京邮电大学
CPC classification number: G06F9/5038 , G06F9/5016 , G06T1/20
Abstract: 本发明实施例提供了一种异构集群中视频任务并行化方法、装置及异构集群系统，所述方法应用于异构集群中的集群调度器，所述异构集群还包括多个节点，所述方法包括：获取任务缓存队列中每个视频任务的特征参数和每个节点的特征参数；将所述每个视频任务的特征参数和每个节点的特征参数输入预先训练的第一深度Q网络DQN，按照每个视频任务的等候时长的长短顺序，依次确定出所述每个视频任务对应的节点；针对每一视频任务，将该视频任务调度至该视频任务对应的节点，以使该节点对该视频任务包括的多个子任务进行并行化处理。本发明实施例可以提高异构集群在处理视频任务时的数据吞吐量，并减少视频任务的处理时间。
-
Patent Agency Ranking
公开(公告)号：CN110489223B
公开(公告)日：2022-03-29
申请号：CN201910790373.6
申请日：2019-08-26
Applicant: 北京邮电大学
Abstract: 本发明实施例提供了一种异构集群中任务调度方法、装置及电子设备，其中，方法可以包括：针对各个计算节点，确定调度至该计算节点的各个任务；将各个子任务分别划分为多个子任务；当子任务对应的父子任务执行完成时，将子任务添加到就绪子任务队列中；针对就绪子任务队列中的各个第一子任务，当该第一子任务在图形处理器GPU计算单元的执行速率大于该第一子任务在中央处理器CPU计算单元的执行速率，则将该第一子任务添加至GPU子任务队列；根据GPU子任务队列中各个第二子任务与GPU正在执行的子任务的干扰关系，将各个第二子任务调度至第二子任务对应的目标GPU。如此，能够提高资源利用率，提高异构集群的系统吞吐量。
-
公开(公告)号：CN110162272B
公开(公告)日：2020-06-12
申请号：CN201910436377.4
申请日：2019-05-23
Applicant: 北京邮电大学
IPC: G06F3/06
Abstract: 本发明实施例提供了一种内存计算缓存管理方法及装置，其中内存计算缓存管理方法包括：在存在新数据块需要缓存在内存中的情况下，获取数据块使用的成本，所述数据块包括：所述新数据块及所述内存中的原有数据块，所述成本至少包括：所述数据块的引用成本，该成本还包括：所述数据块的计算成本和/或所述数据块的存储成本；基于所述数据块使用的成本，确定所述数据块的重要性；在确定所述内存的剩余空间不足够缓存所述新数据块的情况下，将所述原有数据块中重要性最小的数据块逐出所述内存；选择所述新数据块中重要性最大的数据块，作为目标数据块；在确定所述剩余空间足够为所述目标数据块提供可用空间的情况下，将所述目标数据块缓存至所述内存。
-
公开(公告)号：CN110489223A
公开(公告)日：2019-11-22
申请号：CN201910790373.6
申请日：2019-08-26
Applicant: 北京邮电大学
Abstract: 本发明实施例提供了一种异构集群中任务调度方法、装置及电子设备，其中，方法可以包括：针对各个计算节点，确定调度至该计算节点的各个任务；将各个子任务分别划分为多个子任务；当子任务对应的父子任务执行完成时，将子任务添加到就绪子任务队列中；针对就绪子任务队列中的各个第一子任务，当该第一子任务在图形处理器GPU计算单元的执行速率大于该第一子任务在中央处理器CPU计算单元的执行速率，则将该第一子任务添加至GPU子任务队列；根据GPU子任务队列中各个第二子任务与GPU正在执行的子任务的干扰关系，将各个第二子任务调度至第二子任务对应的目标GPU。如此，能够提高资源利用率，提高异构集群的系统吞吐量。
-
公开(公告)号：CN107844593B
公开(公告)日：2021-09-03
申请号：CN201711147816.7
申请日：2017-11-17
Applicant: 北京邮电大学
IPC: G06F16/71 , G06F16/11 , G06F16/182 , G06F9/50
Abstract: 本发明实施例提供了一种分布式计算平台中视频数据分布方法及装置，上述方法包括：在各节点的初始负载不满足预设的均衡条件下，确定将各高负载节点中的每一视频数据块，分别迁移到各低负载节点进行处理所需的时长，得到目标时长集合，根据目标时长集合，如果第一时长与第二时长的时长比值，小于或等于第二目标节点的初始负载与第一目标节点的初始负载的负载比值，将第一时长对应的视频数据块迁移到第一目标节点进行处理，否则，将第二时长对应的视频数据块迁移到第二目标节点进行处理。基于上述处理，能够避免将高负载节点上的视频数据块迁移到视频数据处理能力弱的节点上，进而提高视频任务的处理效率。
-
公开(公告)号：CN107844593A
公开(公告)日：2018-03-27
申请号：CN201711147816.7
申请日：2017-11-17
Applicant: 北京邮电大学
CPC classification number: G06F17/30079 , G06F9/5088 , G06F17/30194
Abstract: 本发明实施例提供了一种分布式计算平台中视频数据分布方法及装置，上述方法包括：在各节点的初始负载不满足预设的均衡条件下，确定将各高负载节点中的每一视频数据块，分别迁移到各低负载节点进行处理所需的时长，得到目标时长集合，根据目标时长集合，如果第一时长与第二时长的时长比值，小于或等于第二目标节点的初始负载与第一目标节点的初始负载的负载比值，将第一时长对应的视频数据块迁移到第一目标节点进行处理，否则，将第二时长对应的视频数据块迁移到第二目标节点进行处理。基于上述处理，能够避免将高负载节点上的视频数据块迁移到视频数据处理能力弱的节点上，进而提高视频任务的处理效率。
-
-
-
-
-
-
-
-
-
Search Results
10
records
(took 0.023 seconds)
