公开(公告)号：CN117201479A

公开(公告)日：2023-12-08

申请号：CN202311172622.8

申请日：2023-09-12

Applicant: 北京大学 ,  北京大学长沙计算与数字经济研究院

Inventor： 李俊哲 ,  付振新 ,  杨宏辉 ,  樊春 ,  马银萍 ,  李若淼

IPC: H04L67/06 ,  H04L67/1097 ,  H04L9/40

Abstract: 本发明涉及计算机技术领域，公开了一种跨集群文件传输方法、系统及装置。首先，通过主进程对待传输文件自动切分，并在切分后为每一个子文件分配线程；然后，通过调用线程从连接池中获取与子文件对应的加密通道，并调用线程创建与各子文件对应的子进程；最后，由各子进程按照对应的加密通道对各子文件进行并行传输。本发明在并行创建子进程的同时，也并行地建立了多个TCP连接，相比于rsync服务每传一个新的文件需要重新开启一次TCP连接而言，直接降低了TCP建连的时间开销，且各子文件通过并行方式传输，相当于加大了对带宽的利用效率。其次，在对待传输文件自动切分后再进行增量传输，使得各进程传输的数据量变小，传输效率更快。

公开(公告)号：CN117201479B

公开(公告)日：2024-07-26

申请号：CN202311172622.8

申请日：2023-09-12

Applicant: 北京大学 ,  北京大学长沙计算与数字经济研究院

Inventor： 李俊哲 ,  付振新 ,  杨宏辉 ,  樊春 ,  马银萍 ,  李若淼

IPC: H04L67/06 ,  H04L67/1097 ,  H04L9/40

Abstract: 本发明涉及计算机技术领域，公开了一种跨集群文件传输方法、系统及装置。首先，通过主进程对待传输文件自动切分，并在切分后为每一个子文件分配线程；然后，通过调用线程从连接池中获取与子文件对应的加密通道，并调用线程创建与各子文件对应的子进程；最后，由各子进程按照对应的加密通道对各子文件进行并行传输。本发明在并行创建子进程的同时，也并行地建立了多个TCP连接，相比于rsync服务每传一个新的文件需要重新开启一次TCP连接而言，直接降低了TCP建连的时间开销，且各子文件通过并行方式传输，相当于加大了对带宽的利用效率。其次，在对待传输文件自动切分后再进行增量传输，使得各进程传输的数据量变小，传输效率更快。