公开(公告)号：CN107704728B

公开(公告)日：2021-01-19

申请号：CN201710880756.3

申请日：2017-09-26

Applicant: 华南理工大学

Inventor： 董守斌 ,  刘柽 ,  张铃启

IPC: G16B30/10

Abstract: 本发明公开了一种基因序列比对的云计算加速方法，包括步骤：1)对基因测序仪的下机数据文件Fastq进行预处理，以保证数据分发时数据的完整性；2)通过Spark对修改后的基因测序数据完成多节点分发；3)对每个节点所获得的修改后的基因数据，恢复其原有Fastq文件格式；4)每个节点通过Spark中的pipe算子执行基因序列比对程序脚本，运行结果存储在Spark的弹性分布式数据集RDD中；5)运行结果保存在诸如HDFS、Amazon、S3等分布式文件系统。本发明采用一种更简单的方式将比对工具运行在Spark框架上，不仅可以很好的利用Spark的机制进行多机计算的调度、数据的分发、监控和容错，而且相较于JNI的实现方式，开发门槛低，代码维护简单，性能更好，扩展性可接近线性。

公开(公告)号：CN107704728A

公开(公告)日：2018-02-16

申请号：CN201710880756.3

申请日：2017-09-26

Applicant: 华南理工大学

Inventor： 董守斌 ,  刘柽 ,  张铃启

IPC: G06F19/22 ,  G06F19/28

CPC classification number: G16B50/00 ,  G16B30/00

Abstract: 本发明公开了一种基因序列比对的云计算加速方法，包括步骤：1)对基因测序仪的下机数据文件Fastq进行预处理，以保证数据分发时数据的完整性；2)通过Spark对修改后的基因测序数据完成多节点分发；3)对每个节点所获得的修改后的基因数据，恢复其原有Fastq文件格式；4)每个节点通过Spark中的pipe算子执行基因序列比对程序脚本，运行结果存储在Spark的弹性分布式数据集RDD中；5)运行结果保存在诸如HDFS、Amazon、S3等分布式文件系统。本发明采用一种更简单的方式将比对工具运行在Spark框架上，不仅可以很好的利用Spark的机制进行多机计算的调度、数据的分发、监控和容错，而且相较于JNI的实现方式，开发门槛低，代码维护简单，性能更好，扩展性可接近线性。