公开(公告)号：CN117311996B

公开(公告)日：2024-07-26

申请号：CN202311605590.6

申请日：2023-11-29

Applicant: 之江实验室

Inventor： 田晓雪 ,  陈旭 ,  马立铭 ,  杨浩 ,  李嘉莹 ,  邱子豪 ,  孙观

IPC: G06F9/50 ,  G06F3/0481 ,  G06F3/0482 ,  G06F3/04847

Abstract: 本发明公开了一种计算任务的批量数据配置和处理及运行方法、装置，包括以下步骤：通过计算框架配置步骤可以屏蔽用户提交不同类型、不同计算框架计算任务的差异，降低开发成本以及用户进行计算任务配置提交的理解成本；批量数据配置步骤提供的一种通用的批量输入数据配置表单，能够兼容不同用户因计算习惯不同对于需要批量输入的数据配置不同的需求，降低开发成本以及提升用户使用灵活性；在批量数据处理步骤，根据可用算力资源和计算任务所需资源智能计算批量数据分片数量并将计算任务拆解为子计算任务进行并行计算，提升计算效率；通过批量数据运行步骤可以展示各任务的运行监控，便于用户跟踪任务的执行情况。

公开(公告)号：CN117311996A

公开(公告)日：2023-12-29

申请号：CN202311605590.6

申请日：2023-11-29

Applicant: 之江实验室

Inventor： 田晓雪 ,  陈旭 ,  马立铭 ,  杨浩 ,  李嘉莹 ,  邱子豪 ,  孙观

IPC: G06F9/50 ,  G06F3/0481 ,  G06F3/0482 ,  G06F3/04847

Abstract: 本发明公开了一种计算任务的批量数据配置和处理及运行方法、装置，包括以下步骤：通过计算框架配置步骤可以屏蔽用户提交不同类型、不同计算框架计算任务的差异，降低开发成本以及用户进行计算任务配置提交的理解成本；批量数据配置步骤提供的一种通用的批量输入数据配置表单，能够兼容不同用户因计算习惯不同对于需要批量输入的数据配置不同的需求，降低开发成本以及提升用户使用灵活性；在批量数据处理步骤，根据可用算力资源和计算任务所需资源智能计算批量数据分片数量并将计算任务拆解为子计算任务进行并行计算，提升计算效率；通过批量数据运行步骤可以展示各任务的运行监控，便于用户跟踪任务的执行情况。