一种基于大数据引擎的小数据量作业处理方法及装置

    公开(公告)号:CN115309560A

    公开(公告)日:2022-11-08

    申请号:CN202210999383.2

    申请日:2022-08-19

    Abstract: 本申请提出了一种基于大数据引擎的小数据量作业处理方法及装置,该方法包括以下步骤:S1、获取待处理数据文件,判断待处理数据文件是否是小数据量作业,如果是,则执行步骤S2;S2、判断资源池是否有空闲的运行时环境,如果有,则对业务代码进行统一封装,运行时环境对封装好的代码进行解释执行,如果没有,则执行步骤S3;S3、判断资源池是否达到资源容量上限,如果达到,则处理数据文件进入作业队列等待,如果没达到,则创建运行时环境放入资源池,再对业务代码进行统一封装,运行时环境对封装好的代码进行解释执行;S4、检测资源池中运行时环境的空闲时间是否超过预设阈值,如果超过,则进行运行时资源释放。

Patent Agency Ranking