数据访问方法、系统及数据仓库

    公开(公告)号:CN103488791B

    公开(公告)日:2018-03-27

    申请号:CN201310465886.2

    申请日:2013-09-30

    CPC classification number: G06F21/6218

    Abstract: 本发明涉及一种数据访问方法、系统及数据仓库,其中该数据访问方法包括接收第一用户提交的访问请求事件;确定所述第一用户对所述多个数据集合的访问权限;若所述第一用户具有访问每个数据集合的访问权限,确定所述多个数据集合对应的多个用户标识;获取所述每个数据集合对应的文件存储路径信息;根据所述多个用户标识,获取每个用户标识对应的身份认证权限;向并行计算系统下发并行访问任务。通过向并行计算系统发送多个用户标识对应的身份认证权限和文件存储路径信息,可以实现跨用户访问,一个用户可以访问多个用户的数据集合。

    数据访问方法、系统及数据仓库

    公开(公告)号:CN103488791A

    公开(公告)日:2014-01-01

    申请号:CN201310465886.2

    申请日:2013-09-30

    CPC classification number: G06F21/6218 G06F21/31 G06F21/62 G06F2221/2141

    Abstract: 本发明涉及一种数据访问方法、系统及数据仓库,其中该数据访问方法包括接收第一用户提交的访问请求事件;确定所述第一用户对所述多个数据集合的访问权限;若所述第一用户具有访问每个数据集合的访问权限,确定所述多个数据集合对应的多个用户标识;获取所述每个数据集合对应的文件存储路径信息;根据所述多个用户标识,获取每个用户标识对应的身份认证权限;向并行计算系统下发并行访问任务。通过向并行计算系统发送多个用户标识对应的身份认证权限和文件存储路径信息,可以实现跨用户访问,一个用户可以访问多个用户的数据集合。

    分布式的实时流处理装置、方法和单元

    公开(公告)号:CN104320382A

    公开(公告)日:2015-01-28

    申请号:CN201410526494.7

    申请日:2014-09-30

    CPC classification number: H04L49/9057 G06F9/5027 H04L65/60

    Abstract: 本发明公开了一种分布式的实时流处理装置、方法及单元,属于数据处理领域。方法包括:接收输入单元分发的一批数据流,该一批数据流包括多个子数据流;对接收到的子数据流进行并行处理,得到数据处理结果;将得到的至少一个数据处理结果发送给排序输出单元,当确定属于同一批次的数据流的子数据流处理完成时,向排序输出单元发送标识事件,该数据处理结果及标识事件用于排序输出单元在判断收集齐全所有业务处理单元发送的标识事件后,将收集到的属于同一批次的数据流的所有数据处理结果进行排序输出。本发明通过排序输出单元将同一批次的数据处理结果进行排序输出,实现了分布式的实时流处理的全局排序,更为规整和简便,方便后续处理。

    分布式的实时流处理装置、方法和单元

    公开(公告)号:CN104320382B

    公开(公告)日:2018-04-20

    申请号:CN201410526494.7

    申请日:2014-09-30

    Abstract: 本发明公开了一种分布式的实时流处理装置、方法及单元,属于数据处理领域。方法包括:接收输入单元分发的一批数据流,该一批数据流包括多个子数据流;对接收到的子数据流进行并行处理,得到数据处理结果;将得到的至少一个数据处理结果发送给排序输出单元,当确定属于同一批次的数据流的子数据流处理完成时,向排序输出单元发送标识事件,该数据处理结果及标识事件用于排序输出单元在判断收集齐全所有业务处理单元发送的标识事件后,将收集到的属于同一批次的数据流的所有数据处理结果进行排序输出。本发明通过排序输出单元将同一批次的数据处理结果进行排序输出,实现了分布式的实时流处理的全局排序,更为规整和简便,方便后续处理。

    对流数据进行处理的方法及装置

    公开(公告)号:CN104216766B

    公开(公告)日:2017-08-29

    申请号:CN201410427013.7

    申请日:2014-08-26

    CPC classification number: G06F9/46

    Abstract: 本发明公开了一种对流数据进行处理的方法及装置,属于数据处理领域。该方法包括:当对业务产生的流数据进行第一处理操作时,接收第一流处理模型,第一流处理模型包括第一处理操作对应的流算子;根据第二流处理模型,对第一流处理模型进行修改,得到第三流处理模型,第二流处理模型为流处理平台中正在运行的对流数据进行处理流处理模型;当接收到停止指令时,停止第一流合并模型;对第一流合并模型进行修改,得到第二流合并模型;当接收到启动指令时,启动第二流合并模型,通过第二流处理模型、第三流处理模型和第二流合并模块对该流数据进行处理。本发明可以在不影响原有处理操作的结果下增加流算子,并且不会造成对流数据进行处理的延迟。

    对流数据进行处理的方法及装置

    公开(公告)号:CN104216766A

    公开(公告)日:2014-12-17

    申请号:CN201410427013.7

    申请日:2014-08-26

    CPC classification number: G06F9/46

    Abstract: 本发明公开了一种对流数据进行处理的方法及装置,属于数据处理领域。该方法包括:当对业务产生的流数据进行第一处理操作时,接收第一流处理模型,第一流处理模型包括第一处理操作对应的流算子;根据第二流处理模型,对第一流处理模型进行修改,得到第三流处理模型,第二流处理模型为流处理平台中正在运行的对流数据进行处理流处理模型;当接收到停止指令时,停止第一流合并模型;对第一流合并模型进行修改,得到第二流合并模型;当接收到启动指令时,启动第二流合并模型,通过第二流处理模型、第三流处理模型和第二流合并模块对该流数据进行处理。本发明可以在不影响原有处理操作的结果下增加流算子,并且不会造成对流数据进行处理的延迟。

Patent Agency Ranking