公开(公告)号：CN112650915A

公开(公告)日：2021-04-13

申请号：CN202011375913.3

申请日：2020-11-30

Applicant: 中国科学院信息工程研究所

Inventor： 朱蔚林 ,  木伟民 ,  迟磊 ,  金宗泽 ,  张云 ,  王伟平

IPC: G06F16/9532 ,  G06F16/242 ,  G06F16/27

Abstract: 本发明提供一种基于实时查询的数据交互方法及装置，包括：解析接收的客户端数据查询请求，判断所述客户端数据查询请求为长查询或短查询；若为长查询，则依据生成的查询记录对数据库进行查询，并将长查询结果存储至分布式文件系统中；若为短查询，则通过转换得到的系统sql语句对数据库进行查询，得到短查询结果；将获取的长查询结果或短查询结果返回至客户端。本发明支持短查询和长查询两种不同的请求方式，可以根据业务的紧急程度做不同速度的处理；短查询可以跳过中间系统直接访问数据源并返回结果数据，以达到更快的速度；长查询的结果以较小单位依次返回给请求方达到更高的时效性。

公开(公告)号：CN112637130A

公开(公告)日：2021-04-09

申请号：CN202011378206.X

申请日：2020-11-30

Applicant: 中国科学院信息工程研究所

Inventor： 朱蔚林 ,  木伟民 ,  迟磊 ,  金宗泽 ,  张云 ,  王伟平

IPC: H04L29/06 ,  H04L29/08 ,  G06F16/25

Abstract: 本发明提供一种基于消费队列的数据交换方法及系统，包括：接收外网服务器发送的客户端数据查询请求；解析客户端数据查询请求，将得到的订阅任务发送至元数据库，以得到消费队列；转换接收的内部订阅任务数据，将得到的外部订阅任务数据经外网服务器返回至相应客户端，其中所述内部订阅任务数据是通过消费客户端消费消息队列而得到。本发明客户端与内网订阅服务通过HTTP交互，不直接接触MQ数据；可通过客户端循环请求，获取数据。

公开(公告)号：CN112650767B

公开(公告)日：2023-03-10

申请号：CN202011378190.2

申请日：2020-11-30

Applicant: 中国科学院信息工程研究所

Inventor： 朱蔚林 ,  迟磊 ,  木伟民 ,  金宗泽 ,  张云 ,  王伟平

IPC: G06F16/242 ,  G06F16/25 ,  G06F16/9532

Abstract: 本发明提供一种数据过滤前置的数据交换方法及系统，包括：接收外网服务器发送的客户端数据查询请求，其中所述客户端数据查询请求根据设定过滤规则生成；解析客户端数据查询请求，将得到的任务发送至元数据库，以得到内部数据；转换接收的内部数据，将得到的外部数据经外网服务器返回至相应客户端。本发明因为数据过滤由数据交换系统内部进行，所以客户端只能接到符合过滤规则的数据，从而保障数据安全，降低了客户端的资源消耗。

公开(公告)号：CN112650767A

公开(公告)日：2021-04-13

申请号：CN202011378190.2

申请日：2020-11-30

Applicant: 中国科学院信息工程研究所

Inventor： 朱蔚林 ,  迟磊 ,  木伟民 ,  金宗泽 ,  张云 ,  王伟平

IPC: G06F16/242 ,  G06F16/25 ,  G06F16/9532

Abstract: 本发明提供一种数据过滤前置的数据交换方法及系统，包括：接收外网服务器发送的客户端数据查询请求，其中所述客户端数据查询请求根据设定过滤规则生成；解析客户端数据查询请求，将得到的任务发送至元数据库，以得到内部数据；转换接收的内部数据，将得到的外部数据经外网服务器返回至相应客户端。本发明因为数据过滤由数据交换系统内部进行，所以客户端只能接到符合过滤规则的数据，从而保障数据安全，降低了客户端的资源消耗。

公开(公告)号：CN107273193A

公开(公告)日：2017-10-20

申请号：CN201710295064.2

申请日：2017-04-28

Applicant: 中国科学院信息工程研究所

Inventor： 木伟民 ,  张云 ,  李名扬 ,  金宗泽 ,  王伟平

IPC: G06F9/48

CPC classification number: G06F9/4881

Abstract: 本发明公开了一种基于DAG的面向多计算框架的数据处理方法及系统。本方法为1)用户根据目标计算场景选取算子生成该目标计算场景；然后向管理器发送保存场景信息的请求；2)管理器将场景信息保存到场景表中；当收到该目标计算场景的执行请求后，读取该场景表生成包含该目标计算场景信息的作业并发送给调度器；3)调度器根据收到的作业生成对应的算子DAG并验证；对于验证通过的算子生成子作业DAG；然后根据生成的子作业DAG确定每一执行阶段并将其发送给执行器；4)执行器将调度器下发的每一执行阶段的子作业解释为该计算框架下的计算逻辑并触发计算；然后将计算结果提交给调度器。本发明提高了计算框架的计算效率。

公开(公告)号：CN112650915B

公开(公告)日：2023-03-10

申请号：CN202011375913.3

申请日：2020-11-30

Applicant: 中国科学院信息工程研究所

Inventor： 朱蔚林 ,  木伟民 ,  迟磊 ,  金宗泽 ,  张云 ,  王伟平

IPC: G06F16/9532 ,  G06F16/242 ,  G06F16/27

Abstract: 本发明提供一种基于实时查询的数据交互方法及装置，包括：解析接收的客户端数据查询请求，判断所述客户端数据查询请求为长查询或短查询；若为长查询，则依据生成的查询记录对数据库进行查询，并将长查询结果存储至分布式文件系统中；若为短查询，则通过转换得到的系统sql语句对数据库进行查询，得到短查询结果；将获取的长查询结果或短查询结果返回至客户端。本发明支持短查询和长查询两种不同的请求方式，可以根据业务的紧急程度做不同速度的处理；短查询可以跳过中间系统直接访问数据源并返回结果数据，以达到更快的速度；长查询的结果以较小单位依次返回给请求方达到更高的时效性。