-
公开(公告)号:CN116108101A
公开(公告)日:2023-05-12
申请号:CN202111319629.9
申请日:2021-11-09
Applicant: 中国科学院信息工程研究所
Abstract: 本发明公开了一种多源异构数据智能分拣方法及装置,包括提取数据源中的目标数据;利用设置数据接入分拣路由规则的智能路由器,将目标数据分配至相应的数据闸机通道,并利用数据闸机通道中设定的预处理规则对目标数据进行预处理;利用设置数据分发分拣的智能路由器,将预处理后的目标数据分发至下游业务。本发明实现对多源、异构数据的统一规范化的接入、汇聚与分发处理,提升数据处理的自动化程度、易用性、适用性及可扩展性,降低人工操作错误率,从而提高了数据处理效率和数据质量。
-
公开(公告)号:CN107566493A
公开(公告)日:2018-01-09
申请号:CN201710795303.0
申请日:2017-09-06
Applicant: 中国科学院信息工程研究所
Abstract: 本发明涉及一种面向复杂用户需求的代理节点创建方法、代理服务方法和系统。首先将不同类型的代理软件分别封装于基础镜像中,基于所述基础镜像在物理主机或虚拟机中建立用于提供代理服务的代理节点,形成代理资源;然后解析用户的需求,根据用户的需求采用调度策略对代理资源进行管理和调度,从而提供满足用户需求的低能耗代理服务。该系统包括云化代理平台、管理控制中心和用户服务中心。本发明通过自建代理资源解决了现有的代理资源有效率低和稳定性差的问题,通过代理资源的统一管理和调度提高了代理资源的使用效率,降低了代理系统中能源的整体消耗,可以有效提高用户使用代理的效率和改善用户的服务质量。
-
公开(公告)号:CN111367991B
公开(公告)日:2024-03-12
申请号:CN201811589761.X
申请日:2018-12-25
Applicant: 中国科学院信息工程研究所
Abstract: 本发明提出一种基于消息队列的MongoDB数据实时同步方法及系统,旨在实现从MongoDB到目标系统ElasticSearch的实时数据同步,并解决原来的同步工具在数据同步过程中同步速率慢和由于MongoDB快速写入情况而引发的同步数据丢失的问题,保证了从MongoDB到ElasticSearch的快速、准确、可靠的数据同步。
-
公开(公告)号:CN109756501B
公开(公告)日:2020-05-22
申请号:CN201910032097.7
申请日:2019-01-14
Applicant: 中国科学院信息工程研究所
Abstract: 本发明提供一种基于HTTP协议的高隐匿网络代理方法及系统,设计并实现一套提升代理效率和隐匿性的代理通信方案,解决现有代理应用中的并发能力弱、流量易被识别等问题。通过隧道技术实现基于应用层协议的数据隐匿传输,以提高代理流量的隐蔽性。同时对负载数据进行拆分,隐匿原始数据的特征,达到抗流量分析的目的。通过异步传输框架保证代理系统在高并发访问下的通信质量,提升用户的使用体验。
-
公开(公告)号:CN114547165A
公开(公告)日:2022-05-27
申请号:CN202210060268.9
申请日:2022-01-19
Applicant: 中国科学院信息工程研究所
Abstract: 本发明公开了一种数据标准化智能处理方法及装置。该方法包括:创建初始消息队列;创建结果消息队列;根据初始数据处理策略,从数据仓库中获取、组织待处理的数据,推送到消息总线;对消息总线中的消息进行解析、执行标准化处理,根据结果数据处理策略把结果写回消息总线;对消息总线中的结果消息进行解析并更新到数据仓库。本发明由用户通过配置数据标准化知识库实现实例化和个性化定制,采用消息总线解耦数据源和数据标准化处理功能,具备很好的适应性和可扩展性。本发明实现对多来源、内容格式不一致的数据的统一规范化处理,形成标准化数据,提升数据标准化处理的智能化和自动化程度,降低人工操作错误率,从而提高了数据处理效率和数据质量。
-
公开(公告)号:CN107566493B
公开(公告)日:2020-05-22
申请号:CN201710795303.0
申请日:2017-09-06
Applicant: 中国科学院信息工程研究所
Abstract: 本发明涉及一种面向复杂用户需求的代理节点创建方法、代理服务方法和系统。首先将不同类型的代理软件分别封装于基础镜像中,基于所述基础镜像在物理主机或虚拟机中建立用于提供代理服务的代理节点,形成代理资源;然后解析用户的需求,根据用户的需求采用调度策略对代理资源进行管理和调度,从而提供满足用户需求的低能耗代理服务。该系统包括云化代理平台、管理控制中心和用户服务中心。本发明通过自建代理资源解决了现有的代理资源有效率低和稳定性差的问题,通过代理资源的统一管理和调度提高了代理资源的使用效率,降低了代理系统中能源的整体消耗,可以有效提高用户使用代理的效率和改善用户的服务质量。
-
公开(公告)号:CN108833197A
公开(公告)日:2018-11-16
申请号:CN201810316947.1
申请日:2018-04-10
Applicant: 中国科学院信息工程研究所
Abstract: 本发明涉及一种基于云的主动探测方法和探测平台。该基于云的主动探测方法在探测节点中基于Docker容器构建对网络进行主动探测的探针,将针对特定探测目标的探测程序封装成Docker镜像;然后根据探测任务的配置需求,探测节点利用Docker容器中运行的探测程序对网络层、传输层、应用层进行主动探测。该基于云的主动探测平台包括节点管理模块、镜像管理模块、任务管理模块、容器管理模块、任务调度模块、用户访问界面。本发明能够支持网络层、传输层、应用层的探测,提供了API接口和Web用户界面两种访问方式,支持探测任务方便快捷地部署和维护,适用于网络数据采集、网络拓扑测量等多种应用场景。
-
公开(公告)号:CN108833197B
公开(公告)日:2020-10-16
申请号:CN201810316947.1
申请日:2018-04-10
Applicant: 中国科学院信息工程研究所
Abstract: 本发明涉及一种基于云的主动探测方法和探测平台。该基于云的主动探测方法在探测节点中基于Docker容器构建对网络进行主动探测的探针,将针对特定探测目标的探测程序封装成Docker镜像;然后根据探测任务的配置需求,探测节点利用Docker容器中运行的探测程序对网络层、传输层、应用层进行主动探测。该基于云的主动探测平台包括节点管理模块、镜像管理模块、任务管理模块、容器管理模块、任务调度模块、用户访问界面。本发明能够支持网络层、传输层、应用层的探测,提供了API接口和Web用户界面两种访问方式,支持探测任务方便快捷地部署和维护,适用于网络数据采集、网络拓扑测量等多种应用场景。
-
公开(公告)号:CN111367991A
公开(公告)日:2020-07-03
申请号:CN201811589761.X
申请日:2018-12-25
Applicant: 中国科学院信息工程研究所
Abstract: 本发明提出一种基于消息队列的MongoDB数据实时同步方法及系统,旨在实现从MongoDB到目标系统ElasticSearch的实时数据同步,并解决原来的同步工具在数据同步过程中同步速率慢和由于MongoDB快速写入情况而引发的同步数据丢失的问题,保证了从MongoDB到ElasticSearch的快速、准确、可靠的数据同步。
-
公开(公告)号:CN109756501A
公开(公告)日:2019-05-14
申请号:CN201910032097.7
申请日:2019-01-14
Applicant: 中国科学院信息工程研究所
Abstract: 本发明提供一种基于HTTP协议的高隐匿网络代理方法及系统,设计并实现一套提升代理效率和隐匿性的代理通信方案,解决现有代理应用中的并发能力弱、流量易被识别等问题。通过隧道技术实现基于应用层协议的数据隐匿传输,以提高代理流量的隐蔽性。同时对负载数据进行拆分,隐匿原始数据的特征,达到抗流量分析的目的。通过异步传输框架保证代理系统在高并发访问下的通信质量,提升用户的使用体验。
-
-
-
-
-
-
-
-
-