一种网络爬虫识别系统及方法

    公开(公告)号:CN102495861A

    公开(公告)日:2012-06-13

    申请号:CN201110378160.6

    申请日:2011-11-24

    Abstract: 本发明涉及一种网络爬虫识别系统及方法,其特征在于,包括:缓冲模块,用于保存进入系统的请求,在系统开始运行时,所述请求发送至训练模块,在训练时间结束,该请求发送至识别模块;训练模块,用于将所述请求进行训练以及学习相应的请求,进行可疑度运算;识别模块,用于分析提交至识别模块的请求,识别爬虫,记录其源地址,依据源地址进行过滤,对来自爬虫地址的数据进行丢弃;转发模块,用于转发训练模块以及识别模块允许通过的请求。

    磁盘设备的持续数据保护方法和系统

    公开(公告)号:CN101464820B

    公开(公告)日:2012-02-01

    申请号:CN200910077029.9

    申请日:2009-01-16

    Abstract: 本发明涉及磁盘设备的持续数据保护方法和系统。该系统包括控制装置,用于向数据获取装置和/或存储管理装置下发指令,以实现对该持续数据保护系统进行管理和控制;数据获取装置,用于获取数据并生成历史操作信息存放到存储装置;磁盘监控装置,用于监控和截获磁盘I/O操作,并生成历史操作信息存放到存储装置;存储装置,该存储装置包含分层次的多个磁盘设备;存储装置,用于存储数据以及磁盘历史操作信息;存储管理装置,用于管理存储装置上存储的数据。本发明有效解决了历史操作信息数据量巨大所导致的持续数据保护系统实用性较差的问题,能够增加持续数据保护技术的通用性和实用性,降低系统的应用难度,增加系统的应用范围。

    用于海量数据管理的数据处理方法和系统

    公开(公告)号:CN102332004A

    公开(公告)日:2012-01-25

    申请号:CN201110217035.7

    申请日:2011-07-29

    Abstract: 本发明涉及一种用于海量数据管理的数据处理方法和系统。该方法包括:设置多个数据加载装置的步骤、设置元数据管理装置的步骤、在所述数据存储服务器上设置数据管理服务装置的步骤。该系统包括:多个数据加载装置、元数据管理装置、数据存储服务器。该方法和系统提高了海量数据的处理效率,降低了针对海量数据处理的复杂性,从而实现提高海量数据检索与挖掘的效率。

    一种数据流中Top-k项的挖掘方法及系统

    公开(公告)号:CN101419630B

    公开(公告)日:2011-03-23

    申请号:CN200810239188.X

    申请日:2008-12-11

    Abstract: 本发明涉及一种数据流中Top-k项的挖掘方法和系统,方法包括:步骤1,初始化平衡二叉树,所述平衡二叉树的节点用于存储数据流中数据项的信息,所述信息包括所述数据项对应的时间戳和计数器的值;步骤2,将数据流中的数据项的信息存储到所述平衡二叉树节点中,所述节点在平衡二叉树中的位置依据排序规则,所述排序规则以所述数据项对应的时间戳和计数器的值为参数;步骤3,按用户需求遍历所述平衡二叉树,输出Top-k项的统计结果。本发明能够降低了最差处理时间,降低了存储空间,提高了挖掘的准确性。

    一种备份数据的管理系统和方法

    公开(公告)号:CN101604269B

    公开(公告)日:2011-02-16

    申请号:CN200910089060.4

    申请日:2009-07-22

    Abstract: 本发明提供一种备份数据的管理系统和方法,包括:备份业务处理装置接收来自备份客户端的备份命令、备份数据和备份数据索引;备份索引管理装置接收所述备份数据索引并将其转发给所述存储装置,并且用于定时或者实时地接收来自存储装置的备份索引集,建立并更新层次分段式的备份索引表;备份数据管理装置接收备份数据并将其转发给存储装置;存储装置用于所述备份数据索引和备份数据,根据该备份数据索引和备份数据本地存储的地址及备份数据大小建立备份索引集。本发明能够有效平衡存储开销和时间开销,利用有限的存储空间实现备份数据的高效组织,支持对备份数据的高效定位和访问,能够有效地提高备份数据的恢复效率,提高恢复速度。

    一种安全事件源集成系统及其实现方法

    公开(公告)号:CN101719914A

    公开(公告)日:2010-06-02

    申请号:CN200910237325.0

    申请日:2009-11-10

    Abstract: 本发明提供一种安全事件源集成系统及其实现方法,该系统包括:代理图表模型,其包括代理,所述代理至少包括源代理、转换代理和递交代理,其中所述源代理用于将来自安全事件源的数据存储在安全事件变量中,所述转换代理用于接收所述安全事件变量并进行转换处理,所述递交代理用于接收所述转换处理后的安全事件变量并传递到指定的集成库,所述代理通过接口相连;代理图表配置库,用于存储配置信息;代理图表管理器,用于根据所述配置信息生成并初始化所述代理图表模型的所述代理,并且启动源代理。该系统能够具有可配置、可扩展、可插拔及自适应等良好特性。

    网络可用性指数定量计算方法及系统

    公开(公告)号:CN101714929A

    公开(公告)日:2010-05-26

    申请号:CN200910238412.8

    申请日:2009-11-19

    Abstract: 本发明提供一种网络可用性指数定量计算方法,包括:在待监测网络中选择一定数量的路由器节点作为数据的采集点,并设置用于采集数据的基期和报告期;在基期内,在各个数据采集点上做基于流的数据采集,得到包含有包数、字节数在内的流记录;根据各个数据采集点上获取的流记录进行字节数、包数和流数的累加统计,在达到指定的统计持续时间后,根据统计结果计算带宽空闲率指标、服务空闲率指标和网络节点数指标,存储所得到的上述指标;在报告期内,重复上述步骤的操作,得到报告期内待监测网络的带宽空闲率指标、服务空闲率指标和网络节点数指标;由报告期内和基期内的前述指标,得到用于表示网络可用性的网络可用性指数。

    一种备份数据的管理系统和方法

    公开(公告)号:CN101604269A

    公开(公告)日:2009-12-16

    申请号:CN200910089060.4

    申请日:2009-07-22

    Abstract: 本发明提供一种备份数据的管理系统和方法,包括:备份业务处理装置接收来自备份客户端的备份命令、备份数据和备份数据索引;备份索引管理装置接收所述备份数据索引并将其转发给所述存储装置,并且用于定时或者实时地接收来自存储装置的备份索引集,建立并更新层次分段式的备份索引表;备份数据管理装置接收备份数据并将其转发给存储装置;存储装置用于所述备份数据索引和备份数据,根据该备份数据索引和备份数据本地存储的地址及备份数据大小建立备份索引集。本发明能够有效平衡存储开销和时间开销,利用有限的存储空间实现备份数据的高效组织,支持对备份数据的高效定位和访问,能够有效地提高备份数据的恢复效率,提高恢复速度。

Patent Agency Ranking