数据处理方法及装置
    31.
    发明授权

    公开(公告)号:CN103218176B

    公开(公告)日:2016-02-24

    申请号:CN201310113197.5

    申请日:2013-04-02

    Abstract: 本发明涉及一种数据处理方法及装置。其中,数据处理方法包括:创建共享内存环,所述共享内存环为存储待操作数据的环形结构空间;在对共享内存环中下一个操作目的单元进行操作前,将所述下一个操作目的单元的操作标志位设置为对应下一个操作的操作类型;判断所述下一个操作目的单元是否能够进行所述下一个操作;根据判断结果对所述下一个操作目的单元中的数据进行处理。本发明的数据处理方法及装置,设计了一种共享内存中的环形数据结构,结合生产者和消费者的数据协调规则和共享内存环覆写机制,基于原子位操作对环的控制标识位进行更新,提高了数据并行处理场景下共享资源的数据读写效率,减小数据同步的开销,从而解决了共享资源读写效率低、同步开销大的问题。

    一种面向应用场景的国产化系统评估方法

    公开(公告)号:CN116069618A

    公开(公告)日:2023-05-05

    申请号:CN202211447427.7

    申请日:2022-11-18

    Abstract: 本发明公开了一种面向应用场景的国产化系统评估方法。本方法为:1)构建针对应用系统的通用业务架构,包括:流量处理业务模块、数据转发业务模块、数据处理业务模块、数据存储业务模块、虚拟化平台业务模块、云平台业务模块;2)选取一业务系统并将其划分为多个业务模块;业务系统部署于多个服务器,每台服务器上均运行国产化操作系统,所述国产化操作系统中运行至少一个业务模块;3)通用业务架构中的每一模块分别获取各所述服务器的国产化操作系统中运行所述业务模块时的指标值;4)根据每一业务模块的指标值与对应业务模块的指标阈值进行比较,根据各指标值的比较结果得到一综合评估值,根据综合评估值确定国产化操作系统的评估结果。

    一种网络公害文本识别方法及装置

    公开(公告)号:CN115617962A

    公开(公告)日:2023-01-17

    申请号:CN202110806921.7

    申请日:2021-07-16

    Abstract: 本发明提供一种网络公害文本识别方法及装置,包括:通过提取目标网络文本中的网址链接,对目标网络文本进行初步判定;若无法判定,则计算无效信息度,并生成目标网络文本的拼音列表、关键词列表、及关键词拼音列表;通过各关键词的字元素在目标网络文本中的分布及关键词拼音在目标网络文本拼音列表中的分布,计算各关键词的网络公害分;基于无效信息度对网络公害分进行修订,并根据修订结果,得到网络公害文本识别结果。本发明通过网络公害关键词字符和拼音的模糊匹配,可以准确识别出网络公害文本,同时可以有效应对目标文本中网络公害词被分割、倒序、文字竖排、谐音字等信息隐藏手段。

    一种基于文件粒度的海量数据存储方法

    公开(公告)号:CN104657459B

    公开(公告)日:2018-02-16

    申请号:CN201510066822.4

    申请日:2015-02-09

    Abstract: 本发明公开了一种基于文件粒度的海量数据存储方法。本方法为:1)将数据存储集群划分为多个分区,每一分区具有一分区值;2)对每一部门的记录创建一业务数据表,并设置每一业务数据表中记录的分区规则;3)对于待存储业务数据的每一记录,根据其编号和分区规则将其存储到对应分区的文件中并创建索引文件;然后将该记录的编号、所在文件的路径、所属存储节点编号、存储设备编号存储到元数据文件中。进一步的,本发明创建设定业务数据表之间的视图,根据所述元数据文件,将属于同一业务场景的业务数据表、视图、记录所在分区、索引信息划入到同一数据库中,得到一海量元数据管理模型。本发明既提高了数据管理精度,又提高数据划分、组织灵活性。

    一种基于文件粒度的海量数据存储方法

    公开(公告)号:CN104657459A

    公开(公告)日:2015-05-27

    申请号:CN201510066822.4

    申请日:2015-02-09

    CPC classification number: G06F17/30091 G06F17/30082 G06F17/30194

    Abstract: 本发明公开了一种基于文件粒度的海量数据存储方法。本方法为:1)将数据存储集群划分为多个分区,每一分区具有一分区值;2)对每一部门的记录创建一业务数据表,并设置每一业务数据表中记录的分区规则;3)对于待存储业务数据的每一记录,根据其编号和分区规则将其存储到对应分区的文件中并创建索引文件;然后将该记录的编号、所在文件的路径、所属存储节点编号、存储设备编号存储到元数据文件中。进一步的,本发明创建设定业务数据表之间的视图,根据所述元数据文件,将属于同一业务场景的业务数据表、视图、记录所在分区、索引信息划入到同一数据库中,得到一海量元数据管理模型。本发明既提高了数据管理精度,又提高数据划分、组织灵活性。

    一种大数据多区间查询条件下的基数估计方法及装置

    公开(公告)号:CN103544258A

    公开(公告)日:2014-01-29

    申请号:CN201310484503.6

    申请日:2013-10-16

    CPC classification number: G06F17/30864

    Abstract: 本发明涉及一种大数据多区间查询条件下的基数估计方法及装置,包括以下步骤:按照数值属性对大数据预先划分成多个分区;建立树形索引结构,每个分区作为树形索引结构的一个节点;获取待写入树形索引结构的数据源,对支持区间查询条件的数据源进行倒排索引处理;将经过倒排索引处理的数据源写入树形索引结构中的节点内,将数据源的相应部分分别写入数据文件及基数估算器内;根据区间查询条件在树形索引结构中查询满足区间查询条件的节点,得到节点中的基数估算器,对基数估算器进行逻辑处理,得到基数估算值。本发明通过降低数据的计算精度提高基数统计效率,在任意多区间查询条件下,具备较高的查询效率,使用了大数据增量更新技术提高索引数据在线更新效率。

    网络设备监控方法及系统
    40.
    发明公开

    公开(公告)号:CN103516555A

    公开(公告)日:2014-01-15

    申请号:CN201310503387.8

    申请日:2013-10-23

    Abstract: 本发明涉及一种网络设备监控方法及系统。网络设备监控方法包括:按照网络设备的类型为网络设备创建设备模型文件,设备模型文件中指明网络设备对各监控项目所承载的协议,协议包括SNMP协议和/或Telnet协议,若为SNMP协议,则设备模型文件中还指明该监控项目对应的对象标识符OID,若为Telnet协议,则设备模型文件中还指明该监控项目对应的命令语句和结果解析语法;添加被监控网络设备,并为被监控网络设备选择监控项目;读取被监控网络设备的设备模型文件,获取为该被监控网络设备所选择的监控项目所承载的协议及该协议对应的相关信息;根据选择的监控项目及其所承载的协议对被监控网络设备进行监控。本发明的网络设备监控方法及系统具有高扩展性和高兼容性。

Patent Agency Ranking