-
公开(公告)号:CN105071966B
公开(公告)日:2018-07-17
申请号:CN201510487732.2
申请日:2015-08-10
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: H04L12/24
Abstract: 本发明提供一种日志信息管理方法及日志抽取服务器,上述方法包括以下步骤:通过以下方案:日志抽取服务器从不同日志源中分别抽取对应类型的日志;所述日志抽取服务器将获取的日志存储至对应的临时文件并从所述临时文件中获取对应的增量日志并对所述增量日志进行存储;避免了日志记录重复,实现了对增量日志存储。
-
公开(公告)号:CN105488124A
公开(公告)日:2016-04-13
申请号:CN201510822336.0
申请日:2015-11-24
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
CPC classification number: G06F16/328
Abstract: 本发明公开了一种创建索引文件的方法及装置,该方法包括:根据数据规模以及业务需求,确定执行索引创建的线程数量;通过所述数据规模以及所述线程数量,确定各个线程分别负责进行索引的数据范围;各个线程分别创建对应数据范围的索引文件;将各个所述线程创建的所述索引文件进行合并,存储于一个索引目录中。本发明所提供的创建索引文件的方法及装置,采用多线程并行创建索引的方式,提高了索引的效率。
-
公开(公告)号:CN105404661A
公开(公告)日:2016-03-16
申请号:CN201510745257.4
申请日:2015-11-05
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
CPC classification number: G06F16/313
Abstract: 本发明公开了一种更新索引文件的方法及系统,该方法包括:获取新词库和索引文件中的历史数据;其中,所述历史数据包括多条索引数据;判断每条所述索引数据是否受所述新词库的影响;利用所述新词库,对受所述新词库影响的索引数据进行重新索引,并将重新索引后的索引数据更新至所述索引文件。本发明是对索引文件中受新词库影响的索引数据进行重新索引,并不是一味地对整个索引文件中的历史数据进行重新索引,以此实现了既能快速将新词库更新至索引文件又不会影响到全文检索系统的正常使用的目的。
-
公开(公告)号:CN104462236A
公开(公告)日:2015-03-25
申请号:CN201410648015.9
申请日:2014-11-14
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
CPC classification number: G06F17/30979
Abstract: 提出一种基于大数据的伴随车辆识别方法和装置,基于用户输入的目标车辆的车牌号、查询开始时间和结束时间、以及跟车间隔,确定在所述开始时间和结束时间之间所述目标车辆所经过的每一卡口信息和对应的时间点,进而分析并识别所述目标车辆在所述开始时间至结束时间之间经过上述每一卡口时的伴随车辆。所述方法和装置分析占用时间短、识别结果准确,极大地提高了工作效率。
-
公开(公告)号:CN104504158A
公开(公告)日:2015-04-08
申请号:CN201510026026.8
申请日:2015-01-19
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
CPC classification number: G06F16/1847 , G06F16/24552
Abstract: 提出一种快速更新业务的内存缓存的方法和装置,基于读取的外部数据的缓存查找键值在内存缓存中进行查找,如果在所述内存缓存中查找到所述缓存查找键值,则根据内存缓存中存储的与所述缓存查找键值对应的原始数据和所述外部数据进行业务处理,处理完成后把结果更新至所述内存缓存中存储所述原始数据的位置,并将该位置对应的修改标记置为已修改。所述方法和装置减少了数据快速更新时数据库频繁地提交事务进行查询和更新的操作。
-
公开(公告)号:CN104516985A
公开(公告)日:2015-04-15
申请号:CN201510020951.X
申请日:2015-01-15
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
CPC classification number: G06F16/221 , G06F16/211 , G06F16/215 , G06F16/2282 , G06F16/27
Abstract: 提出一种基于HBase的海量数据快速导入方法,基于HBase数据库中表的格式,对数据源中的数据进行拆分;基于数据源中数据量的大小和HBase数据库中行键的设计,在建立所述表的时候进行预分区;设置HBase数据库的预写日志系统,关闭自动提交功能,设置缓存大小;启用多线程,将所述数据导入HBase数据库的表中。所述方法不需要对数据源进行预处理,方便操作,提高了效率。
-
公开(公告)号:CN104408147A
公开(公告)日:2015-03-11
申请号:CN201410722793.8
申请日:2014-12-02
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
CPC classification number: G06F17/30194
Abstract: 提出一种多线程数据上传方法,所述方法配置需要上传的文件所在源路径信息、文件需要上传到HDFS系统的目的路径信息以及可以使用的线程数目信息;根据所述需要上传的文件的数据量和配置的所述线程数目信息确定每个线程需要处理的数据范围;基于配置的所述信息和确定的所述数据范围执行多线程并行数据上传。所述方法将一个大的文本文件分为多个文件并行上传到HDFS系统中,从而提高写入速度,大大降低了文件上传的时间。
-
公开(公告)号:CN105071966A
公开(公告)日:2015-11-18
申请号:CN201510487732.2
申请日:2015-08-10
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: H04L12/24
Abstract: 本发明提供一种日志信息管理方法及日志抽取服务器,上述方法包括以下步骤:通过以下方案:日志抽取服务器从不同日志源中分别抽取对应类型的日志;所述日志抽取服务器将获取的日志存储至对应的临时文件并从所述临时文件中获取对应的增量日志并对所述增量日志进行存储;避免了日志记录重复,实现了对增量日志存储。
-
公开(公告)号:CN104361091A
公开(公告)日:2015-02-18
申请号:CN201410658038.8
申请日:2014-11-18
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
CPC classification number: G06F17/30557
Abstract: 提出一种大数据系统,所述系统包括大数据基础平台、共享资源库、可视化编辑与展示子系统、以及流程调度子系统。所述系统综合现有各种大数据处理系统,基于用户编辑生成的数据处理流程调度程序资源和数据资源提交特定的大数据处理系统执行数据处理,极大降低了大数据系统的使用门槛,并且使组织内部大数据相关资源能方便共享,数据处理流程可复用可继承。
-
-
-
-
-
-
-
-