一种日志信息管理方法及日志抽取服务器

    公开(公告)号:CN105071966B

    公开(公告)日:2018-07-17

    申请号:CN201510487732.2

    申请日:2015-08-10

    Abstract: 本发明提供一种日志信息管理方法及日志抽取服务器,上述方法包括以下步骤:通过以下方案:日志抽取服务器从不同日志源中分别抽取对应类型的日志;所述日志抽取服务器将获取的日志存储至对应的临时文件并从所述临时文件中获取对应的增量日志并对所述增量日志进行存储;避免了日志记录重复,实现了对增量日志存储。

    一种创建索引文件的方法及装置

    公开(公告)号:CN105488124A

    公开(公告)日:2016-04-13

    申请号:CN201510822336.0

    申请日:2015-11-24

    CPC classification number: G06F16/328

    Abstract: 本发明公开了一种创建索引文件的方法及装置,该方法包括:根据数据规模以及业务需求,确定执行索引创建的线程数量;通过所述数据规模以及所述线程数量,确定各个线程分别负责进行索引的数据范围;各个线程分别创建对应数据范围的索引文件;将各个所述线程创建的所述索引文件进行合并,存储于一个索引目录中。本发明所提供的创建索引文件的方法及装置,采用多线程并行创建索引的方式,提高了索引的效率。

    一种更新索引文件的方法及系统

    公开(公告)号:CN105404661A

    公开(公告)日:2016-03-16

    申请号:CN201510745257.4

    申请日:2015-11-05

    CPC classification number: G06F16/313

    Abstract: 本发明公开了一种更新索引文件的方法及系统,该方法包括:获取新词库和索引文件中的历史数据;其中,所述历史数据包括多条索引数据;判断每条所述索引数据是否受所述新词库的影响;利用所述新词库,对受所述新词库影响的索引数据进行重新索引,并将重新索引后的索引数据更新至所述索引文件。本发明是对索引文件中受新词库影响的索引数据进行重新索引,并不是一味地对整个索引文件中的历史数据进行重新索引,以此实现了既能快速将新词库更新至索引文件又不会影响到全文检索系统的正常使用的目的。

    一种基于大数据的伴随车辆识别方法和装置

    公开(公告)号:CN104462236A

    公开(公告)日:2015-03-25

    申请号:CN201410648015.9

    申请日:2014-11-14

    CPC classification number: G06F17/30979

    Abstract: 提出一种基于大数据的伴随车辆识别方法和装置,基于用户输入的目标车辆的车牌号、查询开始时间和结束时间、以及跟车间隔,确定在所述开始时间和结束时间之间所述目标车辆所经过的每一卡口信息和对应的时间点,进而分析并识别所述目标车辆在所述开始时间至结束时间之间经过上述每一卡口时的伴随车辆。所述方法和装置分析占用时间短、识别结果准确,极大地提高了工作效率。

    一种多线程数据上传方法

    公开(公告)号:CN104408147A

    公开(公告)日:2015-03-11

    申请号:CN201410722793.8

    申请日:2014-12-02

    CPC classification number: G06F17/30194

    Abstract: 提出一种多线程数据上传方法,所述方法配置需要上传的文件所在源路径信息、文件需要上传到HDFS系统的目的路径信息以及可以使用的线程数目信息;根据所述需要上传的文件的数据量和配置的所述线程数目信息确定每个线程需要处理的数据范围;基于配置的所述信息和确定的所述数据范围执行多线程并行数据上传。所述方法将一个大的文本文件分为多个文件并行上传到HDFS系统中,从而提高写入速度,大大降低了文件上传的时间。

    一种日志信息管理方法及日志抽取服务器

    公开(公告)号:CN105071966A

    公开(公告)日:2015-11-18

    申请号:CN201510487732.2

    申请日:2015-08-10

    Abstract: 本发明提供一种日志信息管理方法及日志抽取服务器,上述方法包括以下步骤:通过以下方案:日志抽取服务器从不同日志源中分别抽取对应类型的日志;所述日志抽取服务器将获取的日志存储至对应的临时文件并从所述临时文件中获取对应的增量日志并对所述增量日志进行存储;避免了日志记录重复,实现了对增量日志存储。

Patent Agency Ranking