新闻稿件话题聚类的方法和系统

    公开(公告)号:CN108255978A

    公开(公告)日:2018-07-06

    申请号:CN201711452903.3

    申请日:2017-12-28

    Abstract: 本发明公开了一种新闻稿件话题聚类的方法和系统,该方法包括:抽取历史新闻稿件;抽取实时新闻稿件;对历史新闻稿件进行分析处理,形成历史新闻稿件的话题层次树;根据实时新闻稿件与话题层次树中的话题的相似度,将实时新闻稿件添加到话题层次树中。本发明的上述技术方案能够实现对新闻稿件的全量话题聚类效果,在此实现过程中可利用大数据的分析处理技术,从而具有良好的聚类效果和应用效果。

    大数据的处理方法和系统
    12.
    发明公开

    公开(公告)号:CN105677710A

    公开(公告)日:2016-06-15

    申请号:CN201511001368.0

    申请日:2015-12-28

    CPC classification number: G06F16/214 G06F16/258

    Abstract: 本发明公开了一种大数据的处理方法和系统,该方法包括:从多个数据源抽取大数据,并对大数据进行规则转换;对进行规则转换后的大数据进行数据处理;根据数据处理后的大数据建立数据库。本发明通过从多源异构数据中分析出各类信息并构建数据库,从而为各类数据分析、行为分析、用户画像分析、关系发现提供数据支撑。

    基于Storm的流处理方法及系统

    公开(公告)号:CN105574082A

    公开(公告)日:2016-05-11

    申请号:CN201510896623.6

    申请日:2015-12-08

    CPC classification number: G06F16/24568 G06F2216/03

    Abstract: 本发明提供了一种基于Storm的流处理方法及系统,属于数据处理技术领域。方法包括:提取数据;获取配置文件,解析配置文件中的拓扑参数,拓扑参数用于构建拓扑作业;根据拓扑参数、数据构建拓扑作业;将拓扑作业进行Storm流处理。系统包括:数据接入通用模块,用于提取数据;配置文件解析模块,用于获取配置文件,解析配置文件中的拓扑参数;Storm流处理模块,用于根据拓扑参数、数据库构建拓扑作业,将拓扑作业提交至Storm集群进行流处理。本发明提供的基于Storm的流处理系统,可自动获取用户存储的数据及用户提供的配置文件,生成拓扑作业提交至Storm集群进行流处理,实现整个流处理框架中的通用组件及作业配置组装,简化、加速流处理作业开发过程。

    一种警务大数据处理系统
    14.
    发明公开

    公开(公告)号:CN105468741A

    公开(公告)日:2016-04-06

    申请号:CN201510828070.0

    申请日:2015-11-25

    CPC classification number: G06F16/254 G06F16/2462

    Abstract: 本申请实施例提出了一种警务大数据处理系统,用以提升警务系统工作的效率。该系统包括:数据准备模块,用于对从数据源获得的警务相关数据进行处理,使其符合数据存储模块的存储要求;数据存储模块,用于存储所述数据准备模块处理后的警务相关数据;数据计算模块,采用SPARK计算系统,用于对所述数据存储模块存储的警务相关数据进行各种场景计算;数据应用模块,用于人机应用接口。在本发明实施例中,其核心是通过Spark做为高效的内存分布式计算技术极大的提高了大数据的处理速度,一栈式的解决方案减少了多系统之间数据转换的成本,和多系统的学习以及维护成本,也由于无缝的融合提高了效率。

    一种异构集群操作系统半自动批量部署的方法

    公开(公告)号:CN102497408B

    公开(公告)日:2015-08-19

    申请号:CN201110404908.5

    申请日:2011-12-08

    Abstract: 本发明提供了一种异构集群操作系统半自动批量部署的方法,S102,在异构集群内的分中心设置一个样板机,用于镜像服务器获取镜像;S104,在异构集群内的分中心设置一个光盘镜像服务器,用于提供光盘镜像安装服务;S106,在异构集群内的分中心设置一个镜像服务器,用于提供文件系统镜像安装服务;S108,分中心的镜像服务器从样板机获取文件系统镜像,待安装节点自动从镜像服务器下载获取到的文件系统镜像,并进行自动安装;S110,在中心设置中心镜像服务器,用于负责各个异构分中心集群的操作系统镜像注册、查询、索引工作。在本发明的技术方案中,除了用户在开始需要人工选择服务器安装镜像列表,其它过程全部自动化实现。极大提高了服务器操作系统部署的速度。

    一种动态可扩展的web界面的方法

    公开(公告)号:CN102495730B

    公开(公告)日:2014-07-02

    申请号:CN201110397363.X

    申请日:2011-12-02

    Abstract: 本发明提供了一种动态可扩展的web界面的方法,所述方法依据模块化思想,将软件架构划分为模块和核心平台;将需动态加载的web元素,javascript文件、css文件、多语化文件定义为扩展点,定义系统内部的扩展点机制,当模块安装扩展点规范进行设计编码,核心平台即可将模块中的扩展点元素进行统一的管理,并集中加载到web页面。本发明实现了web界面的模块化开发架构,在线动态可扩展的软件架构以及软件层面对web界面的即插即用热插拔机制。

    一种管理不同类型文件系统的方法

    公开(公告)号:CN102375894B

    公开(公告)日:2013-08-28

    申请号:CN201110396877.3

    申请日:2011-12-02

    Abstract: 本发明提供了一种管理不同类型文件系统的方法,根据文件系统的管理需求,定义出统一的文件系统的管理接口,为每种文件系统开发对应的管理功能实现模块,并以服务的形式注册到管理中间件;管理员登录管理界面,对文件系统进行管理操作时,通过管理接口从管理中间件获取相应的服务,实现管理命令。本发明实现了对各种并行文件系统进行统一管理的架构与方法,可以通过使用该软件同时管理多种多套并行文件系统;为用户提供统一的交互接口,支持对不同厂商并行文件系统的统一管理方法;提供了基于浏览器的管理功能,降低了通过CLI命令行进行管理的难度和复杂度。

    一种大规模服务器的硬件测试分析方法

    公开(公告)号:CN102497293A

    公开(公告)日:2012-06-13

    申请号:CN201110404894.7

    申请日:2011-12-08

    Abstract: 本发明提供了一种大规模服务器的硬件测试分析方法,S102,设置一个中心节点,中心节点提供待测试服务器操作系统安装服务和硬件老化测试程序下载服务;S104,待检测服务器节点自动进行老化测试过程;S106,待检测服务器自动上传测试及老化结果,中心节点对待老检测服务器进行老化过程的监控,并对老化结果进行分析、展现及保存。在本发明的技术方案中,除了用户在开始需要在待测试服务器输入该服务器唯一标识号,其它过程全部自动化实现。极大提高了服务器测试效率和生产效率,并且提交问题单具有人工记录无法比拟的准确性和历史可追溯性。

    一种基于web的并行文件管理系统

    公开(公告)号:CN102436501A

    公开(公告)日:2012-05-02

    申请号:CN201110396878.8

    申请日:2011-12-02

    Abstract: 本发明提供了一种基于web的并行文件管理系统,所述系统包括管理节点和文件系统节点,用户通过web浏览器登陆管理服务器web页面后,进行系统部署和配置操作,所述管理节点将根据管理操作在的文件系统节点上进行操作,在文件系统节点上会启动相应的后台进程或服务供管理节点调用。本发明实现了基于web的对并行文件系统的自动安装部署功能,简化部署操作流程,降低了大规模并行文件系统的部署复杂度;实现了基于web的并行文件系统配置功能,降低了大规模并行文件系统的配置复杂度;提供统一的集群操作接口,隔离集群中单个节点管理的复杂性,让管理员能够通过一个统一的管理界面来管理整个并行文件系统,达到降低管理成本,提高效率的目的。

Patent Agency Ranking