一种分布式数据的处理方法及装置

    公开(公告)号:CN105740295B

    公开(公告)日:2019-06-14

    申请号:CN201410768646.4

    申请日:2014-12-12

    Abstract: 本发明提供一种分布式数据的处理方法及装置,该处理方法包括:将原始数据分别写入多个副本分片中,并为不同的副本分片设置标识不同功能的标签;响应不同的操作请求,根据所述副本分片的标签确定与所述不同的操作请求对应的副本分片,其中所述操作请求至少包括分析数据的操作请求和查询数据的操作请求;读取确定的所述副本分片的数据,并对所述数据进行相应的操作。本发明实施例对同一份原始数据利用不同标签的副本分片进行不同业务数据处理,极大的降低了数据存储的冗余度,提高了数据处理的效率;且由于不同的操作请求分别落在不同的副本分片上,对不同的响应时间要求的数据处理的输入/输出可以进行完全的隔离,保证了性能的隔离。

    一种作业调度的方法及装置

    公开(公告)号:CN105718316A

    公开(公告)日:2016-06-29

    申请号:CN201410720367.0

    申请日:2014-12-01

    Abstract: 本发明提供了一种作业调度的方法及装置,包括:获取作业实体携带的作业实体的优先级信息以及作业实体所需的最小资源数量;根据作业实体的优先级信息,将优先级相同的多个作业实体划分入同一作业队列,得到至少一个作业队列;若每一个作业队列中的作业实体被分配的资源数量小于该作业实体所需的最小资源数量时,获取资源队列中可用的资源,并分配给作业实体。本发明的方案,能够解决多种作业实体并发执行的情况下,实现不同作业实体的服务等级协议保障,包括不同优先级作业实体之间和相同优先级作业实体之间的资源分配。实现了资源共享和有序保障之间的平衡,既保障了每个作业实体的服务等级协议,又提高了整个集群资源的利用率。

    一种分布式数据的处理方法及装置

    公开(公告)号:CN105740295A

    公开(公告)日:2016-07-06

    申请号:CN201410768646.4

    申请日:2014-12-12

    Abstract: 本发明提供一种分布式数据的处理方法及装置,该处理方法包括:将原始数据分别写入多个副本分片中,并为不同的副本分片设置标识不同功能的标签;响应不同的操作请求,根据所述副本分片的标签确定与所述不同的操作请求对应的副本分片,其中所述操作请求至少包括分析数据的操作请求和查询数据的操作请求;读取确定的所述副本分片的数据,并对所述数据进行相应的操作。本发明实施例对同一份原始数据利用不同标签的副本分片进行不同业务数据处理,极大的降低了数据存储的冗余度,提高了数据处理的效率;且由于不同的操作请求分别落在不同的副本分片上,对不同的响应时间要求的数据处理的输入/输出可以进行完全的隔离,保证了性能的隔离。

    一种社交网络分析方法和装置

    公开(公告)号:CN103138981B

    公开(公告)日:2017-03-29

    申请号:CN201110391293.7

    申请日:2011-11-30

    Abstract: 本发明公开了一种社交网络分析方法和装置。其中该方法包括:根据社交网络文件生成针对每个节点的节点信息;控制所述社交网络中所有节点根据相应的节点信息进行遍历,遍历所述社交网络所有节点后,得到所述社交网络的拓扑特征值。本发明通过采用多个节点同时并发的机制,即所有节点都并行推送遍历信息,解决了社交网络中需要多次迭代才能遍历完数据的问题,降低了分析的时间复杂度,提高分析效率。

    聚类实现方法及系统

    公开(公告)号:CN101996198B

    公开(公告)日:2016-06-29

    申请号:CN200910091866.7

    申请日:2009-08-31

    Abstract: 本发明公开了一种聚类实现方法及系统。由主控节点将候选队列中的候选样本进行分片,由至少两个计算节点并行地根据设定的ε邻域和最小密度分别确定出分配的分片样本中的每一个样本是否为核心样本;由于各计算节点并行处理,加快了样本数据库中各样本所属聚类的标记速度。本发明由主控节点对样本数据库中当前未标记样本进行分块,将分块样本分配并下发给至少两个计算节点,由各计算节点并行地对候选队列中的候选样本进行处理,再通过合并节点合并各计算节点的处理结果。由于每个计算节点仅处理部分样本,解决了海量数据无法单机处理的问题,且由于可以由多个计算节点及多个并合节点进行并行处理,大大提高了处理效率。

    一种企业数据云备份系统及方法

    公开(公告)号:CN105677507A

    公开(公告)日:2016-06-15

    申请号:CN201410677954.6

    申请日:2014-11-21

    Inventor: 胡建村 罗治国

    Abstract: 本发明提供一种企业数据云备份系统及方法。该系统包括:云管理平台、备份平台和存储平台;其中云管理平台,根据接收到的备份客户端请求,将备份客户端对应的第一控制指令发送至备份平台,将备份客户端对应的第二控制指令发送至存储平台,建立备份平台和存储平台对应备份客户端的存储挂载路径;其中,第一控制指令包括用户鉴权信息和备份平台策略配置信息;第二控制指令包括用户信息和存储平台策略配置信息;备份平台,根据第一控制指令对备份客户端鉴权,在鉴权通过后获取备份客户端的待备份数据,并将待备份数据根据存储挂载路径发送至存储平台;存储平台,根据存储挂载路径将待存储数据保存至对应存储节点。

    一种词汇分类的方法、系统和实现方法

    公开(公告)号:CN103186612B

    公开(公告)日:2016-04-27

    申请号:CN201110456676.8

    申请日:2011-12-30

    Abstract: 本发明公开了一种词汇分类的方法、系统和实现方法,首先获取文档分类训练集,包括文档及其所属的文档类别信息,对所有文档进行预处理,形成待分类词汇,获取每个待分类词汇在一个文档类别中的TF值和IDF值,并对两者求和得到TF-IDF,除以每个待分类词汇在其文档所属的所有文档类别中的TF-IDF之和,获得的商值作为待分类词汇属于文档类别的概率,生成包括待分类词汇、待分类词汇对应的类别和待分类词汇属于对应类别的概率的词汇分类数据库。采用了本发明的技术方案,能够自动完成词汇分类,而且投入很少,效果更加准确。

    新闻聚合方法及装置
    8.
    发明授权

    公开(公告)号:CN103164427B

    公开(公告)日:2016-03-02

    申请号:CN201110414469.6

    申请日:2011-12-13

    Abstract: 本发明公开了一种新闻聚合方法及装置,该方法包括步骤:确定出热点新闻;当到达规定时间点时,根据热点新闻的新闻关键词,在发布时间位于当前规定时间点对应的时间段内的新闻中,选择出与该热点新闻相关的各新闻;对选择出的各新闻进行文本聚合处理,得到各新闻组;若当前规定时间点为第一个规定时间点,则将得到的各新闻组确认为该热点新闻的新闻事件,否则将得到的各新闻组和该热点新闻在上一规定时间点的新闻事件中的各新闻组进行合并处理,将合并处理后的各新闻组确认为该热点新闻的新闻事件。本发明技术方案解决了现有技术进行新闻聚合时无法将相关新闻聚合在一起进行展现,因此新闻传播性以及用户黏度不高的问题。

    一种任务调度的方法、设备和系统

    公开(公告)号:CN102567086B

    公开(公告)日:2014-05-07

    申请号:CN201010623545.X

    申请日:2010-12-30

    Abstract: 本发明公开了一种任务调度的方法、设备和系统,该方法包括:确定备作业节点的资源信息以及存储任务的各队列对应资源的优先级信息;根据各作业节点的资源信息和各队列对应资源的优先级信息将所述队列中的任务分配到对应的作业节点。本发明实施例中,通过统筹考虑各种类型的作业,根据各作业节点的资源信息将队列中的任务分配到合适的作业节点,以合理调度各种类型的作业。通过统一管理各种类型的作业,不会出现某种类型的作业消耗系统的所有资源导致其他作业堵塞的情况。

    应用产品开发系统、方法、装置和运行系统、方法、装置

    公开(公告)号:CN102375734B

    公开(公告)日:2014-05-07

    申请号:CN201010260985.3

    申请日:2010-08-23

    Abstract: 本发明提供了一种应用产品开发系统、方法、装置和运行系统、方法、装置。该开发系统包括开发套件和能力提供层;所述开发套件,从所述能力提供层获取所述应用产品的能力元数据描述,根据所述能力元数据描述生成所述应用产品的描述性文件;所述能力提供层,提供所述应用产品的能力元数据描述;其中,所述能力元数据描述用于描述所述应用产品的各种能力。应用本发明能够方便应用产品的开发,降低对开发人员的要求,同时提高应用产品的升级灵活性。

Patent Agency Ranking