一种多数据中心的HDFS数据读写方法

    公开(公告)号:CN104113597B

    公开(公告)日:2016-06-08

    申请号:CN201410344218.9

    申请日:2014-07-18

    Abstract: 本发明提供一种多数据中心的HDFS数据读写系统及方法,其特征在于,建立全局元数据服务器,用于存储和管理全局的元数据信息,并负责接收客户端数据读写访问请求,根据预设调度算法选择HDFS数据中心;客户端与所选数据中心进行交互进行数据读写操作,操作完成后,数据中心的元数据节点再将元数据的变化信息同步至全局元数据服务器。本发明所述系统及方法实现了多HDFS数据中心的数据读写访问,提供统一的数据访问接口,有效实现了多HDFS数据中心的资源和数据共享。

    基于P2P构架的MapReduce任务跨数据中心调度系统及方法

    公开(公告)号:CN104112049B

    公开(公告)日:2015-11-11

    申请号:CN201410344229.7

    申请日:2014-07-18

    Abstract: 本发明公开了一种基于P2P架构MapReduce任务跨数据中心的调度系统,其特征在于,各数据中心的资源管理器均包含一个P2P代理模块Proxyer,用于各数据中心之间建立P2P对等架构的联邦式任务调度机制;客户端通过Submitter提交MapReduce任务请求,并选择确定本次任务的主数据中心资源管理器,主资源管理器根据任务请求和各数据中心忙闲状态向其它数据中心的资源管理器进行任务分派。本发明所述系统及方法实现了MapReduce任务的跨数据中心调度,为跨数据中心的MapReduce任务提供统一入口,有效实现了各数据中心的数据和计算资源共享。

    基于主从架构的MapReduce任务跨数据中心调度系统及方法

    公开(公告)号:CN104123182B

    公开(公告)日:2015-09-30

    申请号:CN201410344242.2

    申请日:2014-07-18

    Abstract: 本发明提供一种基于主从架构的MapReduce任务跨数据中心调度系统及方法,其特征在于,建立MapReduce任务全局任务调度中心,负责管理各数据中心的资源管理器,接收客户端Client提交的MapReduce任务请求,根据预设调度算法选择满足要求的数据中心;各数据中心的资源管理器定时将本中心的状态和任务执行信息同步至全局任务调度中心。本发明所述系统及方法实现了MapReduce任务的跨数据中心调度,为跨数据中心的MapReduce任务提供统一入口,有效实现了各数据中心的数据和计算资源共享。

    一种基于HBase的更新增量索引的方法

    公开(公告)号:CN103778219B

    公开(公告)日:2015-03-04

    申请号:CN201410025773.5

    申请日:2014-01-20

    Abstract: 本发明公开了一种基于HBase的更新增量索引的方法,包括以下步骤:通过待更新文档D的标识符,从HBase索引库中获取待更新文档D的历史内容C0;解析历史内容C0,获取其全部术语的前置表FT0;解析待更新文档D的当前内容C1,获取其全部术语的前置表FT1;遍历前置表FT1,对FT1中每个术语t,结合FT0进行判断,修改前置表FT1和FT0的内容,将需要删除的术语保留在前置表FT0中,将需要增加或更新的术语保留在FT1中;将FT0中的所有术语t从HBase索引库中删除;将FT1中的所有术语提交到HBase索引库进行更新;将待更新文档D的内容替换为C1,完成待更新文档的索引更新。

    基于领域知识地图社区结构的文档主题划分方法

    公开(公告)号:CN103412878A

    公开(公告)日:2013-11-27

    申请号:CN201310299047.8

    申请日:2013-07-16

    Abstract: 本发明公开了一种基于领域知识地图社区结构的文档主题划分方法,主要解决与学科或领域知识相关的文档资源的划分问题,以便于将主题相关的文档存储在相近的逻辑位置,提高学习效率。其特征在于:提出了基于Fast Geedy算法和GN算法的层次社区发现算法构建主题结构树;特征提取过程将知识单元直接作为特征向量,由于知识单元具有语义完整性,相对于传统的基于分词的方法更能够体现特征向量的主题特性;计算特征向量值的过程提出度中心度和知识单元文档频相结合的方法,其中度中心度的概念反映了知识单元在知识地图全局中的地位。通过以上方法,有效提高文档主题划分的准确率,适用于通用场景下基于知识地图社区结构的文档主题划分。

    基于多视角图神经网络的社交网络信任评估方法及系统

    公开(公告)号:CN119691683A

    公开(公告)日:2025-03-25

    申请号:CN202411929127.1

    申请日:2024-12-25

    Abstract: 基于多视角图神经网络的社交网络信任评估方法及系统,包括:获取社交网络行为信息,构建不同视角的社交行为网络图,根据用户与用户之间的信任关系,构建用户信任关系网络图;基于不同视角的社交行为网络图,搭建多头注意力机制提取不同类型的邻居节点对目标用户节点特征的影响并进行融合,输出社交属性特征;基于用户信任关系网络图,利用注意力机制融合节点的邻居信息,形成用户节点的信任特征;结合社交属性特征和用户节点的信任特征,进行多视图特征融合,输出预测信任关系。解决传统信任评估方法依赖预先定义模型、普适性差,以及现有基于图神经网络的信任关系预测方案面临的信任关系图难以获取、特征融合效果不佳的问题。

    一种面向纳税人行业分类的标签噪声学习方法

    公开(公告)号:CN114817546B

    公开(公告)日:2024-09-10

    申请号:CN202210498954.4

    申请日:2022-05-09

    Abstract: 本发明公开了一种面向纳税人行业分类的标签噪声学习方法,包括:首先,提取纳税人行业信息中的文本信息和非文本信息,分别基于XLNet文本预训练网络和编码技术进行文本嵌入和非文本编码处理,得到特征信息;其次,构建用于纳税人行业分类的TextCNN网络,根据特征信息和目标分类数来确定网络的层数、卷积核形状以及各层次的输入输出维度,并将XLNet文本预训练网络和TextCNN网络串联,结合带噪的纳税人行业标签数据作为监督,构建端到端的训练装置;再次,并基于改进的混合比例估计方法估计条件转移矩阵;最后,学习训练装置中的网络参数,并将条件转移矩阵作为TextCNN网络之后的线性层,实现噪声标签预测到真实纳税人行业标签预测的转换,进行纳税人行业分类。

    基于群签名的多源科教资源智能许可协同管理方法及系统

    公开(公告)号:CN118013482A

    公开(公告)日:2024-05-10

    申请号:CN202410132102.2

    申请日:2024-01-30

    Abstract: 基于群签名的多源科教资源智能许可协同管理方法及系统,包括:构建智能管理系统,并对智能管理系统进行初始化;初始化后的智能管理系统中,资源拥有者许可分发规则,并将其形式化为智能合约发布在区块链上;资源拥有者审核准许申请后生成许可将该许可添加到合法访问列表,并将其提交至区块链进行注册;向机构申请群签名私钥生成群签名,通过群向区块链验证其访问权限,验证成功则说明该用户具备相应的访问权限。通过群签名技术,使用机构群公钥检验用户使用群私钥签名的资源访问申请,简化了机构用户的访问控制流程实现了资源许可的群组管理,解决了原有自主访问控制等技术用户密钥管理复杂,管理成本高,使用个人公钥导致的隐私泄露等问题。

    基于用时感知的虚拟机群高效快照方法

    公开(公告)号:CN113268311B

    公开(公告)日:2024-01-12

    申请号:CN202110519029.0

    申请日:2021-05-12

    Abstract: 基于用时感知的虚拟机群高效快照方法,根据内存脏数据产生模型预测快照用时;根据快照用时中的最长快照用时计算用时最长的快照结束时间;将虚拟机内存状态拷贝进快照文件,拷贝过程产生脏页,迭代拷贝过程直到快照结束时间到来;开辟一块内存区域,然后将虚拟机剩余的脏页以及CPU状态保存在快照中的数据复制到内存区域中;将保存到内存区域中的快照状态储存到永久存储快照文件中,最后删除快照中用到的所有临时数据。本发明基于用时感知的虚拟机群快照技术,减小了快照过程中引入的虚拟机性能损失和机群网络中断时间,减小维护机群网络一致性的开销,保证快照性能,不会重复计算脏数据,预测的脏数据量不会超过最大工作集,预测更加准确。

    基于区块链的去中心化的匿名信任认证方法及相关装置

    公开(公告)号:CN117082494A

    公开(公告)日:2023-11-17

    申请号:CN202311270181.5

    申请日:2023-09-27

    Abstract: 基于区块链的去中心化的匿名信任认证方法及相关装置,包括:构建基于区块链的去中心化移动众包MCS系统;节点加入系统,生成自己的公私钥对,向系统申请注册密钥后者处理节点注册信号,生成初始信任特征并向区块链注册节点公钥及信任;节点生成新的公私钥对,生成密钥变更请求发送给密钥管理委员,后者处理节点密钥变更信号,并在区块链上发布密钥变更结果;节点使用变更后的私钥签名消息,签名验证者在区块链下完成对签名者的信任的认证。本发明构建了一个两阶段的密钥变更方案,依托区块链构建去中心化的密钥管理委员会负责密钥管理与信任证书的分发,不依靠任何可信中心或者可信硬件,不存在单点故障难题,解决了去中心化移动众包密钥管理难题。

Patent Agency Ranking