-
公开(公告)号:CN111291232A
公开(公告)日:2020-06-16
申请号:CN202010152887.1
申请日:2020-03-06
Applicant: 北京理工大学
IPC: G06F16/901 , G06Q50/00
Abstract: 本发明公开了一种基于h-跳距离的图核分解方法,包括获取待分解的大数据原图G,计算原图G中每个节点的h-跳邻居数据;遍历整个原图G中找到h-跳邻居最小的值并将此值赋值为k,将所有h-跳邻居数为k的节点放入一个队列中Q中;依次从Q中选择节点v,并将其从G中和Q中删除;当删除一个节点v后,更新在节点v的h-跳邻居 中所有节点的h-跳邻居数;迭代删除h-跳邻居最少的节点,直到所有节点删除完。与现有技术相比,该方法不需要重复计算节点的h-跳邻居,计算效率更高,而且算法设计简单容易实现。
-
公开(公告)号:CN110891083A
公开(公告)日:2020-03-17
申请号:CN201911070906.X
申请日:2019-11-05
IPC: H04L29/08
Abstract: 本发明提供的一种Gaia中支持多作业并行执行的代理方法,在在群的每个节点中Gaia系统内均构建Netty客户端;在主节点上Gaia系统内基于Netty的代理框架构建一个代理端;可以实现在作业收集的过程中,多个客户端与代理端进行独立通信,解决了因物理机不同导致Gaia作业无法互通提交的问题;代理端在接收到作业之后,通过一定的执行多作业的Slot资源分配策略取待合并的作业,对作业合并后再进行执行,该方法使得当前Slot数量能够被最大程度地利用,执行最多的执行计划计划,增大一次作业执行的吞吐量。
-
公开(公告)号:CN110795265A
公开(公告)日:2020-02-14
申请号:CN201911021197.6
申请日:2019-10-25
Abstract: 本发明公开一种基于乐观容错方法的迭代器,属于大数据环境下的分布式迭代计算技术领域,该迭代器包括增量迭代器和批量迭代器,综合考虑了不同大小的迭代任务和不同故障率的迭代计算任务,引入一个补偿函数,系统使用该函数重新初始化丢失的分区。发生故障时,系统暂停当前迭代,忽略失败的任务,并将丢失的计算重新分配给新获取的节点,调用分区上的补偿函数以恢复一致状态并恢复执行。对于故障频率较低的情况,大大减少了计算的延迟,提高了迭代处理效率。对于故障频率较高的情况,该迭代器可以保证迭代处理效率不低于优化前的迭代器。该乐观容错迭代器不用添加任务额外的操作,有效降低了容错开销。
-
公开(公告)号:CN110750560A
公开(公告)日:2020-02-04
申请号:CN201911021143.X
申请日:2019-10-25
IPC: G06F16/2453
Abstract: 本发明公开一种优化网络多连接的系统和方法,属于大数据处理技术领域。该系统包括基于数据字典的连接预算模块和逻辑图重构模块,其中基于数据字典的连接预算模块包括等深直方图生成单元和统计信息管理单元,并基于数据字典设计连接预算模型来描述数据分布质量s,用于连接逻辑图重构模块;逻辑图重构模块又分为连接顺序重排单元和DAG重构单元,运用该系统进行网络多连接优化的方法采用了启发式MMAS算法,保证在相对低的时间复杂度内得到近似最优解,大幅降低了多数据集连接计算的时间,解决现有技术中无法自动优化多连接顺序的问题,能够有效地减少程序的执行时间和网络传输、IO吞吐。
-
公开(公告)号:CN119766485A
公开(公告)日:2025-04-04
申请号:CN202411717465.9
申请日:2024-11-27
Applicant: 北京理工大学
Abstract: 本公开提供了一种基于区块链的面向轻节点的事务验证方法。该方法不依赖超级节点,经过事务图发布‑事务传播‑事务验证‑事务打包上链的流程,轻节点同步有DAG事务图,当轻节点进行事务验证判断时,先找到达到验证条件的事务,将事务摘要构成待验证区块,发布到网络中;接收到待验证区块的轻节点根据与本地匹配一致的数量进行验证是否通过的判断。本发明先由各个轻节点本地筛选达到验证条件的事务,再发布摘要到各轻节点中进行验证判断,避免每个轻节点根据事务内容进行验证判断带来的计算量和网络信息交互量较大的问题,既满足了移动设备轻量存储的需求,减少了计算开销,又实现了数据验证。
-
公开(公告)号:CN114138780B
公开(公告)日:2024-10-01
申请号:CN202111426893.2
申请日:2021-11-28
Applicant: 北京理工大学
IPC: G06F16/22 , G06F16/2458 , G06F16/27 , G06F13/28 , G06N20/00
Abstract: 本公开的基于同构自适应学习索引的分布式键值存储方法及装置,通过获取服务器端的自适应学习索引模型的索引参数和节点参数;基于所述自适应学习索引模型的索引参数和节点参数通过反序列模型重建同构自适应学习索引模型;重建所述服务器端的自适应学习索引模型的叶子节点的地址映射数据结构;根据所述叶子节点的地址映射数据结构和所述同构自适应学习索引模型预测用户的读/写请求键对应的服务器端地址,采用RDMA方式加速用户读/写请求键值对存储。能够在不增加通信代价的前提下有效的减小服务器CPU压力,以及满足系统占用空间小、高吞吐量和低延时的需求。
-
公开(公告)号:CN113835896B
公开(公告)日:2024-03-22
申请号:CN202111149214.1
申请日:2021-09-29
Abstract: 本发明提供一种Gaia系统中面向迭代计算的并行度动态调整方法,涉及分布式大数据计算系统及迭代计算技术领域。该方法不需要事先预测作业所需资源,而是在作业执行过程中进行迭代资源的动态调整。如果作业执行过程中出现Slot资源不足或占用过高的情况,则根据用户预先设定的资源利用率目标进行相应的Slot资源扩容,使得作业所需的迭代资源得到满足。如果作业执行过程中出现Slot资源浪费的情况,则根据用户预设的资源利用率目标进行相应的Slot资源进行缩容,使得迭代作业所占用的Slot资源数量进行相应的减少。该并行度动态调整方法不需要在作业执行之前就执行相似的作业,也不需要执行专门的作业短示例,无需额外过多的预测时间。
-
公开(公告)号:CN111291232B
公开(公告)日:2023-09-26
申请号:CN202010152887.1
申请日:2020-03-06
Applicant: 北京理工大学
IPC: G06F16/901 , G06Q50/00
Abstract: 本发明公开了一种基于h‑跳距离的图核分解方法,包括获取待分解的大数据原图G,计算原图G中每个节点的h‑跳邻居数据;遍历整个原图G中找到h‑跳邻居最小的值并将此值赋值为k,将所有h‑跳邻居数为k的节点放入一个队列中Q中;依次从Q中选择节点v,并将其从G中和Q中删除;当删除一个节点v后,更新在节点v的h‑跳邻居#imgabs0#中所有节点的h‑跳邻居数;迭代删除h‑跳邻居最少的节点,直到所有节点删除完。与现有技术相比,该方法不需要重复计算节点的h‑跳邻居,计算效率更高,而且算法设计简单容易实现。
-
公开(公告)号:CN116128041A
公开(公告)日:2023-05-16
申请号:CN202310167325.8
申请日:2023-02-23
Applicant: 北京理工大学
Abstract: 本公开的基于GraphSMOTE的合成少数节点过采样图联邦学习方法,包括步骤一,客户向服务器上传上一轮迭代训练的模型参数;步骤二,服务器对各客户的模型参数做加权平均,将全局模型参数广播给各客户;步骤三,客户利用全局模型参数提取本地少数类节点的中间特征,寻找欧氏距离最近的节点对,引入随机噪声插值生成合成样本;步骤四,服务器收集并分发各客户的平均少数类节点表示与合成样本;步骤五,客户生成跨客户的合成样本,并为所有合成样本预测新边,加入本地数据集参与训练。本方法集中了联邦学习和图数据增强的优点,在保证数据隐私的前提下实现节点和边信息的全局流通,同时通过调节超参数赋予客户对合成样本总量的决定权,降低了通信成本。
-
公开(公告)号:CN111680331B
公开(公告)日:2023-02-28
申请号:CN202010468604.4
申请日:2020-05-28
Applicant: 北京理工大学
Abstract: 本发明公开的一种基于区块链的校长信箱的管理系统及方法,系统中所有师生节点组成一个环,并且每个人的公钥会对环成员和学校公开。当环中某个学生需要对举报信息签名时,会使用自己的私钥和环中其他师生节点的公钥,对信息执行环签名算法得到签名,然后把信息和签名发送给学校。学校使用环中所有师生节点的公钥,对信息进行验证。由于学校在进行验签的时候,使用的是环中所有师生节点的公钥,所以学校并不知道该签名具体是由环中哪个师生节点的私钥参与生成的,但可以保证该签名一定是环中某一个师生节点生成。该系统便于认证参与者的身份,采用环签名实现完全匿名;所有的举报、回复活动均在链上记录,可备检查,保证了数据的不可篡改。
-
-
-
-
-
-
-
-
-