基于弹性联邦低秩适配微调的大语言模型训练方法及系统

    公开(公告)号:CN119443311A

    公开(公告)日:2025-02-14

    申请号:CN202411482255.6

    申请日:2024-10-23

    Applicant: 武汉大学

    Abstract: 本发明公开了一种基于弹性联邦低秩适配微调的大语言模型训练方法及系统,采用基于奇异值分解(SVD)的联邦聚合,将客户端本地LoRA模块重构为本地增量矩阵,然后聚合为全局增量矩阵,并通过SVD生成下一轮次的LoRA模块,有效消除传统FedLoRA的聚合误差。本发明为每个权重矩阵动态分配LoRA秩,实现了统计与硬件效率的平衡。为进一步减少通信开销并保持模型精度,本发明引入自适应矩阵冻结机制,依据权重矩阵的训练稳定性判断是否进行冻结。本发明解决了传统FedLoRA在训练效率、通信开销、模型精度等方面的挑战。

    基于运行时行为图的以太坊庞氏合约检测方法及系统

    公开(公告)号:CN119442231A

    公开(公告)日:2025-02-14

    申请号:CN202411448662.5

    申请日:2024-10-17

    Applicant: 武汉大学

    Abstract: 本发明公开了一种基于运行时行为图的以太坊庞氏合约检测方法及系统,首先在智能合约执行时收集该智能合约的运行时行为信息;然后根据所述运行时行为信息构建合约运行时行为图CRBG,所述CRBG包含合约的控制流和数据流信息;最后对所述CRBG进行图分类分析,以识别潜在的庞氏合约。本发明通过使用运行时行为图和图神经网络模型,本发明能够准确识别庞氏合约,检测精度显著高于传统基于规则和静态分析的方法。本发明不依赖于特定领域的预定义规则,能够适应各种新型庞氏合约的检测需求。通过图优化技术,本发明能够高效处理大规模区块链数据,适用于以太坊主网及测试网环境。

    基于差分隐私的异构联邦微调语言模型构建方法及系统

    公开(公告)号:CN119150357A

    公开(公告)日:2024-12-17

    申请号:CN202411379992.3

    申请日:2024-09-30

    Applicant: 武汉大学

    Abstract: 本发明公开了一种基于差分隐私的异构联邦微调语言模型构建方法及系统,参数服务器先对具有相似能力的客户端聚类,依据资源感知聚类,并为每个类根据计算资源算力大的类别获得更大秩的自适应矩阵,从而实现灵活的低秩自适应矩阵的秩,以增强微调性能。在每一类内部,采用隐私联邦微调,包括具有敏感度感知的噪声分配和正则项优化两部分,取得更好的训练效率和减小的噪声影响。在每个类之间,通过知识蒸馏技术,执行异构的低秩自适应矩阵聚合,其中包括知识聚合和选取高质量的知识来增强本地模型。本发明能够提供严格的隐私保障,并能够在异构环境下缓解差分隐私对低秩自适应矩阵微调的影响,实现更高的效率和准确率。

    一种支持用户自主聚合的凭证管理方法及系统

    公开(公告)号:CN118018214A

    公开(公告)日:2024-05-10

    申请号:CN202410221698.3

    申请日:2024-02-28

    Applicant: 武汉大学

    Abstract: 本发明公开了一种支持用户自主聚合的凭证管理方法及系统。初始化阶段,系统管理员生成系统参数。然后,凭证管理员向系统维护者注册一个凭证模板和一个公钥。下一步,凭证管理员使用相应的模板向用户颁发原始凭据。此外,凭证管理员可以撤销用户凭证,并将撤销信息发布给系统管理员,系统管理员将全部撤销信息存储到一个压缩的数据结构中。用户可以从每个凭证管理员获取一个原始凭证,并将一些凭证聚合后证明。最后,用户向在线服务提供商提供原始或聚合凭证的证明,在线服务提供商向系统管理员查询全局撤销状态,并验证凭证证明的有效性。本发明用户自主聚合凭证而无需凭证管理员的参与,能够提升聚合凭证和验证聚合凭证的效率。

    基于身份密钥封装的多用户抗合谋密文检索方法及设备

    公开(公告)号:CN117478329B

    公开(公告)日:2024-04-26

    申请号:CN202311338271.3

    申请日:2023-10-16

    Applicant: 武汉大学

    Abstract: 本发明公开了一种基于身份密钥封装的多用户抗合谋密文检索方法及设备,包括了基于身份密钥封装方法和多用户抗合谋密文检索方法两部分;所述的一种基于用户身份密钥封装方法,解决了对称可搜索加密方案中对称密钥难分发问题,以及公钥分发策略开销大等问题,实现了常量级客户端存储开销,优化了数据拥有者的计算开销,使得系统效率显著提升。所述的一种多用户抗合谋密文检索方法,解决了恶意用户与服务器合谋问题、前后向隐私泄露问题,设计了可计数更新模式来记录最新状态,保护了前后向隐私安全;设计了不可链接的密钥派生方法,实现了用户搜索信息的不可链接性,使得服务器无法捕获合法用户隐私信息,显著提高了系统安全性。

    一种次线性单服务器对称私有信息检索方法及设备

    公开(公告)号:CN117910007A

    公开(公告)日:2024-04-19

    申请号:CN202410014170.9

    申请日:2024-01-04

    Applicant: 武汉大学

    Abstract: 本发明公开了一种次线性单服务器对称私有信息检索方法及设备,应用于次线性单服务器对称私有信息检索系统中;所述系统包括一个客户端和一个服务器,服务器拥有一个数据库;所述方法包括预处理过程和查询过程;本发明提出了第一个次线性单服务器的对称私有信息检索方案,为服务器和客户端实现了摊销#imgabs0#的计算开销,与现有的最高效的私有信息检索方案相比,服务器的额外存储开销仅为poly(λ)比特。

Patent Agency Ranking