大数据背景下数据分析处理服务平台

    公开(公告)号:CN114780093A

    公开(公告)日:2022-07-22

    申请号:CN202210515711.7

    申请日:2022-05-11

    Abstract: 本发明公开了一种大数据背景下数据分析处理服务平台,涉及数据处理分析技术领域。大数据背景下数据分析处理服务平台,支持多种数据处理框架和编程语言的综合数据分析服务平台,包括外围模块、zeppelin‑server模块、zeppelin‑interpreter模块、zeppelin‑zengine模块、zeppelin‑web模块和数据库模块。所述zeppelin‑server模块为整体系统入口,提供服务器功能、权限认证以及用户校验功能,zeppelin‑interpreter模块用于执行解释器,所述zeppelin‑zengine模块用于zeppelin中notebook的持久化和检索服务。该大数据背景下数据分析处理服务平台,本服务平台采用基于Zepeelin框架进行开发,支持多种主流的数据处理框架,包括Hadoop、Spark、Flink和R等框架,提供了主流的数据库操纵能力,包括PostgreSQL、HBase和MySQL。

    基于梯度的Transformer模块化分解方法

    公开(公告)号:CN118586440A

    公开(公告)日:2024-09-03

    申请号:CN202410649049.3

    申请日:2024-05-23

    Abstract: 本发明公开了基于梯度的Transformer模块化分解方法,涉及图像处理和计算机视觉技术领域,该基于梯度的Transformer模块化分解方法,包括以下步骤:步骤一:目标点识别,如算法1描述了基于梯度技术识别单个注意力头中的非目标节点;步骤二;存储不属于目标类模块的节点位置;步骤三:添加非目标类;步骤四:目标类模块化,将事先训练好的Transformer模型分解为一组更小且可重用的模块,通过这一独特的分解过程,生成的模块能够被灵活地重用,以构建全新的、甚至更加精准的Transformer模型,而无需从头开始进行昂贵的训练。这种模块化分解方法不仅提高了模型的灵活性和可重用性,同时降低了模型开发的成本和时间,为深度学习模型的定制和优化提供了一种高效而创新的途径。

    基于Transformer模块化分解模型方法

    公开(公告)号:CN118504617A

    公开(公告)日:2024-08-16

    申请号:CN202410641506.4

    申请日:2024-05-22

    Abstract: 本发明公开了基于Transformer模块化分解模型方法,涉及图像处理和计算机视觉技术领域,该基于Transformer模块化分解模型方法,包括以下步骤:步骤1:神经网络模型等效改造;步骤2:重新训练改造后的Transformer网络模型#imgabs0#步骤3:梯度重置;步骤4:设置二进制掩码;步骤5:模块化Transformer;步骤6:等效转化获得目标模块,事先训练好的Transformer模型分解为一组更小且可重用的模块,通过这一独特的分解过程,生成的模块能够被灵活地重用,以构建全新的、甚至更加精准的Transformer模型,而无需从头开始进行昂贵的训练。这种模块化分解方法不仅提高了模型的灵活性和可重用性,同时降低了模型开发的成本和时间,为深度学习模型的定制和优化提供了一种高效而创新的途径。

    一种基于zeppelin的交互式分析系统

    公开(公告)号:CN114780178A

    公开(公告)日:2022-07-22

    申请号:CN202210459346.2

    申请日:2022-04-27

    Abstract: 本发明公开了一种基于zeppelin的交互式分析系统,涉及计算机大数据分技术领域。包括自下而上的zeppelin interpreter、zeppelin server、外围模块和浏览器端,所述zeppelin interpreter为zeppelin处理交互式分析任务时用到的对应任务语言的解析器,所述zeppelin server为管理zeppelin interpreter的处理器,以及调度交互式分析任务、分配资源的中央管理器,所述外围模块对开源组件apache zeppelin进行封装,所述浏览器端用于登录访问所述外围模块。该基于zeppelin的交互式分析系统,工作区管理模块使用户可以管理自己的笔记本单元,统一管理笔记本;任务管理模块使用户可以更加方便地管理任务,便于用户进行任务的编写、运行或停止。

    一种基于区块链的钢铁供应链信息秘密共享方法及系统

    公开(公告)号:CN112380179A

    公开(公告)日:2021-02-19

    申请号:CN202011463361.1

    申请日:2020-12-14

    Abstract: 本发明公开了一种基于区块链的钢铁供应链信息秘密共享方法及系统,方法包括步骤:1)将供应链上的物流明文数据和供应链上下游企业提供的企业信息录入区块链联盟链节点;2)利用属性加密算法将得到的数据通过密钥进行加密,并基于Shamir门限方案保护密钥;3)将密钥写入智能合约;4)采用基于DPoS+PBFT的混合共识机制和对应算法,将DPoS的授权机制应用于PBFT中实现动态授权,通过DPoS联盟内拥有投票权的节点动态投票选择记账节点,使用PBFT记账节点轮流记账,记账后投票通过,将加密后的数据存储入区块链联盟链的节点;5)利用智能合约的验证机制确认用户是否有权限查看数据,确认后利用拉格朗日插值算法找到密钥,解析加密数据密文,恢复明文数据。

Patent Agency Ranking