联邦学习环境下的数据共享与协同方法及系统

    公开(公告)号:CN115514761B

    公开(公告)日:2024-12-13

    申请号:CN202110620110.8

    申请日:2021-06-03

    Abstract: 本发明提供一种联邦学习环境下的数据共享与协同方法及系统,所述方法包括:数据提供节点从本地的中台层中提取数据并按照第一预设协议格式发布;数据评估节点获取数据提供节点发布的数据,并基于共享数据安全评估协议对数据提供节点发布的数据进行数据相对价值评估;数据协同任务发起节点获取目标数据,基于目标数据训练得到目标模型,并对目标数据进行数据动态价值评估;数据协同任务发起节点对所述目标数据中每个数据提供节点发布的数据进行数据应用价值评估;数据协同任务发起节点计算数据提供节点在当前数据协同任务中的激励,并根据所述激励向所述数据提供节点进行支付和结算。本发明可降低联邦学习大规模落地应用的难度。

    联邦学习环境下的数据共享与协同方法及系统

    公开(公告)号:CN115514761A

    公开(公告)日:2022-12-23

    申请号:CN202110620110.8

    申请日:2021-06-03

    Abstract: 本发明提供一种联邦学习环境下的数据共享与协同方法及系统,所述方法包括:数据提供节点从本地的中台层中提取数据并按照第一预设协议格式发布;数据评估节点获取数据提供节点发布的数据,并基于共享数据安全评估协议对数据提供节点发布的数据进行数据相对价值评估;数据协同任务发起节点获取目标数据,基于目标数据训练得到目标模型,并对目标数据进行数据动态价值评估;数据协同任务发起节点对所述目标数据中每个数据提供节点发布的数据进行数据应用价值评估;数据协同任务发起节点计算数据提供节点在当前数据协同任务中的激励,并根据所述激励向所述数据提供节点进行支付和结算。本发明可降低联邦学习大规模落地应用的难度。

    一种用户身份识别方法、装置和计算机可读存储介质

    公开(公告)号:CN112653995A

    公开(公告)日:2021-04-13

    申请号:CN201910968882.3

    申请日:2019-10-12

    Inventor: 蔡国庆

    Abstract: 本发明实施例提供了一种用户身份识别方法、装置和计算机可读存储介质,所述方法包括:确定预设周期内各用户与基站信息相关的轨迹数据;按预设步长对所述轨迹数据进行切片生成轨迹片段数据集;将轨迹片段数据集中时空特征相同的轨迹片段进行汇聚,得到时域轨迹片段的集合;基于所述集合中的时域轨迹片段及该时域轨迹片段对应的权重生成各用户的移动轨迹指纹数据;所述移动轨迹指纹数据中包括:用户在基站间切换的异常跳变对应的数据;将各用户的移动轨迹指纹数据入库形成历史移动轨迹指纹数据库;基于待识别用户的移动轨迹指纹数据与历史移动轨迹指纹数据库,确定该待识别用户的身份。

    一种数据综合价值的评估方法、装置及电子设备

    公开(公告)号:CN115600476A

    公开(公告)日:2023-01-13

    申请号:CN202110719131.5

    申请日:2021-06-28

    Inventor: 蔡国庆

    Abstract: 本发明提供一种数据综合价值的评估方法、装置及电子设备。所述方法包括:在联邦学习过程中,获取数据提供方提供的待评估数据的相对价值、训练价值以及应用价值;根据所述相对价值、所述训练价值以及所述应用价值,确定所述待评估数据的综合价值。本发明的实施例,基于数据评估阶段的数据相对价值、模型训练阶段中数据对于模型训练的训练价值以及模型应用阶段中数据的应用价值的数据,进行多维度价值定量评估,避免了将数据价值绝对化、静态化,避免利用单一的评估方式,使得数据价值评估结果更准确。此外,在数据评估的过程中不需要引入第三方,保护了数据提供方的数据隐私。

    数据处理方法、设备及介质
    5.
    发明公开

    公开(公告)号:CN119046385A

    公开(公告)日:2024-11-29

    申请号:CN202310615206.4

    申请日:2023-05-29

    Inventor: 蔡国庆

    Abstract: 本发明提供一种数据处理方法、设备及介质,涉及大数据领域,方法包括:获取待存储的目标数据元素的数量;根据数据结构的维度、占空比和目标数据元素的数量,确定数据结构的每个维度的数据长度;根据数据结构的维度,确定数据结构的每个维度的哈希函数;基于数据结构的维度、每个维度的数据长度以及每个维度的哈希函数,生成与目标数据元素对应的数据集;将数据集的至少一个维度部署至N个服务器,N为大于1的正整数,数据结构的维度大于1,数据集的维度与数据结构的维度对应。在哈希算法部署数据结构的基础上,设置了多维数据结构,将至少一个维度的数据元素切片部署到多服务器,能够提高基于哈希算法的数据结构对大数据处理的能力。

    一种节点接入方法、装置、电子设备及存储介质

    公开(公告)号:CN118798386A

    公开(公告)日:2024-10-18

    申请号:CN202410272253.8

    申请日:2024-03-11

    Abstract: 本公开提供了一种节点接入方法、装置、电子设备及存储介质,其中,该方法包括:在检测到用于执行联邦学习任务的节点数量增加的情况下,控制联邦学习任务的第一节点停止执行联邦学习任务;并获取第一节点的运行结果;其中,第一节点为节点数量增加之前执行联邦学习任务的节点;对第一节点和第二节点进行算法编排处理,得到算法编排结果;算法编排结果包含该联邦学习任务中各节点和该节点中各算法组件的执行顺序,第二节点为新增加执行联邦学习任务的节点;基于算法编排结果和运行结果控制第一节点和第二节点继续执行联邦学习任务。在联邦学习任务中需要接入新的节点的情况下,可以快速重新执行联邦学习任务。

    一种信息处理方法、装置及通信设备

    公开(公告)号:CN116095684A

    公开(公告)日:2023-05-09

    申请号:CN202111304177.7

    申请日:2021-11-05

    Inventor: 蔡国庆

    Abstract: 本发明提供了一种信息处理方法、装置及通信设备,其中,信息处理方法包括:根据目标手机号码中的网络识别号、地区编码以及用户编号,构建布隆过滤器;将所述布隆过滤器,发送给第二通信设备;接收所述第二通信设备根据所述布隆过滤器反馈的待匹配加密集合;根据所述目标手机号码,针对所述待匹配加密集合执行匹配操作,得到与所述目标手机号码相匹配的目标集合。本方案能够支撑实现:由第二通信设备利用布隆过滤器先进行模糊匹配,得到少量数据,再由第一通信设备针对该少量数据进行精准匹配,得到目标结果,提高了处理效率,且保证了通信效率,很好的解决了现有技术中针对隐私集合交集计算的信息处理方案效率低的问题。

    一种用户身份识别方法、装置和计算机可读存储介质

    公开(公告)号:CN112653995B

    公开(公告)日:2023-03-28

    申请号:CN201910968882.3

    申请日:2019-10-12

    Inventor: 蔡国庆

    Abstract: 本发明实施例提供了一种用户身份识别方法、装置和计算机可读存储介质,所述方法包括:确定预设周期内各用户与基站信息相关的轨迹数据;按预设步长对所述轨迹数据进行切片生成轨迹片段数据集;将轨迹片段数据集中时空特征相同的轨迹片段进行汇聚,得到时域轨迹片段的集合;基于所述集合中的时域轨迹片段及该时域轨迹片段对应的权重生成各用户的移动轨迹指纹数据;所述移动轨迹指纹数据中包括:用户在基站间切换的异常跳变对应的数据;将各用户的移动轨迹指纹数据入库形成历史移动轨迹指纹数据库;基于待识别用户的移动轨迹指纹数据与历史移动轨迹指纹数据库,确定该待识别用户的身份。

    一种数据协同方法、装置及通信设备

    公开(公告)号:CN115794427A

    公开(公告)日:2023-03-14

    申请号:CN202111062506.1

    申请日:2021-09-10

    Inventor: 蔡国庆

    Abstract: 本申请提供一种数据协同方法、装置及通信设备,所述方法包括:第一联邦学习节点向第二联邦学习节点发送协同计算会话请求消息,以及向第一区块链节点发送第一消息摘要,所述第一消息摘要基于所述协同计算会话请求消息确定;所述第一联邦学习节点接收所述第二联邦学习节点发送的协同计算会话应答消息;在所述协同计算会话应答消息表示同意进行协同计算会话的情况下,所述第一联邦学习节点与所述第二联邦学习节点进行协同交互;所述第一联邦学习节点向所述第一区块链节点发送第二消息摘要,所述第二消息摘要基于所述协同交互的过程中所述第一联邦学习节点发送的第一协同计算消息确定。本申请可以提高联邦学习过程的效率。

Patent Agency Ranking