基于自我认知的模型推理方法、装置及电子设备

    公开(公告)号:CN116822633A

    公开(公告)日:2023-09-29

    申请号:CN202311111582.6

    申请日:2023-08-31

    Applicant: 清华大学

    Abstract: 本发明涉及人工智技术领域,提供一种基于自我认知的模型推理方法、装置及电子设备,其中的方法包括:接收用户端的待解答问题;基于待解答问题,获取语言大模型的自我认知结果;根据自我认知结果,推理得到待解答问题的答案。该方法通过引入语言大模型的自我认知,根据语言大模型的自我认知情况,采用不同的推理模式对用户端的待解答问题进行推理,避免了单独通过语言大模型或检索增强进行推理而带来的模型推理准确度不高的情况,能够根据语言大模型的实际推理情况,适用最合适的推理模式,得到更准确的推理结果,有效提升了模型推理的准确度,也进一步提升了用户端的体验感。

    多模态联邦学习训练方法及装置
    172.
    发明公开

    公开(公告)号:CN116386058A

    公开(公告)日:2023-07-04

    申请号:CN202310131300.2

    申请日:2023-02-17

    Applicant: 清华大学

    Abstract: 本发明提供一种多模态联邦学习训练方法及装置,其中的方法包括:将共享数据输入至初始的服务器端模型,得到输出的全局特征表示,并将所述全局特征表示传输至客户端;接收所述客户端生成的局部特征表示;基于所述全局特征表示以及所述局部特征表示,对所述客户端传输的局部特征表示进行聚合,得到聚合特征表示;基于所述聚合特征表示对所述服务器端模型进行训练,完成一个轮次的模型训练。该方法以共享数据作为服务器端与客户端的知识传递,不仅保证了客户端的私有数据不被传输到服务器端,还使得服务器端能够有效利用客户端上大量的单模态以及多模态数据来训练服务器端模型,从而训练得到一个更大规模且能够实现多种多模态任务的多模态模型。

    一种弱监督视觉语言预训练模型的训练方法和装置

    公开(公告)号:CN116167434A

    公开(公告)日:2023-05-26

    申请号:CN202310445450.0

    申请日:2023-04-24

    Applicant: 清华大学

    Abstract: 本发明提供一种弱监督视觉语言预训练模型的训练方法和装置,包括:选定若干个对齐的图文对,并将每一个图文对作为一个图文锚点对;基于图片数据集/文本数据集中每一个图片/文本与每一个图片锚点/文本锚点的相似度,确定图片数据集/文本数据集中每一个图片/文本的相对表征;根据图片数据集中每一个图片的相对表征和文本数据集中每一个文本的相对表征,构建伪平行图文数据集;利用伪平行图文数据集训练视觉语言预训练模型。本发明使用相对表征来作为图片和文本的统一表示,在相对表征的基础上构建高质量的伪平行数据,并利用伪平行数据训练的弱监督视觉语言预训练模型,以使模型具有更强跨模态理解能力。

    一种机器翻译模型的知识学习方法和装置

    公开(公告)号:CN115511078A

    公开(公告)日:2022-12-23

    申请号:CN202211204260.1

    申请日:2022-09-29

    Applicant: 清华大学

    Abstract: 本发明提供一种机器翻译模型的知识学习方法和装置,包括:构建迁移数据集;分别利用机器翻译教师模型和机器翻译学生模型翻译迁移数据集每一条样本的原文,得到迁移数据集每一条样本的第一候选词概率分布和第二候选词概率分布;根据迁移数据集每一条样本的第一候选词概率分布、第二候选词概率分布以及标准候选词概率分布,确定迁移数据集每一条样本的迁移损失;基于迁移数据集每一条样本的第一候选词概率分布和迁移损失,实现机器翻译学生模型对机器翻译教师模型的知识学习。本发明通过迁移损失,使机器翻译学生模型从机器翻译教师模型中学习到互补性知识,实现机器翻译学生模型的知识累积,进而提升机器翻译学生模型的翻译性能。

    菜单推送方法、装置、电子设备及存储介质

    公开(公告)号:CN114783567A

    公开(公告)日:2022-07-22

    申请号:CN202210295469.7

    申请日:2022-03-23

    Abstract: 本发明提供一种菜单推送方法、装置、电子设备及存储介质,其中,所述方法包括:基于用户的饮食信息确定候选菜品集合,其中,候选菜品集合中至少包括满足用户口味的菜品、符合用户饮食习惯的菜品以及随机菜品;对候选菜品集合中各候选菜品进行随机组合,得到候选菜品组合;获取用户的个人健康信息以及健康管理要求,并基于个人健康信息以及健康管理要求确定饮食要求;基于饮食要求对候选菜品组合进行筛选,得到筛选后候选菜品组合;基于饮食信息,在筛选后候选菜品组合确定菜品组合推优顺序,并基于推优顺序对筛选后候选菜品组合进行推送。通过本发明,可以个性化得为用户推荐满足健康要求且符合用户口味、饮食习惯的多样性的菜品组合。

    一种基于网络资源的医学问题问答处理方法及装置

    公开(公告)号:CN114780672A

    公开(公告)日:2022-07-22

    申请号:CN202210295494.5

    申请日:2022-03-23

    Abstract: 本发明提供一种基于网络资源的医学问题问答处理方法及装置。该方法包括:确定用户输入的医学问题信息,并对医学问题信息进行关键词提取及扩展处理,得到扩展后的关键词集合;利用基于词频逆文档频率的统计方式及关键词集合,从文档库中检索出与关键词集合对应的目标问答文档;基于预训练语言模型和医学问题信息对目标问答文档进行重排序,输出重排序后的问答结果;预训练语言模型是基于通用领域样本数据、医学问答领域数据组成的混合数据集及相应的评分指标为预训练样本对初始掩码语言模型进行训练得到的。本发明提供的方法,通过基于词频逆文档频率的统计方式进行筛选并利用预训练语言模型重排序,能够有效提高医学问题问答匹配的精度和效率。

    一种针对联邦学习通信开销的优化处理方法及装置

    公开(公告)号:CN114548421A

    公开(公告)日:2022-05-27

    申请号:CN202210023353.8

    申请日:2022-01-10

    Applicant: 清华大学

    Abstract: 本发明提供一种针对联邦学习通信开销的优化处理方法及装置。该方法包括:将初始全局模型分发到本地客户端,获得本地客户端基于自适应梯度量化模型得到的当前轮次的目标量化等级;目标量化等级用于对本地客户端在当前轮次上传的梯度进行量化;基于惰性梯度聚合模型,确定是否获取本地客户端在当前轮次对应的量化梯度;量化梯度是本地客户端基于目标量化等级对当前轮次上传的梯度进行量化得到的;对量化梯度进行聚合处理,并根据聚合结果更新初始全局模型,得到下一轮次对应的目标全局模型。本发明提供的方法,通过自适应梯度量化模型动态调整量化等级,同时通过惰性梯度聚合模型调整通信频率,有效提高了通信效率,并减少了通信开销。

    一种防御方法、装置、电子设备及存储介质

    公开(公告)号:CN113726823B

    公开(公告)日:2022-02-22

    申请号:CN202111291143.9

    申请日:2021-11-03

    Applicant: 清华大学

    Abstract: 本发明提供一种防御方法、装置及电子设备,涉及攻击防御技术领域,在防御标签恢复攻击和梯度替换后门攻击的基础上,保证主任务的精度不受影响。所述防御方法包括:基于自编码器对输入标签进行自编码,形成软标签。基于解码器对软标签进行解码,形成解码标签。基于输入标签、软标签和解码标签计算第一损失函数。若第一损失函数不收敛,则基于第一损失函数对自编码器和解码器进行训训,获得训练后的自编码器和解码器,并转至上述步骤,进行迭代循环。所述防御装置应用于上述防御方法。所述防御方法应用于电子设备中。

Patent Agency Ranking