基于大语言模型的用户与智能终端语音交互方法和装置

    公开(公告)号:CN117289893A

    公开(公告)日:2023-12-26

    申请号:CN202311301439.3

    申请日:2023-10-09

    Applicant: 清华大学

    Abstract: 本发明提供一种基于大语言模型的用户与智能终端语音交互方法和装置,包括:生成智能终端的UI转换图;根据UI转换图和大语言模型,生成第一功能表;利用第一功能表微调大语言模型,得到融入领域特定知识的UI界面动作指导模型;基于UI界面动作指导模型,实现用户与智能终端语音交互。本发明利用融合了大语言模型的常识知识与智能终端UI转换图中的领域特定知识的UI界面动作指导模型,实现用户与智能终端语音交互,更加智能的为用户提供语音交互服务,并极大地减少开发者的开发成本。

    多模态生物医药数据的处理方法及装置

    公开(公告)号:CN116431829A

    公开(公告)日:2023-07-14

    申请号:CN202310394216.X

    申请日:2023-04-13

    Applicant: 清华大学

    Abstract: 本发明提供一种多模态生物医药数据的处理方法及装置,其中的方法包括:获取多模态输入数据;对分子结构数据、知识图谱数据以及文本数据分别进行编码处理,得到相应的结构特征表示、知识特征表示以及文本特征表示;对结构特征表示、知识特征表示以及文本特征表示进行融合处理,得到融合特征表示;基于融合特征表示,对多种下游预测任务进行预测。该方法采用特征融合的方式处理学习到的分子结构数据、知识图谱数据以及文本数据的特征表示,使得到的融合特征表示能够支持多种下游预测任务,实现了多模态生物医药数据的特征融合,提高了下游预测任务的预测精度。

    一种基于数据合成的零样本跨模型融合利用方法及系统

    公开(公告)号:CN119358696A

    公开(公告)日:2025-01-24

    申请号:CN202411236690.0

    申请日:2024-09-04

    Abstract: 本发明提供一种基于数据合成的零样本跨模型融合利用方法及系统,该方法包括:根据上下文学习提示,基于多个预训练大语言模型并行生成多个合成数据集;基于多个合成数据集对应训练多个下游任务模型,并采用预设数据集质量评估算法确定跨模型融合数据集;根据跨模型融合数据集更新多个预训练大语言模型的上下文学习提示;根据上下文学习提示重复迭代执行并行生成多个合成数据集的步骤、确定跨模型融合数据集的步骤和更新上下文学习提示的步骤,直至达到预设迭代次数,生成零样本跨模型融合利用数据。本发明通过多个预训练的大语言模型迭代更新生成的零样本跨模型融合利用数据,能够缓解数据分布偏差且合成数据的质量更高。

    基于互信息的纵向联邦学习攻击防御方法及装置

    公开(公告)号:CN116074065A

    公开(公告)日:2023-05-05

    申请号:CN202211715007.2

    申请日:2022-12-29

    Applicant: 清华大学

    Abstract: 本发明提供一种基于互信息的纵向联邦学习攻击防御方法及装置,其中方法包括:获取纵向联邦学习模型的被动方输出的第一编码表示,所述第一编码表示是将所述被动方的本地数据输入至所述被动方的本地模型获得的;将所述第一编码表示输入至正则项模块,对所述第一编码表示混入噪声,获得所述正则项模块输出的第二编码表示,所述第二编码表示用于与第三编码表示共同获得预测结果,所述第三编码表示是所述纵向联邦学习模型的主动方将所述主动方的本地数据输入至所述主动方的本地模型获得的;其中,所述防御方为所述主动方或所述被动方。本发明提供的基于互信息的纵向联邦学习攻击防御方法及装置,提高了纵向联邦学习的安全性。

    基于离散混淆自编码器的纵向联邦学习攻击防御方法

    公开(公告)号:CN115134114B

    公开(公告)日:2023-05-02

    申请号:CN202210567683.3

    申请日:2022-05-23

    Applicant: 清华大学

    Inventor: 刘洋 张亚勤

    Abstract: 本发明提供基于离散混淆自编码器的纵向联邦学习攻击防御方法,包括:在主动方利用自编码器对输入标签进行编码形成软标签,使软标签离散化,通过解码器将软标签解码为解码标签;利用输入标签、软标签和解码标签计算出第一损失函数,直至第一损失函数收敛;主动方与被动方进行纵向联邦学习,主动方包括第一微分模型,被动方包括第二微分模型,利用第一微分模型、第二微分模型和软标签计算出第二损失函数;第二损失函数通过反向传播方法将第一微分模型的更新梯度和第二微分模型的更新梯度进行离散化,将离散化后的更新梯度分别回传至第一微分模型和第二微分模型进行参数更新,输出结果模型,本发明解决了现有系统针对攻击防御能力不足的缺陷。

    面向边缘设备的神经网络弹性部署方法及装置

    公开(公告)号:CN116009884A

    公开(公告)日:2023-04-25

    申请号:CN202211659466.3

    申请日:2022-12-22

    Abstract: 本发明提供一种面向边缘设备的神经网络弹性部署方法及装置,其中的方法包括:获取服务器端生成的弹性超网络模型,所述弹性超网络模型通过对初始静态深度学习模型的参数量和运行方式进行扩展得到;基于所述弹性超网络模型,根据边缘硬件条件和边缘数据分布,确定待部署模型,并执行部署操作,所述待部署模型为所述弹性超网络模型的多个子模型中的一个子模型。该方法通过弹性超网络模型在边缘端进行自动自适应调整,统一部署,不需要为不同的边缘端分别定制专门的部署模型,能够节省大量的计算资源和人力开销,并且,由于不需要向服务器端传送边缘端侧数据,规避了现有部署方式侵犯隐私的潜在风险。

    面向端到端自动驾驶的安全强化学习训练方法及装置

    公开(公告)号:CN119599088A

    公开(公告)日:2025-03-11

    申请号:CN202411432359.6

    申请日:2024-10-14

    Applicant: 清华大学

    Abstract: 本申请涉及自动驾驶技术领域,特别涉及一种面向端到端自动驾驶的安全强化学习训练方法及装置,其中,方法包括:基于预设驾驶环境模型和不确定性约束衰减函数,检测车辆的当前决控策略的安全状态;利用预设集成模型拟合预设驾驶环境模型的分散随机误差;根据价值函数的自洽条件更新价值函数,评估当前决控策略的性能价值;根据不确定性约束衰减函数的自洽条件,更新不确定性约束衰减函数,扩展对应的可行区域;在安全状态达到预设等级时,基于随机误差、性能价值和扩展后的可行区域对当前决控策略进行迭代更新,直至当前决控策略的平均累计回报达到预设阈值或者达到最大迭代次数,得到最终可行决控策略,以强化目标自动驾驶系统。

    一种基于多药编码的患者个性化药物定位的方法和装置

    公开(公告)号:CN116825274A

    公开(公告)日:2023-09-29

    申请号:CN202310637178.6

    申请日:2023-05-31

    Applicant: 清华大学

    Abstract: 本发明提供一种基于多药编码的患者个性化药物定位方法和装置,包括:将目标患者的基因表达谱输入患者多药模型的共享编码器中,得到所述基因表达谱的共享隐空间表示;利用所述共享隐空间表示、每一个候选药物的药物表示和患者多药模型的共享预测器,预测所述目标患者使用每一个所述候选药物的药效;基于所述药效,对所述目标患者进行个性化药物定位。本发明构建了能对细胞系基因表达谱和患者基因表达谱进行对齐表示的共享编码器,在此基础上构建了包含共享编码器以及共享预测器的患者多药模型,从而利用患者多药模型为患者定位最适合的药物或潜在药物分子,同时提升所定位药物对特定患者亚群的疗效。

    多模态生物医药数据的表征学习方法及装置

    公开(公告)号:CN116431830A

    公开(公告)日:2023-07-14

    申请号:CN202310394248.X

    申请日:2023-04-13

    Applicant: 清华大学

    Abstract: 本发明提供一种多模态生物医药数据的表征学习方法及装置,其中的方法包括:获取多模态输入数据,多模态输入数据包括生物分子结构数据及其对应的知识图谱数据和文本数据;将多模态输入数据输入至预先训练的多模态生物医药模型,得到融合特征表示;基于融合特征表示,对多种下游预测任务进行预测,其中,多模态生物医药模型包括生物分子结构编码器、图谱编码器、文本编码器以及多模态编码器,通过根据训练样本数据集进行自监督预训练优化得到。该方法利用多模态生物医药模型学习多模态输入数据的表征,使得到的融合特征表示能够应用于多种下游预测任务,实现了多模态生物医药数据的特征融合,同时提高了下游预测任务的预测精度。

Patent Agency Ranking