大模型的优化训练、数据处理方法、装置、设备和介质

    公开(公告)号:CN119761417A

    公开(公告)日:2025-04-04

    申请号:CN202411808552.5

    申请日:2024-12-10

    Abstract: 本申请涉及数据处理技术领域,尤其提供一种大模型的优化训练、数据处理方法、装置、设备和存储介质,首先,针对每条样本指令,将样本指令输入基础模型,得到样本指令的N条候选答案,利用M个不同的奖励模型分别对候选答案进行评分,得到候选答案的M个评分结果;然后对候选答案的M个评分结果进行加权计算,得到候选答案的偏好值;基于候选答案的偏好值从N条候选答案中选取第一答案和第二答案;最后构建偏好样本数据集,偏好样本数据集包括偏好样本,偏好样本包括样本指令以及样本指令对应的第一答案和第二答案,偏好样本数据集用于采用离线方式对基础模型进行优化训练。以减少了对巨量计算资源的消耗,使大模型偏好对齐训练任务更易实施。

    一种大模型RAG召回策略智能规划方法、装置、介质及设备

    公开(公告)号:CN119760097A

    公开(公告)日:2025-04-04

    申请号:CN202411952374.3

    申请日:2024-12-27

    Abstract: 本发明涉及智能问答技术领域,尤其涉及一种大模型RAG召回策略智能规划方法、装置、介质及设备,通过引入提示词将初始问题转化为目标问题,对目标问题进行关键信息和向量的多维度处理,以基于预设大模型获取到参考召回数据,将初始场景类别、预设召回路径、目标问题、参考召回数据和预设提示词输入至预设大模型中,获取到目标召回路径,按照顺序依次执行目标召回路径中的所有数据召回环节,获取到目标召回数据,通过为大模型提供多维度参考信息,辅助大模型获取到由多个按顺序排列的数据召回环节构成的目标召回路径,使得数据召回过程更加高效,并能够适应各种复杂多变的应用场景和问题类型,提高了召回方法的准确性和效率。

    实时问答虚拟人视频生成方法、电子设备及存储介质

    公开(公告)号:CN116996630B

    公开(公告)日:2024-07-12

    申请号:CN202310964008.9

    申请日:2023-08-02

    Abstract: 本发明提供了一种实时问答虚拟人视频生成方法、电子设备及存储介质,方法包括:基于待播报信息获取对应的场景视频;对音频文件进行特征提取,得到对应的音频特征;基于场景视频和音频特征,生成口型与音频特征相匹配的场景视频,作为初始人脸驱动视频;基于场景视频中的目标图像以及初始驱动视频,获取对应的人脸关键点、人脸深度图和人脸的RGB编码特征;基于获取的人脸关键点、人脸深度图和人脸的RGB编码特征,得到目标人脸驱动视频;利用目标人脸驱动视频中的人脸替换场景视频中的人脸,得到虚拟人视频;将虚拟人视频和音频文件进行合成,得到待播报的虚拟人播报视频。本发明能够提高虚拟人视频的制作效率。

    逆转图像重建方法、装置、设备及可读存储介质

    公开(公告)号:CN116862803B

    公开(公告)日:2024-05-24

    申请号:CN202310864682.X

    申请日:2023-07-13

    Abstract: 本公开涉及一种逆转图像重建方法、装置、设备及可读存储介质。本公开通过获取待逆转图像,所述待逆转图像包括待逆转的高质量图像和/或待逆转的低质量图像,对所述待逆转图像进行逆转处理,得到逆转图像。由于对所述待逆转图像进行逆转处理,得到逆转图像,进而可以对逆转图像的隐空间特征进行约束,使逆转得到的隐空间特征的分布更符合GAN隐空间中原始隐空间编码的分布,在图像编辑中减少图像伪影的出现,从而提高真实图像的图像编辑的效果。并且,本公开实施例可以适用于高质量图像以及低质量图像,提高了逆转方法的泛化性能,提升了低质量图像逆转的重建效果,保证了GAN逆转方法对图像质量的稳定性。

    一种多模态大型语言模型训练方法、电子设备及存储介质

    公开(公告)号:CN117409431B

    公开(公告)日:2024-04-26

    申请号:CN202311412797.1

    申请日:2023-10-27

    Abstract: 本发明提供了多模态大型语言模型训练方法、电子设备和存储介质,涉及计算机技术应用领域,包括:利用第一训练样本对图文对齐模型进行训练,得到训练后的图文对齐模型;第二训练样本对大型语言模型进行训练,第一训练样本对包含一个第一图像样本和对应的原始文本;第一图像样本仅包括自然图像;第二训练样本集包括多个第二训练样本对,每个第二训练样本对包含一个第二图像样本和对应的问答对文本,其中,第二图像样本中设置有目标检测框,第二图像样本至少包括文档、表格、图表和自然图像。本发明能够理解不同种类的图表和文档数据,且具有对图片中的区域准确定位的能力,能够解锁更加多样的多模态能力。

    一种多模态大模型训练策略确定方法、电子设备及介质

    公开(公告)号:CN117407754B

    公开(公告)日:2024-04-19

    申请号:CN202311415357.1

    申请日:2023-10-27

    Abstract: 本发明提供了一种多模态大模型训练策略确定方法、电子设备及介质,涉及多模态大模型训练策略确定领域,所述方法包括:获取初始多模态大模型对应的状态列表A;使用预设的一阶段训练策略,对初始多模态大模型进行训练,以得到第一中间多模态大模型列表B;使用预设的两阶段训练策略,分别对处于A中每一状态的初始多模态大模型进行训练,以得到第二中间多模态大模型列表C;获取B对应的第一性能参数列表α=(α1,α2,α3)以及C对应的第二性能参数列表β=(β1,β2,β3);若α1<β1、α2<β2且α3<β3,则将预设的两阶段训练策略确定为初始多模态大模型对应的目标训练策略;本发明能够达到确定出最佳的模型训练策略的目的。

    一种基于大语言模型的统一信息抽取方法、介质及设备

    公开(公告)号:CN117764062A

    公开(公告)日:2024-03-26

    申请号:CN202311671334.7

    申请日:2023-12-07

    Abstract: 本发明提供了一种基于大语言模型的统一信息抽取方法、介质及设备,涉及信息抽取技术领域,包括:获取待处理文本以及目标指令,将待处理文本和目标指令拼接后输入目标信息抽取模型,以得到目标信息抽取模型输出的信息抽取结果。目标信息抽取模型,通过以下步骤得到:获取若干原始文本集,对若干原始文本集中的每一原始文本,进行目标训练样本生成处理,以得到目标训练样本集,根据目标训练数据集对预设大语言模型进行训练,以得到目标信息抽取模型。本发明能够使得目标信息抽取模型具备抽取不同任务类型信息的能力,提高信息抽取的效率,并可以降低模型的发散性。

    一种图像去噪处理系统
    30.
    发明授权

    公开(公告)号:CN116797493B

    公开(公告)日:2024-01-26

    申请号:CN202310964411.1

    申请日:2023-08-02

    Abstract: 本发明涉及图像处理领域,尤其涉及一种图像去噪处理系统,包括:含噪人脸图像A、中间素描图像特征集合B=(B1,B2,……,Bn,……,BM)和文本特征C,所述系统实现以下步骤:对A和B1进行下采样得到第一个中间图像特征D1,对Di和Bi进行下采样得到Di+1,对DM和文本特征C进行注意力特征提取得到注意力图像特征E,对E进行上采样得到第一个中间噪声图像特征F1,对Fj和DM‑j进行上采样得到Fj+1,对FM‑1和D1进行上采样得到预测噪声图像G,根据A和G得到去噪人脸图像,将图像模态下的B、文本模态下的C与A进行信息融合,根据双模态的特征信息提高了对A的表征能力,提高了去噪结果的准确性。

Patent Agency Ranking