预训练语言模型的方法和装置

    公开(公告)号:CN112084317B

    公开(公告)日:2023-11-14

    申请号:CN202011009914.6

    申请日:2020-09-23

    Inventor: 王福东

    Abstract: 本说明书实施例提供一种预训练语言模型的方法和装置,方法包括:获取历史对话记录中的第一角色的第一语句,以及第二角色的第二语句;历史对话记录包括多轮对话中各轮对话的语句;将第一语句和第二语句拼接成第一样本;将第一样本中预设比例的字进行遮蔽,得到第二样本;对第二样本中任意一个字的字嵌入向量、字类型嵌入向量、位置嵌入向量和附加嵌入向量进行叠加,得到该字的初始字表达向量;将第二样本中各个字的初始字表达向量输入语言模型,基于包括第一任务在内的至少一项预训练任务对语言模型进行预训练,第一任务用于预测第二样本中被遮蔽的字。能够在预训练语言模型后,使得该语言模型更适用于对话领域的语言表征。

    预训练语言模型的方法和装置

    公开(公告)号:CN112084317A

    公开(公告)日:2020-12-15

    申请号:CN202011009914.6

    申请日:2020-09-23

    Inventor: 王福东

    Abstract: 本说明书实施例提供一种预训练语言模型的方法和装置,方法包括:获取历史对话记录中的第一角色的第一语句,以及第二角色的第二语句;历史对话记录包括多轮对话中各轮对话的语句;将第一语句和第二语句拼接成第一样本;将第一样本中预设比例的字进行遮蔽,得到第二样本;对第二样本中任意一个字的字嵌入向量、字类型嵌入向量、位置嵌入向量和附加嵌入向量进行叠加,得到该字的初始字表达向量;将第二样本中各个字的初始字表达向量输入语言模型,基于包括第一任务在内的至少一项预训练任务对语言模型进行预训练,第一任务用于预测第二样本中被遮蔽的字。能够在预训练语言模型后,使得该语言模型更适用于对话领域的语言表征。

    多视角图像的生成方法、多视角图像生成模型的训练方法

    公开(公告)号:CN119648836A

    公开(公告)日:2025-03-18

    申请号:CN202411815267.6

    申请日:2024-12-10

    Abstract: 本说明书提供一种多视角图像的生成方法、多视角图像生成模型的训练方法。其中,多视角图像的生成方法包括:获得目标对象的目标单视角图像,将目标单视角图像输入至预先训练好的多视角图像生成模型,输出目标对象的m个视角的图像,一个视角的图像包括n个域的图像,其中,m和n均为大于1的整数,目标对象的同一视角下的不同域的图像在物理属性上具有一致性。可以从单视角扩展到多视角,提供更丰富的视觉信息;而且,通过多视角图像中各域图像在物理属性上具有一致性,可以确保逼真的光照和材质表现,从而使得生成的图像的细节更加丰富和准确。

    一种从对话语料中抽取对话策略结构的方法及系统

    公开(公告)号:CN112115248B

    公开(公告)日:2023-11-14

    申请号:CN202011034369.6

    申请日:2020-09-27

    Abstract: 本说明书一个或多个实施例涉及一种从对话语料中抽取对话策略结构的方法及系统,所述方法包括:获取所述对话语料的多个客服语料;其中,所述客服语料中包括多个按序排列的问题信息;基于特征提取算法对所述客服语料中的问题信息进行特征化处理,得到问题信息对应的特征向量;基于聚类算法将所述问题信息对应的特征向量聚类为多个问题聚类簇;基于所述多个按序排列的问题信息获取各问题聚类簇在所述多个客服语料中的顺序标识;基于关联规则算法对各问题聚类簇及其顺序标识进行处理,获取目标问题序列;基于所述目标问题序列确定所述对话策略结构。

    用于文本分类的神经网络系统的训练方法及装置

    公开(公告)号:CN112100387A

    公开(公告)日:2020-12-18

    申请号:CN202011269071.3

    申请日:2020-11-13

    Abstract: 本说明书实施例提供一种用于文本分类的神经网络系统的训练方法,该神经网络系统包括文本表征网络、特征提取层和分类网络。该训练方法包括:首先,获取训练文本集,该训练文本集对应K个类别;接着,针对该训练文本集中任一的第一训练文本,利用上述文本表征网络对其进行处理,得到第一文本向量;然后,利用上述特征提取层,将该第一文本向量分别与对应所述K个类别的K个类别特征向量进行组合操作,得到K个特征提取向量;再接着,基于该K个特征提取向量和上述分类网络,确定分类预测结果;再然后,基于该分类预测结果和上述第一训练文本的类别标签,训练上述神经网络系统。

    3D模型的生成方法和系统
    8.
    发明公开

    公开(公告)号:CN119648885A

    公开(公告)日:2025-03-18

    申请号:CN202411813040.8

    申请日:2024-12-10

    Abstract: 本说明书提供一种3D模型的生成方法和系统,包括:获得目标对象在m个视角、以及每个视角下的n个域成像时,目标对象的目标射线与所述目标对象的表面之间的目标交点,根据目标交点确定目标对象的目标物理材质值,基于物理约束对目标物理材质值和目标交点进行逆渲染,得到目标对象的3D模型,其中,物理约束用于约束各目标交点各自对应的像素值在物理属性上具有一致性。可以确保生成的3D模型在物理属性上具有一致性,以使得生成的3D模型很好的重现了目标对象成像时的成像环境,也使得3D模型在光照、阴影、反射等方面更加逼真。

    用户意图的统计分析及结果展示方法和装置

    公开(公告)号:CN112115249B

    公开(公告)日:2023-11-14

    申请号:CN202011034837.X

    申请日:2020-09-27

    Inventor: 王福东 杨明晖

    Abstract: 本说明书实施例提供一种用户意图的统计分析及结果展示方法和装置,方法包括:获取预设时间段内的各用户与客服的各历史多轮对话;针对任一历史多轮对话,利用意图分类模型确定该历史多轮对话中各轮对话分别对应的用户意图;针对各历史多轮对话中的首轮对话分别对应的用户意图进行统计分析,得到首轮对话的统计分析结果,至少包括首轮的各用户意图;将首轮的各用户意图分别作为待展示的树状层次结构图中的首层节点,建立首层节点与树状层次结构图的根节点的路径;按照历史多轮对话中各轮对话的轮次顺序,针对各轮次进行统计分析,建立该多个第i层节点到上一层节点的路径。能够对于更为准确的识别出用户意图提供有效的信息,提高工作效率。

    用于文本分类的神经网络系统的训练方法及装置

    公开(公告)号:CN112100387B

    公开(公告)日:2021-02-19

    申请号:CN202011269071.3

    申请日:2020-11-13

    Abstract: 本说明书实施例提供一种用于文本分类的神经网络系统的训练方法,该神经网络系统包括文本表征网络、特征提取层和分类网络。该训练方法包括:首先,获取训练文本集,该训练文本集对应K个类别;接着,针对该训练文本集中任一的第一训练文本,利用上述文本表征网络对其进行处理,得到第一文本向量;然后,利用上述特征提取层,将该第一文本向量分别与对应所述K个类别的K个类别特征向量进行组合操作,得到K个特征提取向量;再接着,基于该K个特征提取向量和上述分类网络,确定分类预测结果;再然后,基于该分类预测结果和上述第一训练文本的类别标签,训练上述神经网络系统。

Patent Agency Ranking