用于知识蒸馏的模型选择学习

    公开(公告)号:CN113822434B

    公开(公告)日:2025-05-13

    申请号:CN202010561319.7

    申请日:2020-06-18

    Abstract: 本公开提供了用于基于知识蒸馏来获得目标模型的方法和装置。可以获得数据集合和一组候选参考模型。可以针对所述数据集合中的每个训练样本,确定从所述一组候选参考模型中选择出的一组选定参考模型。可以获取所述一组选定参考模型针对所述训练样本输出的一组目标概率分布。可以利用所述一组目标概率分布来训练所述目标模型。

    建立适合于跨语言序列标记任务的语言模型

    公开(公告)号:CN116976340A

    公开(公告)日:2023-10-31

    申请号:CN202210434197.4

    申请日:2022-04-24

    Abstract: 本公开提供了用于建立适合于跨语言序列标记任务的语言模型的方法、装置、计算机程序产品和计算机可读介质。可以获得包括采用第一语言的第一语句和采用第二语言的第二语句的训练语句对,所述第二语句是所述第一语句在所述第二语言中的版本。可以利用至少一个预定义词条来屏蔽所述第一语句中的至少一个原始片段,以获得经屏蔽的第一语句。可以至少利用所述经屏蔽的第一语句和所述第二语句来形成所述语言模型的输入序列。可以通过所述语言模型生成所述输入序列的输入序列表示。可以至少基于所述输入序列表示来执行目标片段预测,以预测所述第二语句中的至少一个目标片段的起始位置和结束位置,所述至少一个目标片段分别对应于所述至少一个预定义词条。可以至少基于所述目标片段预测来优化所述语言模型。

    基于图增强协同过滤的内容推荐
    4.
    发明公开

    公开(公告)号:CN116340645A

    公开(公告)日:2023-06-27

    申请号:CN202111587928.0

    申请日:2021-12-23

    Abstract: 本公开提出了用于基于图增强协同过滤的内容推荐的方法、装置和计算机程序产品。可以生成候选内容项的候选内容项表示。可以生成与目标用户的一组历史内容项相对应的一组历史内容项表示。可以基于一组元兴趣来生成针对全体用户的一组总体兴趣表示,每个元兴趣表征一个兴趣元素。可以基于所述一组历史内容项表示和所述一组总体兴趣表示来生成所述目标用户的用户兴趣表示。可以基于所述候选内容项表示和所述用户兴趣表示来预测所述目标用户点击所述候选内容项的点击概率。

    基于断言的问答
    6.
    发明授权

    公开(公告)号:CN110019719B

    公开(公告)日:2023-04-25

    申请号:CN201711354191.1

    申请日:2017-12-15

    Abstract: 在本文所描述的主题的实施例中,提出了一种基于断言的问答方式。在获得问题以及相关文章之后,根据文章的内容来确定针对该问题的断言回答,其中断言回答具有预定结构并且表示完整的语义。然后,可以向用户输出针对该问题的断言回答。在根据本文所描述的主题的实施例中,使用问题和相关文章作为输入,并且输出半结构化的断言回答。根据本文所描述的主题的实施例的断言回答能够提供比传统的短回答更丰富的语义内容,并且提供比传统的长回答更简洁的表达,由此提升了用户体验同时保证了回答的准确性。

    用户兴趣的分层表示学习
    7.
    发明公开

    公开(公告)号:CN115878882A

    公开(公告)日:2023-03-31

    申请号:CN202111128750.3

    申请日:2021-09-26

    Abstract: 本公开提出了用于用户兴趣的分层表示学习的方法、装置和计算机程序产品。可以获得用户的历史内容项序列。可以识别所述历史内容项序列中的每个历史内容项的主题和文本,以获得与所述历史内容项序列相对应的主题序列和文本序列。可以基于所述主题序列来生成综合主题表示。可以基于所述文本序列来生成综合文本表示。可以基于所述综合主题表示和所述综合文本表示来生成所述用户的用户兴趣表示。

    跨语言的任务训练
    8.
    发明公开

    公开(公告)号:CN112084295A

    公开(公告)日:2020-12-15

    申请号:CN201910447514.4

    申请日:2019-05-27

    Abstract: 在本公开的实施例中,提出了一种跨语言的任务训练方法。在获得一种语言的训练句子之后,对训练句子中的某个词语进行掩码,然后获得与被掩码的词语相对应的另一种语言的对应词语。接下来,使用一种语言的掩码句子和另一种语言的对应词语来预训练跨语言模型。经过预训练的跨语言模型具备多语言的理解和处理能力,其可以根据特定任务再进行进一步训练。根据本公开的实施例,在一种语言存在大量训练语料而另一种语言存在较少甚至没有训练语料的情况下,可以通过跨语言训练方式来预训练跨语言模型,使得跨语言模型能够适用于另一种语言,由此实现针对各种语言的模型训练。

    跨语言的任务训练
    9.
    发明授权

    公开(公告)号:CN112084295B

    公开(公告)日:2024-12-10

    申请号:CN201910447514.4

    申请日:2019-05-27

    Abstract: 在本公开的实施例中,提出了一种跨语言的任务训练方法。在获得一种语言的训练句子之后,对训练句子中的某个词语进行掩码,然后获得与被掩码的词语相对应的另一种语言的对应词语。接下来,使用一种语言的掩码句子和另一种语言的对应词语来预训练跨语言模型。经过预训练的跨语言模型具备多语言的理解和处理能力,其可以根据特定任务再进行进一步训练。根据本公开的实施例,在一种语言存在大量训练语料而另一种语言存在较少甚至没有训练语料的情况下,可以通过跨语言训练方式来预训练跨语言模型,使得跨语言模型能够适用于另一种语言,由此实现针对各种语言的模型训练。

Patent Agency Ranking