基于反事实数据增强和多视角思维链的大模型知识蒸馏方法

    公开(公告)号:CN119721182A

    公开(公告)日:2025-03-28

    申请号:CN202411594814.2

    申请日:2024-11-10

    Applicant: 浙江大学

    Inventor: 张寅 冯韬

    Abstract: 本发明公开了一种基于反事实数据增强和多视角思维链的大模型知识蒸馏方法。本发明首先利用主题词和语法分析树获取文本语义的关键特征,并用大语言模型自动的生成高质量反事实数据,然后利用多视角思维链增强反事实数据的多样性,提升小语言模型的推理能力。和现有技术相比,本发明提出的大模型反事实蒸馏框架能够增强小模型推理的鲁棒性和泛化能力,在不同架构的小语言模型和不同分布的数据集上都取得了优异的性能。

    一种基于分层强化学习的聚合式搜索排序方法

    公开(公告)号:CN113609254B

    公开(公告)日:2024-04-05

    申请号:CN202110862739.3

    申请日:2021-07-29

    Applicant: 浙江大学

    Inventor: 张寅 杨璞 何水兵

    Abstract: 本发明公开了一种基于分层强化学习的聚合式搜索排序方法。本发明采用分层强化学习获得的针对聚合式搜索排序问题的排序策略,可以较大地提升页面内容与查询的相关性。本发明包括如下步骤:1)首先从已标注数据中获取查询、搜索结果,得到它们的特征表示;2)构建聚合式搜索排序模拟器;3)利用模拟器训练分层强化学习模型;4)通过分层强化学习方法确定聚合式搜索排序策略,在搜索引擎中进行应用。和现有技术相比,本发明结合了分层强化学习方法,系统地对聚合式搜索排序问题进行建模,针对不同查询的特征选择合适的搜索结果,形成特别的聚合式搜索排序方法,创造性地提升了排序的工作效率和效果。

    一种基于原型对比自训练的跨域图像分类方法

    公开(公告)号:CN115908892A

    公开(公告)日:2023-04-04

    申请号:CN202211230693.4

    申请日:2022-10-09

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于原型对比自训练的跨域图像分类方法。本发明包括如下步骤:1)通过域不变特征学习方法,获得跨域图像分类模型;2)利用当前最新的跨域图像分类模型预测目标域上图像的伪标签,使用每个批次的数据不断更新每个类别的原型并计算对比损失;3)将分类损失和对比损失结合构成目标函数进行训练,优化更新特征抽取网络与跨域图像分类网络,再回到步骤2)循环执行。本发明将原型对比学习融入到自训练中,通过将目标域中无标签图像数据的分布结构编码进自训练框架中,并在自学习的过程中完全放弃掉源数据,有效解决了域不变表征学习与自训练方法之间的不兼容问题,提升了跨域图像分类网络对分类边界附近相似图像数据分类的鲁棒性。

    一种基于自然语言提示机制的持续小样本意图识别方法

    公开(公告)号:CN115688872A

    公开(公告)日:2023-02-03

    申请号:CN202211237121.9

    申请日:2022-10-10

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于自然语言提示机制的持续小样本意图识别方法。本发明包括如下步骤:1)教师模型准备:在新任务上从零初始化教师模型,并进行基于对比学习方式的微调;2)执行知识蒸馏:冻结教师模型,利用新任务数据,对旧任务上训练得到的模型执行知识蒸馏,迁移教师表征;3)执行内存重放:利用从旧任务中保存的少量数据在当前学生模型上执行对比学习方式的重放。和现有技术相比,本发明针对持续学习场景下的小样本意图识别问题,首次提出了一种参数高效的自然语言提示机制,结合内存重放和知识蒸馏策略,能够极大地缓解持续学习过程中的知识遗忘问题和知识负迁移问题。

    一种基于强化学习的域协调多智能体系统协作控制方法

    公开(公告)号:CN113625561A

    公开(公告)日:2021-11-09

    申请号:CN202110863195.2

    申请日:2021-07-29

    Applicant: 浙江大学

    Inventor: 张寅 王淑晗

    Abstract: 本发明公开了一种基于强化学习的域协调多智能体系统协作控制方法。该方法将每个机器人视为多域协作场景中的一个智能体,对其进行域的划分;然后使用先验域信息作为监督信号,在图卷积层中约束同域智能体之间形成更加相似的域共识向量,进行域内强协调。域共识向量可被理解为同域智能体之间应产生的对于环境的共同认知,有助于智能体加深对环境的理解,形成更紧密的合作关系;再通过图网络进行链路传播,在集中式价值网络中沟通各个智能体,完成域内强协调和域外弱协调的统一;模型训练完成后策略网络分散执行,根据智能体的观察决定采取的动作。和现有技术相比,本发明在多域协作场景下有出色表现,大大提高了多智能体系统的协作效率。

    一种基于分层强化学习的聚合式搜索排序方法

    公开(公告)号:CN113609254A

    公开(公告)日:2021-11-05

    申请号:CN202110862739.3

    申请日:2021-07-29

    Applicant: 浙江大学

    Inventor: 张寅 杨璞 何水兵

    Abstract: 本发明公开了一种基于分层强化学习的聚合式搜索排序方法。本发明采用分层强化学习获得的针对聚合式搜索排序问题的排序策略,可以较大地提升页面内容与查询的相关性。本发明包括如下步骤:1)首先从已标注数据中获取查询、搜索结果,得到它们的特征表示;2)构建聚合式搜索排序模拟器;3)利用模拟器训练分层强化学习模型;4)通过分层强化学习方法确定聚合式搜索排序策略,在搜索引擎中进行应用。和现有技术相比,本发明结合了分层强化学习方法,系统地对聚合式搜索排序问题进行建模,针对不同查询的特征选择合适的搜索结果,形成特别的聚合式搜索排序方法,创造性地提升了排序的工作效率和效果。

    一种基于变分自动编码器的混合推荐方法

    公开(公告)号:CN108647226B

    公开(公告)日:2021-11-02

    申请号:CN201810253803.6

    申请日:2018-03-26

    Applicant: 浙江大学

    Inventor: 张寅 林建实

    Abstract: 本发明公开了一种基于变分自动编码器的混合推荐方法。方法通过使用变分自动编码器对用户和物品的评分特征和内容特征进行建模,通过因子分解机对稀疏特征进行编码,自动进行特征高阶组合;同时,将用户和物品的多视图数据特征融合到变分自动编码器的架构里,以解决冷启动问题;并且通过用户和物品的隐向量编码的变分推断分析,为自动编码器生成隐向量编码提供了解释性;通过输入用户和物品相对应的特征,能够获取到用户对候选物品集合的偏好值,根据偏好值进行排序得到推荐结果。本发明相对于传统推荐方法能够有更好的推荐效果。

    一种基于树状事件扁平化的文档级别多事件抽取方法

    公开(公告)号:CN113239696A

    公开(公告)日:2021-08-10

    申请号:CN202110571387.6

    申请日:2021-05-25

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于树状事件扁平化的文档级别多事件抽取方法。该方法具体如下:1)将滑动窗口切分后的文档片段集合通过训练好的NER模型抽取出所有的论元实体;2)将平均置信度高于阈值的论元实体通过回溯算法生成所有语义合法的事件论元组合,把每个表示事件实例的事件论元组合填充到相应事件类型的句子模板中构造成相应的LPS;3)LPS通过递进式学习的方式构造成LDF,输入到训练好的AAM中预测包含的事件实例的真实性;4)选择分类类别为真且置信度高于阈值的事件实例作为预测的事件实例结果。本发明能够处理文档级别的多事件抽取任务,从较长的文本序列中抽取出多个事件实例,且性能优于现有的基线模型。

    一种引入分层形声特征的中文词向量表示学习方法

    公开(公告)号:CN110427608A

    公开(公告)日:2019-11-08

    申请号:CN201910549589.3

    申请日:2019-06-24

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于分层形声特征增强的中文词向量表示技术。采用分层形声特征增强的中文词向量表示方法,可以较大地提升中文词向量的效果。本发明包括如下步骤:1)首先运用爬虫工具抓取中文词语的相关形态和发音信息;2)通过对形态和发音信息的分层组合,构成形态特征和声音特征,构建词语的特征表示;3)通过注意力机制对输入部分的形声特征进行权重调节;4)采用解耦预测和混合预测联合的训练方式来训练词向量的表示。和现有技术相比,本发明结合了中文词语多层次的形态和发音信息,并采用解耦预测和混合预测联合的方式,系统地进行词向量的训练,形成独具一格的中文词向量表示技术,创造性地提升了中文词向量的效果。

    一种基于多视图锚点图哈希技术的个性化推荐方法

    公开(公告)号:CN105956093B

    公开(公告)日:2019-04-30

    申请号:CN201610285239.7

    申请日:2016-04-29

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于多视图锚点图哈希技术的个性化推荐方法,包括如下步骤:1)根据用户在不同视图下的行为数据构建用户数据的多视图锚点图表示;2)利用得到的多视图锚点图与用户的行为数据生成连续空间中的用户哈希编码;3)对连续空间中的哈希编码进行量化,得到用户对应的二进制哈希编码;4)利用得到的用户哈希编码为目标用户搜索相似用户;5)将相似用户对应的偏好物品集合作为推荐候选列表,计算目标用户对候选物品的偏好程度,返回偏好程度最大的若干个物品作为推荐结果。本发明将用户在不同视图下的数据进行了整合,提高了推荐结果的质量。同时利用相似度保留的哈希编码实现了相似用户的快速搜索,提高了推荐结果计算的效率。

Patent Agency Ranking