公开(公告)号：CN113673241B

公开(公告)日：2024-04-09

申请号：CN202110885791.0

申请日：2021-08-03

Applicant: 之江实验室 ,  复旦大学

Inventor： 邱锡鹏 ,  安晨鑫 ,  钟鸣 ,  耿志超 ,  杨非 ,  俞再亮

IPC: G06F40/289 ,  G06F40/211 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于范例学习的文本摘要生成框架及方法，允许在摘要生成的过程中参考一些写作范例，框架包括检索和生成两个阶段，检索阶段，给定一个文本，使用对比学习去数据库中检索一些范例，假定越好的摘要在语义空间应该和原文离得更近，检索器的模型使用了孪生网络的结构；生成阶段，提出了一种结合范例进行摘要生成的方法，可以方便的加在目前所有主流的条件生成模型上，为了更好的学习范例，将待生成的摘要和范例摘要按照句子对齐；通过训练好的模型进行预测，即解码阶段，使用集束搜索算法并鼓励那些和范例更相似的束。

公开(公告)号：CN116451808A

公开(公告)日：2023-07-18

申请号：CN202310451948.8

申请日：2023-04-23

Applicant: 之江实验室 ,  复旦大学

Inventor： 俞再亮 ,  魏忠钰 ,  李泽君 ,  李海燕 ,  文君

IPC: G06N20/00 ,  G06V10/40 ,  G06F40/226 ,  G06F40/194

Abstract: 本说明书公开了一种模型训练的方法、装置、存储介质及电子设备，获取图文对和翻译文本对，将图文对中的描述文本和翻译文本对包含的两种语言文本输入到预设的视觉语言模型中的文本特征提取层中，以通过文本特征提取层得到描述文本和两种语言文本的文本特征，并将图文对中的图像输入到视觉语言模型中的图像特征提取层中，以通过图像特征提取层得到图像的图像特征。根据图文对中图像的图像特征与描述文本的文本特征，以及翻译文本对中包含的两种语言文本的文本特征，确定目标损失；根据目标损失，对视觉语言模型进行训练。

公开(公告)号：CN116028069A

公开(公告)日：2023-04-28

申请号：CN202310111355.7

申请日：2023-02-07

Applicant: 之江实验室

Inventor： 李海燕 ,  王娅静 ,  俞再亮 ,  李鹏飞 ,  靖伟 ,  吴方闻

IPC: G06F8/61 ,  G06F8/71 ,  G06N20/00

Abstract: 本说明书公开了一种模型部署的方法、装置、存储介质及电子设备。所述模型部署的方法包括：获取目标模型以及目标模型对应的配置文件，确定用于部署所述目标模型的目标设备，并在所述目标设备中创建用于部署所述目标模型的目标系统，根据所述配置文件，从指定的环境信息库中获取所述目标模型所需运行环境的数据包，基于所述数据包，在所述目标系统中创建所述目标模型所需的运行环境，根据所述目标系统中创建所述目标模型所需的运行环境，在所述目标系统中部署所述目标模型，以通过部署后的目标模型执行业务。

公开(公告)号：CN115311608B

公开(公告)日：2023-03-21

申请号：CN202211238639.4

申请日：2022-10-11

Applicant: 之江实验室

Inventor： 靖伟 ,  吴方闻 ,  李海燕 ,  俞再亮 ,  王娅静

IPC: G06V20/40 ,  G06V10/82 ,  G06V10/74 ,  G06V10/62

Abstract: 本发明公开一种多任务多目标关联追踪的方法及装置，该方法包括：步骤一，通过系统后台加载视频流地址或采用摄像头实时采集场景的视频流数据，并对视频进行编解码、抽帧、预处理操作；步骤二，利用目标检测模型对视频的图像数据进行实时推理，获取场景中人员和目标物体的检测结果数据；步骤三，通过人员目标追踪方法，对人员检测结果进行跟踪，获取人员进入场景和离开场景的时间，确定检测单位时间段；步骤四，判断人员停留在场景的时间段内，是否检测到目标物体，如果未检测到目标物体，将返回报警信息给平台端。本发明实现了在多人员和多目标的复杂场景，使用人工智能的方式进行智能检测，减少了人为因素的干扰，并且节约了人工成本。

公开(公告)号：CN112241455A

公开(公告)日：2021-01-19

申请号：CN202011498328.2

申请日：2020-12-17

Applicant: 之江实验室

Inventor： 王宏升 ,  王恩平 ,  俞再亮

IPC: G06F16/35 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于多层级知识蒸馏的预训练语言模型自动压缩方法及平台，所述方法包括如下步骤：步骤一、构建多层级知识蒸馏，在自注意力单元、隐藏层状态、嵌入层三个不同层级上蒸馏大模型的知识结构；步骤二、训练元学习的知识蒸馏网络，生成多种预训练语言模型的通用压缩架构；步骤三、基于进化算法搜索最佳压缩结构。首先，研究基于元学习的知识蒸馏生成多种预训练语言模型的通用压缩架构；其次，在已训练好的元学习网络基础上，通过进化算法搜索最佳压缩结构，由此得到与任务无关的预训练语言模型的最优通用压缩架构。

公开(公告)号：CN117219055A

公开(公告)日：2023-12-12

申请号：CN202311423804.8

申请日：2023-10-27

Applicant: 之江实验室

Inventor： 俞再亮 ,  李海燕 ,  易江燕 ,  陶建华 ,  汪涛

IPC: G10L13/10 ,  G10L13/027 ,  G10L25/03 ,  G10L25/90

Abstract: 本说明书公开了一种基于音色分离的语音生成方法、装置、介质及设备。所述方法包括：获取目标文本以及目标对象的参考语音；将目标文本输入预先训练的语义特征提取模型，以通过语义表征模型，确定目标文本对应的语义特征，以及，将参考语音输入预先训练的语音风格提取模型，以通过语音风格提取模型，确定参考语音对应的语音风格特征；将语义特征以及语音风格特征输入预先训练的语音生成模型，以通过语音生成模型，根据语义特征，将目标文本转换为具有语音风格特征所对应的语音风格信息的目标语音。

公开(公告)号：CN115760670B

公开(公告)日：2023-05-23

申请号：CN202310023010.6

申请日：2023-01-06

Applicant: 之江实验室 ,  浙江工业大学

Inventor： 俞再亮 ,  郏维强 ,  李鹏飞 ,  郑建炜 ,  王一张 ,  赵颖

IPC: G06T5/50 ,  G06T3/40 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/084 ,  G06N3/088

Abstract: 本发明公开了基于网络隐式先验的无监督高光谱融合方法及装置，获取低分辨率高光谱和高分辨率多光谱图像；采用噪声对图像进行扰动；将噪声扰动后的图像输入至编码器‑解码器体系结构，进行多级特征学习，生成高分辨率高光谱图像的模糊估计；对模糊估计分别进行空间和光谱下采样；基于低分辨率高光谱图像与空间下采样的结果，高分辨率多光谱图像与光谱下采样的结果，计算退化模型的损失函数，反向传播退化模型的优化参数给编码器‑解码器体系结构；重复执行上述过程，直至生成高分辨率高光谱图像的模糊估计达到循环终止条件。本发明利用两个并行的特殊卷积块分别模拟空间和光谱下采样，形成一个闭环，实现了无训练样本条件下的无监督学习。

公开(公告)号：CN115860122A

公开(公告)日：2023-03-28

申请号：CN202211566685.7

申请日：2022-12-07

Applicant: 之江实验室 ,  西安电子科技大学

Inventor： 黄刚 ,  王丹 ,  李波 ,  俞再亮

IPC: G06N5/04 ,  G06N5/043 ,  G06N5/022 ,  G06F16/36 ,  G06F16/35 ,  G06N3/045 ,  G06N3/0442 ,  G06N3/042 ,  G06N3/047 ,  G06N3/048 ,  G06N3/092

Abstract: 本发明公开了一种基于多智能体强化学习的知识图谱多跳推理方法，针对知识图谱推理过程中存在的长路径推理性能差、只注重关系选择而忽略实体选择重要性和未能充分利用实体、关系多重语义的问题。该发明含有以下步骤，将知识图谱作为智能体感知的环境，并对知识图谱进行预处理；设计强化学习算法中用于训练智能体的网络结构；初始化所有智能体的状态信息和算法参数；将预处理的知识图谱作为智能体的环境，利用强化学习算法使智能体与环境交互进行迭代学习，得到训练完成的策略网络；使用训练完成的策略网络对待处理的知识图谱进行推理预测。本技术能够克服实体或关系的多重语义带来的语义歧义问题，从而提高智能体路径推理的准确性。

公开(公告)号：CN115033594A

公开(公告)日：2022-09-09

申请号：CN202210953656.X

申请日：2022-08-10

Applicant: 之江实验室

Inventor： 张梦璘 ,  郏维强 ,  华炜 ,  俞再亮 ,  马树楷 ,  韩松岭

IPC: G06F16/242 ,  G06F16/2453 ,  G06F40/216 ,  G06F40/289

Abstract: 本发明提供了一种给出置信度的垂直领域检索方法和装置，方法包括在初次启动检索引擎时，生成用来将预存信息生成查询过程中所需要的第一词权重表、惩罚词权重表；对待查语句集进行处理，生成待查语句的满匹配得分表和倒排索引表；用户输入查询语句，求得该查询语句与待查语句集的匹配置信度并进行降序排列。本发明充分考虑未涵盖在特定语料库中的词汇，使用协调因子重构其词权重，并设计合理的计算公式给出令人信服的匹配置信度，从而支撑下游任务的顺利进行。

公开(公告)号：CN117351946B

公开(公告)日：2024-10-25

申请号：CN202311413996.4

申请日：2023-10-27

Applicant: 之江实验室

Inventor： 李海燕 ,  俞再亮 ,  易江燕 ,  陶建华 ,  白烨

IPC: G10L15/06 ,  G10L15/183 ,  G10L15/26 ,  G10L19/04

Abstract: 本说明书公开了一种语音识别方法、装置、存储介质及电子设备。在本说明书提供的语音识别方法中，获取样本文本；将所述样本文本输入待训练的双向语言模型，所述双向语言模型至少包括前向预测子网、后向预测子网、融合子网；通过所述前向预测子网根据所述样本文本得到前向预测结果，并通过所述后向预测子网根据所述样本文本得到后向预测结果；通过所述融合子网对所述前向预测结果和所述后向预测结果进行融合，得到双向预测结果；根据所述双向预测结果和所述样本文本之间的差异，对所述双向语言模型进行训练；采用所述双向语言模型对语音识别模型进行知识迁移；采用知识迁移后的语音识别模型进行语音识别。