公开(公告)号：CN115860122A

公开(公告)日：2023-03-28

申请号：CN202211566685.7

申请日：2022-12-07

Applicant: 之江实验室 ,  西安电子科技大学

Inventor： 黄刚 ,  王丹 ,  李波 ,  俞再亮

IPC: G06N5/04 ,  G06N5/043 ,  G06N5/022 ,  G06F16/36 ,  G06F16/35 ,  G06N3/045 ,  G06N3/0442 ,  G06N3/042 ,  G06N3/047 ,  G06N3/048 ,  G06N3/092

Abstract: 本发明公开了一种基于多智能体强化学习的知识图谱多跳推理方法，针对知识图谱推理过程中存在的长路径推理性能差、只注重关系选择而忽略实体选择重要性和未能充分利用实体、关系多重语义的问题。该发明含有以下步骤，将知识图谱作为智能体感知的环境，并对知识图谱进行预处理；设计强化学习算法中用于训练智能体的网络结构；初始化所有智能体的状态信息和算法参数；将预处理的知识图谱作为智能体的环境，利用强化学习算法使智能体与环境交互进行迭代学习，得到训练完成的策略网络；使用训练完成的策略网络对待处理的知识图谱进行推理预测。本技术能够克服实体或关系的多重语义带来的语义歧义问题，从而提高智能体路径推理的准确性。

公开(公告)号：CN115033594A

公开(公告)日：2022-09-09

申请号：CN202210953656.X

申请日：2022-08-10

Applicant: 之江实验室

Inventor： 张梦璘 ,  郏维强 ,  华炜 ,  俞再亮 ,  马树楷 ,  韩松岭

IPC: G06F16/242 ,  G06F16/2453 ,  G06F40/216 ,  G06F40/289

Abstract: 本发明提供了一种给出置信度的垂直领域检索方法和装置，方法包括在初次启动检索引擎时，生成用来将预存信息生成查询过程中所需要的第一词权重表、惩罚词权重表；对待查语句集进行处理，生成待查语句的满匹配得分表和倒排索引表；用户输入查询语句，求得该查询语句与待查语句集的匹配置信度并进行降序排列。本发明充分考虑未涵盖在特定语料库中的词汇，使用协调因子重构其词权重，并设计合理的计算公式给出令人信服的匹配置信度，从而支撑下游任务的顺利进行。

公开(公告)号：CN117351946B

公开(公告)日：2024-10-25

申请号：CN202311413996.4

申请日：2023-10-27

Applicant: 之江实验室

Inventor： 李海燕 ,  俞再亮 ,  易江燕 ,  陶建华 ,  白烨

IPC: G10L15/06 ,  G10L15/183 ,  G10L15/26 ,  G10L19/04

Abstract: 本说明书公开了一种语音识别方法、装置、存储介质及电子设备。在本说明书提供的语音识别方法中，获取样本文本；将所述样本文本输入待训练的双向语言模型，所述双向语言模型至少包括前向预测子网、后向预测子网、融合子网；通过所述前向预测子网根据所述样本文本得到前向预测结果，并通过所述后向预测子网根据所述样本文本得到后向预测结果；通过所述融合子网对所述前向预测结果和所述后向预测结果进行融合，得到双向预测结果；根据所述双向预测结果和所述样本文本之间的差异，对所述双向语言模型进行训练；采用所述双向语言模型对语音识别模型进行知识迁移；采用知识迁移后的语音识别模型进行语音识别。

公开(公告)号：CN115880643B

公开(公告)日：2023-06-27

申请号：CN202310016375.6

申请日：2023-01-06

Applicant: 之江实验室

Inventor： 靖伟 ,  李海燕 ,  吴方闻 ,  王娅静 ,  俞再亮

IPC: G06V20/52 ,  G06V40/10 ,  G06V10/24

Abstract: 本申请涉及人工智能技术领域，尤其是涉及一种基于目标检测算法的社交距离监测方法和装置，该方法包括：步骤一，获取监控设备的拍摄参数，以及监控视频中的实时视频流，并对视频流进行抽帧操作，获取到图像样本；步骤二，采用目标检测算法对图像样本进行行人运动目标物检测，后对检测到的行人运动目标物进行基于中心点的标记；步骤三，采用图像类比算法计算行人间距；步骤四，设定行人间距阈值，对于小于行人间距阈值的行人间距，对其对应的行人标记做警示处理。本发明对于固定监控场景下进行监控图像处理，并对行人间距进行实时计算，并做出警示标识，大大简化了计算逻辑，提升计算效率，增强距离精度计算，使整个社交距离的监控更加稳定流畅。

公开(公告)号：CN115424110A

公开(公告)日：2022-12-02

申请号：CN202210991817.4

申请日：2022-08-17

Applicant: 之江实验室 ,  电子科技大学

Inventor： 靖伟 ,  苏思桐 ,  范康 ,  俞再亮 ,  刘玉 ,  宋井宽

IPC: G06V10/82 ,  G06V10/80 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明涉及图像处理领域，具体涉及一种掩码变形方法，其能在仅知晓目标域标签信息的前提下，实现域之间的实例形变，且能够使得实例和掩码信息保持一致，其首先获得源域掩码的整体特征，然后将源域的各实例掩码分别与整体特征进行融合，获得各实例掩码特征；然后，再将目标域标签信息的特征编码分别嵌入各实例掩码特征；最后，通过生成器输出目标域生成掩码，作为对应目标域的实例掩码。同时，提供了一种掩码变形方法的掩码形变网络的训练方法，其以目标域真实掩码和通过上述掩码形变网络生成的掩码构成正负样本对，进行生成对抗网络训练，提出了一种有效且高效的训练范式。

公开(公告)号：CN112884021B

公开(公告)日：2022-09-02

申请号：CN202110127717.2

申请日：2021-01-29

Applicant: 之江实验室 ,  杭州电子科技大学

Inventor： 单海军 ,  俞再亮 ,  徐岗 ,  吴向阳 ,  刘真 ,  李勇杰 ,  杨凯兵 ,  王丹丹 ,  马书豪 ,  姜子敬 ,  陈思强 ,  渠冲冲 ,  朱威特 ,  徐懂事 ,  高炜哲

IPC: G06V10/77 ,  G06V10/764 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种面向深度神经网络可解释性的可视分析系统，包括：深度学习模型结构和计算过程的解释性可视化模块，揭示深度学习模型内部的网络结构和数据流的逐步计算流程；训练过程数据流的解释性可视化模块，揭示整个训练过程中数据流的统计信息；神经网络特征提取功能的解释性可视化模块，将神经元权重或神经元输出以可视化方式展示给用户，以解释各层神经元的特征提取能力，通过对比可视化方式，发现模型在不同时间点、不同参数等情况下的表现差异；数据异常值的解释性可视化模块，帮助用户发现数据中的异常和训练中模型参数的异常，提示用户及时暂停和修改模型参数；用户定制功能可视化模块，支持多种可视化模块在同一个页面中进行展示。

公开(公告)号：CN113191385B

公开(公告)日：2022-06-03

申请号：CN202110318366.3

申请日：2021-03-25

Applicant: 之江实验室

Inventor： 钟昊文 ,  陈岱渊 ,  单海军 ,  杨非 ,  傅家庆 ,  俞再亮

IPC: G06V10/774 ,  G06V10/762 ,  G06V10/764 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于预训练标注数据不可知的图像分类自动标注方法，包括如下步骤：S1，获取待标注图像，收集预训练图像分类模型；S2，将预训练图像分类模型拆分成特征提取模型与标签预测模型，并初始化，固定标签预测模型参数，不参与后续迁移训练；S3，约束特征提取模型，使自动标注模型的输出具体类别确定，整体分布离散；S4，对特征提取模型输出特征进行聚类；S5，筛选出大小超过阈值的聚类簇，所对应的类别组成为待标注图像标签空间；S6，给所有待标注图像打上伪标签；S7，重新聚类并分配伪标签，对特征提取模型进行有监督训练；S8，迭代S3至S7；S9，使用迁移后的自动标注模型对待标注图像进行推理，得到标注结果。

公开(公告)号：CN113673241A

公开(公告)日：2021-11-19

申请号：CN202110885791.0

申请日：2021-08-03

Applicant: 之江实验室 ,  复旦大学

Inventor： 邱锡鹏 ,  安晨鑫 ,  钟鸣 ,  耿志超 ,  杨非 ,  俞再亮

IPC: G06F40/289 ,  G06F40/211 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于范例学习的文本摘要生成框架及方法，允许在摘要生成的过程中参考一些写作范例，框架包括检索和生成两个阶段，检索阶段，给定一个文本，使用对比学习去数据库中检索一些范例，假定越好的摘要在语义空间应该和原文离得更近，检索器的模型使用了孪生网络的结构；生成阶段，提出了一种结合范例进行摘要生成的方法，可以方便的加在目前所有主流的条件生成模型上，为了更好的学习范例，将待生成的摘要和范例摘要按照句子对齐；通过训练好的模型进行预测，即解码阶段，使用集束搜索算法并鼓励那些和范例更相似的束。

公开(公告)号：CN112241455B

公开(公告)日：2021-05-04

申请号：CN202011498328.2

申请日：2020-12-17

Applicant: 之江实验室

Inventor： 王宏升 ,  王恩平 ,  俞再亮

IPC: G06F16/35 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于多层级知识蒸馏的预训练语言模型自动压缩方法及平台，所述方法包括如下步骤：步骤一、构建多层级知识蒸馏，在自注意力单元、隐藏层状态、嵌入层三个不同层级上蒸馏大模型的知识结构；步骤二、训练元学习的知识蒸馏网络，生成多种预训练语言模型的通用压缩架构；步骤三、基于进化算法搜索最佳压缩结构。首先，研究基于元学习的知识蒸馏生成多种预训练语言模型的通用压缩架构；其次，在已训练好的元学习网络基础上，通过进化算法搜索最佳压缩结构，由此得到与任务无关的预训练语言模型的最优通用压缩架构。

公开(公告)号：CN116975253A

公开(公告)日：2023-10-31

申请号：CN202310750125.5

申请日：2023-06-25

Applicant: 之江实验室 ,  杭州电子科技大学

Inventor： 俞再亮 ,  裘云蕾 ,  潘淑 ,  吴向阳 ,  刘真 ,  徐岗 ,  孙海波 ,  林裕皓 ,  高飞

IPC: G06F16/34 ,  G06T11/20 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于Transformer自注意力的可视分析方法及装置。本发明通过可视分析图表了解深度学习模型的训练层及注意力头的自注意力的整体分布情况及统计规律，并可通过数据链接图和矩阵图具体训练样本查看自注意力在实例中的联系情况；计算机视觉领域的注意力可视分析揭示在训练任务中像素块之间的相互关注性，通过全局归一化和局部归一化两种方式查看不同层和头之间的自注意力分布情况，获得下游任务得出结果的过程。通过本发明，研究人员利用统计分析图表，可直观地观察Transformer模型内部注意力头的值分布情况，选择感兴趣的注意力头。且通过具体的单个注意力头可视化，研究人员可以分析注意力头在具体任务中所发挥的作用，帮助研究人员改进优化模型。