-
公开(公告)号:CN114419524B
公开(公告)日:2022-08-05
申请号:CN202210316304.3
申请日:2022-03-29
Applicant: 之江实验室
Abstract: 本发明公开了一种基于伪光流辅助的视频分类方法及系统,能够计算伪光流特征并利用其辅助进行视频分类,其中伪光流计算模块利用相关性计算/卷积/转置卷积等操作,无监督地估计伪光流特征,然后将其融合到主干网络中,从而对段间运动信息进行有效显式建模;伪光流激励模块则在将伪光流特征对通道维度取均值后,用来对主干网络中的视频卷积特征进行空间注意力操作,从而使得主干网络更关注与运动信息更相关的空间位置。本发明实现方法简便,思路灵活,在动作视频数据集上取得了显著的分类效果提升。
-
公开(公告)号:CN112014022B
公开(公告)日:2022-07-29
申请号:CN202010850570.5
申请日:2020-08-21
Applicant: 之江实验室
Abstract: 本发明公开了一种基于微纳光纤的光电融合触觉传感器,包括结合在一起的触觉刺激接收层、三维力传感层和温度传感层,三维力传感层位于触觉刺激接收层和温度传感层之间。其中,三维力传感层主要用于感知外界压力的大小和方向,封装有微纳光纤的腰区的温度传感层用于感知温度。本发明通过压电信号和微纳光纤信号的解耦,不仅可以获得三维力的信息,还能获得温度信息,有助于机器人对可变形和易碎物体的稳定抓取和精确操控,增强机器人对环境的认知能力。本发明具有柔性好、灵敏度高、抗电磁干扰能力强等特点,为智能机器人的触觉感知控制系统提供了一种新型的触觉传感器。
-
公开(公告)号:CN114064967B
公开(公告)日:2022-05-06
申请号:CN202210052687.8
申请日:2022-01-18
Applicant: 之江实验室
IPC: G06F16/735 , G06F16/78 , G06F16/783 , G06N3/04 , G06N3/08 , H04N19/149 , H04N19/21
Abstract: 本发明公开了多粒度级联交互网络的跨模态时序行为定位方法及装置,用于解决未修剪视频中基于给定文本查询的时序行为定位问题。本发明实施一种新的多粒度级联跨模态交互网络,以由粗到细的方式进行级联跨模态交互,用以提升模型的跨模态对齐能力。此外,本发明引入了一种局部‑全局上下文感知的视频编码器(local‑global context‑aware video encoder),用于提升视频编码器的上下文时序依赖建模能力。本发明实现方法简单,手段灵活,在提升视觉‑语言跨模态对齐精度方面具有优势,且训练所得模型在成对的视频‑查询测试数据上可显著提升时序定位准确度。
-
公开(公告)号:CN114419524A
公开(公告)日:2022-04-29
申请号:CN202210316304.3
申请日:2022-03-29
Applicant: 之江实验室
Abstract: 本发明公开了一种基于伪光流辅助的视频分类方法及系统,能够计算伪光流特征并利用其辅助进行视频分类,其中伪光流计算模块利用相关性计算/卷积/转置卷积等操作,无监督地估计伪光流特征,然后将其融合到主干网络中,从而对段间运动信息进行有效显式建模;伪光流激励模块则在将伪光流特征对通道维度取均值后,用来对主干网络中的视频卷积特征进行空间注意力操作,从而使得主干网络更关注与运动信息更相关的空间位置。本发明实现方法简便,思路灵活,在动作视频数据集上取得了显著的分类效果提升。
-
公开(公告)号:CN112179412B
公开(公告)日:2022-02-22
申请号:CN202011031182.0
申请日:2020-09-27
Applicant: 之江实验室
IPC: G01D21/02
Abstract: 本发明公开了一种能够用于集成微纳光纤传感器的装置,其中,芯片级光源和芯片级光探测器固定于柔性基底上,微纳光纤传感器中的微纳光纤的第一连接端的纤芯直径大于所传输的光的波长,微纳光纤的第二连接端的纤芯直径为亚波长尺度,第一连接端的端面固定于柔性基底上并与芯片级光源的出射光相对,使芯片级光源的出射光能够耦合进入微纳光纤,第二连接端的头部与芯片级光探测器的感光面粘接在一起且两者结合处封装于不透光封装物内,微纳光纤中纤芯直径为亚波长尺度的部分被封装。本发明不依赖接口元件,将微纳光纤传感器与芯片级光源和光探测器集成为芯片级器件,并使芯片级光探测器有效探测到微纳光纤的出射光,克服了迄今难以克服的技术障碍。
-
公开(公告)号:CN113918351A
公开(公告)日:2022-01-11
申请号:CN202111487478.8
申请日:2021-12-08
Applicant: 之江实验室
IPC: G06F9/50 , G06F16/901 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种深度学习框架与AI加速卡片内分布式训练适配方法和装置,包括如下步骤:S1:深度学习框架支持新增AI加速卡片内单卡配置,其子步骤如下:S11:深度学习框架支持新硬件;S12:深度学习框架支持新硬件的设备线程;S13:深度学习框架支持新硬件的内存操作;S14:深度学习框架支持新硬件的算子核函数;S2:深度学习框架支持新增AI加速卡片内多卡配置;S3:深度学习框架支持张量切分和多卡分布;S4:深度学习框架支持新增AI加速卡片内多卡集合通信,本发明打通了深度学习框架与新增AI加速卡,并将深度学习框架源码与芯片底层软件全面对接,最大限度释放芯片的硬件能力,为端侧AI提供最强劲的算力。
-
公开(公告)号:CN112396063A
公开(公告)日:2021-02-23
申请号:CN202011415482.9
申请日:2020-12-07
Applicant: 之江实验室
Abstract: 本发明公开了一种聚集激励上下文金字塔的人像语义解析方法,该方法中采用由多个并行的不同空间幅度比率聚集激励单元组成聚集激励上下文金字塔模块对编码模块提取高级语义特征捕捉丰富的多尺度上下文信息。再将得到的高层语义上下文特征与编码模块中的输出特征相结合通过解码模块得到初步人像语义解析结果。最后,检测输入人像图片的边缘信息并与初步人像语义解析结果融合进一步改善得到最终的人像语义解析结果。同时引入深度辅助损失分支,辅助获取更佳的效果。本发明采用聚集激励上下文金字塔人像语义解析方法,相比于其他当前先进的人像语义解析算法,构建的模型是轻量的,但拥有很高的分割性能。
-
公开(公告)号:CN112381215A
公开(公告)日:2021-02-19
申请号:CN202011493383.2
申请日:2020-12-17
Applicant: 之江实验室
Abstract: 本发明公开了一种面向自动机器学习的自适应搜索空间生成方法与装置,该方法包括如下步骤:步骤一、全量收集计算机视觉领域的各类任务,形成视觉任务集合;步骤二、定义不同层次元模块,形成初始元模块搜索空间;步骤三、根据视觉任务集合和元模块集合形成视觉任务和元模块矩阵,通过概率统计计算,生成关联概率分布,用于计算目标视觉任务与已有视觉任务的相似度;步骤四、根据相似度,选取与目标视觉任务相关的视觉任务的搜索空间中的元模块,并生成面向相关视觉任务的子搜索空间;步骤五、更新视觉任务集合和元模块集合。本发明对任务与元模块图谱引入动态更新的反馈机制,有利于图谱的不断优化并增强了图谱对于其他任务的适用性。
-
公开(公告)号:CN111767711A
公开(公告)日:2020-10-13
申请号:CN202010910566.3
申请日:2020-09-02
Applicant: 之江实验室
IPC: G06F40/211 , G06F40/30 , G06K9/62 , G06N5/02 , G06N20/00
Abstract: 本发明公开了一种基于知识蒸馏的预训练语言模型的压缩方法及平台,该方法首先设计一种普适的特征迁移的知识蒸馏策略,在教师模型的知识蒸馏到学生模型的过程中,将学生模型每一层的特征映射逼近教师的特征,重点关注小样本在教师模型中间层特征表达能力,并利用这些特征指导学生模型;然后利用教师模型的自注意力分布具有检测词语之间语义和句法的能力构建一种基于自注意力交叉知识蒸馏方法;最后为了提升学习模型训练前期的学习质量和训练后期的泛化能力,设计了一种基于伯努利概率分布的线性迁移策略逐渐完成从教师到学生的特征映射和自注意分布的知识迁移。通过本发明,将面向多任务的预训练语言模型进行自动压缩,提高语言模型的压缩效率。
-
公开(公告)号:CN116740668B
公开(公告)日:2023-11-14
申请号:CN202311029637.9
申请日:2023-08-16
Applicant: 之江实验室
Abstract: 本申请涉及一种三维目标检测方法、装置、计算机设备和存储介质,所述方法包括:获取多个待检测图像,多个所述待检测图像基于多目相机生成;基于多个所述待检测图像,获取对应的预设体素空间的体素化图像特征;基于离线点云地图获取与所述预设体素空间相对应的体素化点云特征,并对所述体素化图像特征以及所述体素化点云特征进行融合,得到体素融合特征;基于所述体素融合特征,获取目标对象的识别结果。本申请解决了相关技术中存在的基于多目相机的三维目标检测精度较低的技术问题,并且对运算的消耗较小,在检测时常几乎不变的前提下显著提高了目标检测精度,拓展了智能驾驶感知技术的应用范围。
-
-
-
-
-
-
-
-
-