-
公开(公告)号:CN115223086A
公开(公告)日:2022-10-21
申请号:CN202211145164.4
申请日:2022-09-20
Applicant: 之江实验室
IPC: G06V20/40 , G06V40/20 , G06V20/62 , G06V10/26 , G06V10/82 , G06F40/284 , G06F40/30 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于交互注意力引导与修正的跨模态动作定位方法和系统,该方法使用三维卷积神经网络和词向量模型提取视频和文本描述的特征表示,并使用双向长短时间记忆网络学习视频和文本描述的上下文信息;再使用交互注意力引导模块进行视频和文本跨模态特征增强,进一步通过修正门控单元进行语义信息融合;最后将融合后的多模态特征送入到时序定位模块以获得时序片段的匹配度得分和时序边界偏移量。本发明通过增强视频和文本的特征融合能力,能有效提高视频动作定位的性能,满足现实生活中复杂场景的视频动作定位需求。
-
公开(公告)号:CN115223086B
公开(公告)日:2022-12-06
申请号:CN202211145164.4
申请日:2022-09-20
Applicant: 之江实验室
IPC: G06V20/40 , G06V40/20 , G06V20/62 , G06V10/26 , G06V10/82 , G06F40/284 , G06F40/30 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于交互注意力引导与修正的跨模态动作定位方法和系统,该方法使用三维卷积神经网络和词向量模型提取视频和文本描述的特征表示,并使用双向长短时间记忆网络学习视频和文本描述的上下文信息;再使用交互注意力引导模块进行视频和文本跨模态特征增强,进一步通过修正门控单元进行语义信息融合;最后将融合后的多模态特征送入到时序定位模块以获得时序片段的匹配度得分和时序边界偏移量。本发明通过增强视频和文本的特征融合能力,能有效提高视频动作定位的性能,满足现实生活中复杂场景的视频动作定位需求。
-
公开(公告)号:CN117905734A
公开(公告)日:2024-04-19
申请号:CN202311793747.2
申请日:2023-12-25
Applicant: 之江实验室
Abstract: 本发明公开了一体化双电液伺服阀控液压驱动单元系统及控制方法,通过采取双电液伺服阀通过滑阀节流口控制液压缸两腔流量控制机器人关节转动,油压传感器负载压力,将两腔的压差信号输入到液压伺服控制器中,同时位移传感器将位置反馈信号输入到液压伺服控制器中,液压伺服控制器根据前馈压差和反馈位置计算得到电液伺服阀驱动控制信号,液压伺服控制器通过单片机远程输入输出口进行远程控制伺服驱动器,进而驱动伺服电机动作调节高压油泵的压力,同时输出的电液伺服阀驱动信号控制双电液伺服阀同时进行进出油操作,提高活塞杆的响应速度,通过前馈和反馈的控制方式可实现力控精度的提升。本发明在高频响、大负载液压机器人领域具有重要应用价值。
-
公开(公告)号:CN117863175A
公开(公告)日:2024-04-12
申请号:CN202311793745.3
申请日:2023-12-25
Applicant: 之江实验室
Abstract: 本发明公开了一种弹琴机器人离线评优系统及方法,首先通过一组三套麦克风系统进行数据采集和筛选,进而通过模式选择器选择曲符、曲片段或者曲全谱作为特征提取模块的输入,特征提取模块对数据进行提取并转化为时频谱图,进而做时频灰度化、生成灰度共生矩阵、提取特征参数,将待测特征参数导入等级筛选模块与标准曲谱的特征参数进行对比,等级筛选器按照偏差百分比进行等级划分,最后输出待测曲谱的等级标准。本发明方法原理简单,等级筛选的准确度高,可以有效地对弹琴机器人的演奏进行客观评价,提高评价的效率和准确性。
-
-
-