-
公开(公告)号:CN114973356A
公开(公告)日:2022-08-30
申请号:CN202210484571.1
申请日:2022-05-06
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06V40/16 , G06V40/18 , G06V10/774 , G06V10/764
Abstract: 本发明涉及一种基于伪标签的视线估计方法,包括以下步骤:获取面部图像;将所述面部图像输入至训练好的视线评估模型中进行预测得到预测视线;其中,所述视线评估模型在训练时,使用少量有标签的真实训练集对模型进行训练,得到预训练模型,根据增加了随机失活层的所述预训练模型对无标签的数据打上伪标签,计算所述伪标签的不确定值,并保留所述不确定值小于阈值的伪标签对应的数据,将保留的伪标签对应的数据和真实训练集一起重新训练模型,如此循环迭代直至训练完毕,得到所述视线评估模型。本发明大大减轻了视线估计对人工标签的依赖性。
-
公开(公告)号:CN114926812A
公开(公告)日:2022-08-19
申请号:CN202210501677.8
申请日:2022-05-09
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种自适应聚焦定位目标检测方法,包括以下步骤:接收待识别图像;将所述待识别图像输入至目标检测模型中得到所述待识别图像中目标的位置和类别。所述目标检测模型包括:特征提取层,用于提取所述待识别图像的特征;目标类别预测层,用于将所述特征提取层提取的每层特征进行分块操作,并对每一个块进行类别预测和系数预测;目标定位预测层,用于根据所述特征提取层提取的特征生成掩膜元组,并将所述掩膜元组与所述目标类别预测层得到的系数相乘后求和得到目标掩码。本发明能够提升目标检测的精度。
-
公开(公告)号:CN114694018A
公开(公告)日:2022-07-01
申请号:CN202011589106.1
申请日:2020-12-28
Applicant: 中国科学院上海微系统与信息技术研究所 , 上海爱观视觉科技有限公司
IPC: G06V20/10 , G06V10/74 , G06V10/762 , G06K9/62
Abstract: 本申请涉及一种对象信息检测方法、装置和存储介质,该方法包括:获取初始地平面方程和采集单元的初始位姿信息;初始地平面方程是根据初始时刻的周围环境点云信息确定的;基于采集单元获取当前周围环境点云信息;当前周围环境点云信息包括每个点的三维位置;获取采集单元的当前位姿信息;在当前位姿信息与初始位姿信息的相似程度值小于等于预设值时,根据当前位姿信息与初始位姿信息,确定位姿偏差;根据位姿偏差和初始地平面方程,确定当前地平面方程;基于当前地平面方程和每个点的三维位置,确定当前周围环境点云信息中对象的信息;对象的信息包括类别。如此,可以提高对象检测的实时性、准确性与稳定性。
-
公开(公告)号:CN114386428A
公开(公告)日:2022-04-22
申请号:CN202111537463.8
申请日:2021-12-15
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06F40/30 , G06F40/289 , G06F16/33 , G06T11/60
Abstract: 本发明提供了一种基于本体知识库和注意力生成对抗网络的图像生成方法,包括:基于图像数据集中的图像来构建本体知识库,使得构建出的本体知识库与图像具有对应关系;根据生成任务的条件,进行本体知识库的检索,并将检索到的信息进行向量化,得到语义词向量;使用带有注意力机制的生成对抗网络,根据语义词向量,来生成图像。采用本发明提供的网络,可通过构建不同的本体知识库完成复杂条件下高质量图像的生成任务。
-
公开(公告)号:CN113850145A
公开(公告)日:2021-12-28
申请号:CN202111003611.8
申请日:2021-08-30
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06K9/00
Abstract: 本发明涉及一种手眼朝向协同目标定位方法,包括:采集当前场景的图像,并识别出人体区域图像;从人体区域图像中分割出头部区域图像和手部区域图像,并获取头部区域图像对应的深度图像和手部区域图像对应的深度图像;根据头部区域图像及其对应的深度图像,建立当前眼部的空间三维模型,根据手部区域图像及其对应的深度图像,建立当前手部的空间三维模型;根据当前眼部的空间三维模型和当前手部的空间三维模型,获取当前手、眼朝向向量;根据当前眼朝向向量和当前手朝向向量,计算当前待定位目标的空间位置。本发明提供的目标定位方法无需人工操作额外的辅助设备,能够在降低操作难度的同时,提高场景适应性和目标定位的准确性。
-
公开(公告)号:CN113723293A
公开(公告)日:2021-11-30
申请号:CN202111009364.2
申请日:2021-08-30
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06K9/00
Abstract: 本申请实施例所公开的一种视线方向的确定方法、装置、电子设备及存储介质,包括获取多个目标特征点对应的多个第一目标特征点位置数据和目标瞳孔对应的第一目标瞳孔位置数据,并根据多个第一目标特征点位置数据和位置确定模型,确定目标眼球位置数据,其中,位置确定模型是根据第一标定位置数据、多个第一标定特征点位置数据和第一标定瞳孔位置数据确定的,以及根据第一目标瞳孔位置数据和目标眼球位置数据,确定视线方向。基于本申请实施例从脸部图像中筛选出与眼球中心位置密切相关的特征点,利用仅与受试者本身脸部特征相关的参数确定位置确定模型,可以不受外部环境和受试者面部表情等因素的影响,从而可以提高视线方向估计的精度。
-
公开(公告)号:CN113624228A
公开(公告)日:2021-11-09
申请号:CN202110843322.2
申请日:2021-07-26
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种图像传感器和加速度计的同步标定装置及方法,装置包括:托架,用于放置加速度计和图像传感器;复合弹簧机构,一端与托架刚性相连,另一端与基座上的固定端相连,与托架配合形成弹簧振子;平面刻度,水平放置使得图像传感器在运动过程中能够获取平面刻度的图像;数据采集模块,用于记录加速度计的基准时间和图像传感器的图像时间戳,同时获取托架重心的位移数据和加速度数据,并建立位移数据与图像时间戳的对应关系以及加速度数据与加速度计基准时间的对应关系;计算模块,用于拟合位移函数和加速度函数,并基于拟合函数及相位差关系建立图像传感器与加速度计之间的时间关系。本发明能够为加速度计提供精准的时间戳信息。
-
公开(公告)号:CN113326751A
公开(公告)日:2021-08-31
申请号:CN202110547828.9
申请日:2021-05-19
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种手部3D关键点的标注方法,包括:构建通用手部3D骨架模型;获取待标注手部每根手指均伸直的初始帧图像,构建待标注手部3D骨架模型;获取在不同手势下的若干待标注手部3D骨架姿态;获取待标注手部的当前帧图像以及当前帧图像的初始3D骨架姿态,在当前帧图像中标注出当前手部关键点的2D位置,确定当前帧图像的真实3D骨架姿态,获取当前帧图像中的手部3D关键点;对所述当前手部关键点的2D位置进行光流跟踪,获取下一帧图像的手部关键点的2D位置;重复上述步骤,直到所有图像的手部3D关键点均完成标注。本发明可以减少人工标注的工作量,从而降低人工成本并提高效率,同时可以提高标注精度。
-
公开(公告)号:CN113160321A
公开(公告)日:2021-07-23
申请号:CN202110196390.4
申请日:2021-02-22
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种实时图像序列的几何映射方法和装置,方法包括:建立原始图像序列和目标图像序列的按输出图像像素坐标顺序排列的输出顺序映射表;在不改变输出顺序映射表中映射对的内部对应关系的前提下,对映射对重新排序,将映射对按照原始图像的浮点坐标的整数部分顺序进行排列,排列的顺序与原始图像的像素输入的顺序一致,建立输入顺序定点映射表;根据输入顺序定点映射表中映射单元中对应的映射对的数量对输入顺序定点映射表进行压缩,建立输入顺序压缩映射表;在接入实时图像序列时对输入顺序压缩映射表进行读取和恢复,并执行映射操作。本发明能够在较低的硬件资源条件下以高实时性达到图像序列的几何映射的目的。
-
公开(公告)号:CN112749660A
公开(公告)日:2021-05-04
申请号:CN202110044445.X
申请日:2021-01-13
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本申请涉及一种视频内容描述信息的生成方法和设备,该方法包括:获取目标视频的图像序列;将图像序列划分为多个子图像序列;多个子图像序列中任意连续两个子图像序列对应不同的场景;针对多个子图像序列中每个子图像序列:根据已训练的第一检测模型对当前子图像序列的首帧图像进行检测,得到对应的静态场景描述信息;根据已训练的第二检测模型对当前子图像序列中除首帧图像之外的图像进行检测,得到对应的动态事件描述信息;根据静态场景描述信息和动态事件描述信息,确定当前子图像序列对应的内容描述信息。如此,不仅可以降低视频理解的难度,还可以减少冗余信息提取,从而可以提高计算效率。
-
-
-
-
-
-
-
-
-