-
公开(公告)号:CN114973388B
公开(公告)日:2025-04-11
申请号:CN202210484547.8
申请日:2022-05-06
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种同时估计眼部视线和面部视线的视线估计方法,包括以下步骤:获取左眼图像、右眼图像和面部图像;分别对所述左眼图像、右眼图像和面部图像进行标准化坐标系处理;将标准化处理后的所述左眼图像、右眼图像和面部图像输入至视线评估模型,输出预测的眼部视线和面部视线;所述视线评估模型包括:特征提取层、特征信息转换层、第一特征交流层、第二特征交流层、第一全连接层和第二全连接层。本发明可以同时预测眼部视线和面部视线。
-
公开(公告)号:CN118351252A
公开(公告)日:2024-07-16
申请号:CN202410417649.7
申请日:2024-04-09
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种基于先验深度与高斯溅射模型融合的场景三维重建方法,包括:获取多视角下的场景图像;将多视角下的场景图像输入至场景三维重建模型中,完成场景的三维重建;其中,场景三维重建模型包括:单目深度估计网络与视觉里程计,用于基于多视角下的场景图像得到多视角下场景图像的稠密先验深度与相机位姿;点云生成模块,用于使用稠密先验深度与相机位姿生成世界坐标系下的空间点云,并将空间点云初始化为一组具有不透明度和球面谐波的三维高斯体;三维高斯优化模块,用于使用先验深度引导的自适应密度控制策略对三维高斯体的空间分布进行优化调整,完成场景的三维重建。本发明缓解观测数据不足导致的重建模糊问题。
-
公开(公告)号:CN118052841A
公开(公告)日:2024-05-17
申请号:CN202410070464.3
申请日:2024-01-18
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06T7/20 , G06T7/10 , G06T7/50 , G06N3/0499 , G06N3/08
Abstract: 本发明涉及一种融合语义的无监督深度估计与视觉里程计方法和系统,其中,方法包括:接收视频序列;将所述视频序列输入至预测模型,得到预测结果;其中,所述预测模型包括:深度估计子网络,用于估计输入的目标图像对应的深度图;位姿估计子网络,用于估计输入的目标图像和源图像之间的相对位姿;语义分割子网络,用于对输入的目标图像和重建目标图像进行语义分割,得到用于构造语义重投影损失的目标图像语义分割结果和重建目标图像语义分割结果;语义掩码模块,用于根据目标图像语义分割结果构造语义掩码;重投影模块,用于根据深度图、相对位姿和语义掩码对源图像进行重投影操作,得到重建目标图像。本发明能够增强重投影损失的效用。
-
公开(公告)号:CN118037801A
公开(公告)日:2024-05-14
申请号:CN202410109880.X
申请日:2024-01-25
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种双目图像的立体匹配方法,包括以下步骤:获取双目图像;采用立体匹配模型对所述双目图像进行分析获得视差估计;所述立体匹配模型包括:视差估计网络,用来提取所述双目图像的多尺度双目融合特征,并根据所述双目融合特征预测视差估计;光谱转换网络,用来分别提取所述双目图像不同视角的多尺度单目特征进而生成单目伪图像,且在任一尺度的多尺度单目特征提取后嵌入特征交互模块对所述任一尺度的所述单目特征进行优化;所述视差估计网络和所述光谱转换网络通过所述单目伪图像和所述视差估计来调整网络参数。本发明能够增强图像域差异较大区域的特征感知,获得更为精确的立体匹配结果。
-
公开(公告)号:CN112967228B
公开(公告)日:2024-04-26
申请号:CN202110146441.2
申请日:2021-02-02
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06F7/00
Abstract: 本发明涉及一种目标光流信息的确定方法、装置、电子设备及存储介质,其中,方法包括分别确定目标图像与相邻两帧图像间的光流信息集以及目标图像与相邻两帧图像对应的相机位姿信息集,根据光流信息集和相机位姿信息集,确定目标图像中对象对应的位置信息集,根据相机位姿信息集和位置信息集,确定对象在相邻两帧图像中的第一映射信息集,根据位置信息集,确定对象在目标图像中的第二映射信息集,根据光流信息集、第一映射信息集和第二映射信息集,确定目标光流信息。基于本发明实施例可以提高确定运动物体的位置信息的精确度,还可以提高确定物体运动状态的准确性。
-
公开(公告)号:CN112419361B
公开(公告)日:2024-04-05
申请号:CN202011308457.0
申请日:2020-11-20
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本申请涉及一种目标追踪方法和仿生视觉装置,该方法包括:获取当前帧的第一图像;第一图像是通过仿生视觉成像单元得到的;对第一图像进行对象位置检测,得到第一图像中对象的第一位置信息;基于第一位置信息确定第一追踪区域和特征区域;在下一帧的第一图像中,确定与第一追踪区域相匹配的第一目标追踪区域;基于特征区域对第一目标追踪区域进行目标检测,得到下一帧的第一图像中对象的第一目标位置信息。本申请通过对采集的图像进行处理来模拟相机视线的变化,实现目标的追踪,不需要设置云台,如此可以降低装置成本,同时可以简化三维感知运算过程。
-
公开(公告)号:CN112766097B
公开(公告)日:2024-02-13
申请号:CN202110015600.5
申请日:2021-01-06
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06V20/40 , G06V10/774 , G06V10/764 , G06V10/82 , G06N3/04 , G06N3/08
Abstract: 本发明涉及一种视线识别模型的训练方法、视线识别方法、装置及设备,方法包括获取样本图像集,样本图像集包括含有第一区域和第二区域的样本图像,将样本图像输入预设机器学习模型,进行视线识别处理,得到第一区域对应的第一视线信息以及第二区域对应的第二视线信息,基于第一视线信息,确定第二区域对应的第三视线信息,基于第二视线信息和第三视线信息,确定第一损失信息,根据第一损失信息,确定损失信息,基于损失信息调整预设机器学习模型中的模型参数,至损失信息满足预设条件,将满足预设条件时的预设机器学习模型作为视线识别模(56)对比文件Zhang Xiao lin等.CooperativeMovements of Binocular Motor System.2008IEEE International Conference onAutomation Science and Engineering.2008,第321-327页.张晓林.仿生双眼的立体视控制系统.电子设计工程.2018,第26卷(第6期),第1-6页.房爱青.基于视线跟踪的人机交互感知机制的研究.中国优秀硕士学位论文全文数据库 信息科技辑.2018,(第12期),第I138-1364页.Andronicus A. Akinyelu等.Convolutional Neural Network-BasedMethods for Eye Gaze Estimation: ASurvey.IEEE Access.2020,第8卷第142581-142605页.
-
公开(公告)号:CN113624228B
公开(公告)日:2024-01-26
申请号:CN202110843322.2
申请日:2021-07-26
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种图像传感器和加速度计的同步标定装置及方法,装置包括:托架,用于放置加速度计和图像传感器;复合弹簧机构,一端与托架刚性相连,另一端与基座上的固定端相连,与托架配合形成弹簧振子;平面刻度,水平放置使得图像传感器在运动过程中能够获取平面刻度的图像;数据采集模块,用于记录加速度计的基准时间和图像传感器的图像时间戳,同时获取托架重心的位移数据和加速度数据,并建立位移数据与图像时间戳的对应关系以及加速度数据与加速度计基准时间的对应关系;计算模块,用于拟合位移函数和加速度函数,并基于拟合函数及相位差关系建立图像传感器与加速度计之间
-
公开(公告)号:CN116642492A
公开(公告)日:2023-08-25
申请号:CN202310588616.4
申请日:2023-05-24
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种移动机器人重定位方法、装置及移动机器人,其中,方法包括:基于视觉传感器采集到的环境图像在先验地图中进行匹配,完成视觉重定位,得到重定位粗位姿;在所述视觉重定位失败时,基于激光传感器采集到的环境点云在先验地图中进行匹配,完成激光重定位,得到重定位粗位姿;根据所述重定位粗位姿在所述先验地图上提取局部地图,对当前环境点云与所述局部地图进行点云配准,得到重定位精位姿。本发明可以保证重定位精度,提高重定位鲁棒性。
-
公开(公告)号:CN116310313A
公开(公告)日:2023-06-23
申请号:CN202310061744.3
申请日:2023-01-17
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06V10/26 , G06V10/77 , G06V10/774 , G06V10/82 , G06N3/088
Abstract: 本发明涉及一种基于特征级无监督域适应网络的语义分割方法,包括以下步骤:获取图像数据;将所述图像数据输入至特征级无监督域适应网络,实现对所述图像数据的分割效果可视化,所述特征级无监督域适应网络为一个包含三个共享权重分支的自训练网络,所述自训练网络包括源分支部分、目标分支部分和目标‑源分支部分;所述源分支部分用于学习源域内分布,所述目标分支部分用于学习目标域内分布,所述目标‑源分支部分用于在特征级对齐所述源域和目标域之间的域间分布。本发明能够有效增强域适应能力,在目标域数据集上实现了更好的分割效果。
-
-
-
-
-
-
-
-
-