-
公开(公告)号:CN118052841A
公开(公告)日:2024-05-17
申请号:CN202410070464.3
申请日:2024-01-18
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06T7/20 , G06T7/10 , G06T7/50 , G06N3/0499 , G06N3/08
Abstract: 本发明涉及一种融合语义的无监督深度估计与视觉里程计方法和系统,其中,方法包括:接收视频序列;将所述视频序列输入至预测模型,得到预测结果;其中,所述预测模型包括:深度估计子网络,用于估计输入的目标图像对应的深度图;位姿估计子网络,用于估计输入的目标图像和源图像之间的相对位姿;语义分割子网络,用于对输入的目标图像和重建目标图像进行语义分割,得到用于构造语义重投影损失的目标图像语义分割结果和重建目标图像语义分割结果;语义掩码模块,用于根据目标图像语义分割结果构造语义掩码;重投影模块,用于根据深度图、相对位姿和语义掩码对源图像进行重投影操作,得到重建目标图像。本发明能够增强重投影损失的效用。
-
公开(公告)号:CN118037801A
公开(公告)日:2024-05-14
申请号:CN202410109880.X
申请日:2024-01-25
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种双目图像的立体匹配方法,包括以下步骤:获取双目图像;采用立体匹配模型对所述双目图像进行分析获得视差估计;所述立体匹配模型包括:视差估计网络,用来提取所述双目图像的多尺度双目融合特征,并根据所述双目融合特征预测视差估计;光谱转换网络,用来分别提取所述双目图像不同视角的多尺度单目特征进而生成单目伪图像,且在任一尺度的多尺度单目特征提取后嵌入特征交互模块对所述任一尺度的所述单目特征进行优化;所述视差估计网络和所述光谱转换网络通过所述单目伪图像和所述视差估计来调整网络参数。本发明能够增强图像域差异较大区域的特征感知,获得更为精确的立体匹配结果。
-
公开(公告)号:CN112967228B
公开(公告)日:2024-04-26
申请号:CN202110146441.2
申请日:2021-02-02
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06F7/00
Abstract: 本发明涉及一种目标光流信息的确定方法、装置、电子设备及存储介质,其中,方法包括分别确定目标图像与相邻两帧图像间的光流信息集以及目标图像与相邻两帧图像对应的相机位姿信息集,根据光流信息集和相机位姿信息集,确定目标图像中对象对应的位置信息集,根据相机位姿信息集和位置信息集,确定对象在相邻两帧图像中的第一映射信息集,根据位置信息集,确定对象在目标图像中的第二映射信息集,根据光流信息集、第一映射信息集和第二映射信息集,确定目标光流信息。基于本发明实施例可以提高确定运动物体的位置信息的精确度,还可以提高确定物体运动状态的准确性。
-
公开(公告)号:CN112419361B
公开(公告)日:2024-04-05
申请号:CN202011308457.0
申请日:2020-11-20
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本申请涉及一种目标追踪方法和仿生视觉装置,该方法包括:获取当前帧的第一图像;第一图像是通过仿生视觉成像单元得到的;对第一图像进行对象位置检测,得到第一图像中对象的第一位置信息;基于第一位置信息确定第一追踪区域和特征区域;在下一帧的第一图像中,确定与第一追踪区域相匹配的第一目标追踪区域;基于特征区域对第一目标追踪区域进行目标检测,得到下一帧的第一图像中对象的第一目标位置信息。本申请通过对采集的图像进行处理来模拟相机视线的变化,实现目标的追踪,不需要设置云台,如此可以降低装置成本,同时可以简化三维感知运算过程。
-
公开(公告)号:CN111931782B
公开(公告)日:2024-03-01
申请号:CN202010808133.7
申请日:2020-08-12
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06V10/26 , G06V10/44 , G06V10/764 , G06V20/70
Abstract: 本发明提供一种语义分割方法、系统、介质及装置,所述方法包括以下步骤:获取需要语义分割的图片,记录所述图片的尺寸为H×W×M,H表示图像高度,W表示图像宽度,M表示通道数;对所述图片进行边缘处理获得边缘连通图S;对所述图片基于预先训练好的语义分割模型i进行语义分割;生成语义标签图Gi和语义概率图Pi;根据所述边缘连通图S,生成像素为0的四邻域连通集合F,遍历F中的每个连通域k分别找出对应于每个连通域k平均信息熵最小的语义分割模型imin,确定连通域k内所有像素的最终语义标签其中(h,w)∈k。本发明的一种语义分(56)对比文件Ruijun Shu等.CSF: Close d-mask-guided semantic fusion method for semanticperception of unknown scenes.PatternRecognition Letters.2022,第101-107页.Jingang Tan等.HCFS3D: Hierarchicalcoupled feature selection network for 3Dsemantic and instance segmentation.Imageand Vision Computing.2021,第1-12页.
-
公开(公告)号:CN112766097B
公开(公告)日:2024-02-13
申请号:CN202110015600.5
申请日:2021-01-06
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06V20/40 , G06V10/774 , G06V10/764 , G06V10/82 , G06N3/04 , G06N3/08
Abstract: 本发明涉及一种视线识别模型的训练方法、视线识别方法、装置及设备,方法包括获取样本图像集,样本图像集包括含有第一区域和第二区域的样本图像,将样本图像输入预设机器学习模型,进行视线识别处理,得到第一区域对应的第一视线信息以及第二区域对应的第二视线信息,基于第一视线信息,确定第二区域对应的第三视线信息,基于第二视线信息和第三视线信息,确定第一损失信息,根据第一损失信息,确定损失信息,基于损失信息调整预设机器学习模型中的模型参数,至损失信息满足预设条件,将满足预设条件时的预设机器学习模型作为视线识别模(56)对比文件Zhang Xiao lin等.CooperativeMovements of Binocular Motor System.2008IEEE International Conference onAutomation Science and Engineering.2008,第321-327页.张晓林.仿生双眼的立体视控制系统.电子设计工程.2018,第26卷(第6期),第1-6页.房爱青.基于视线跟踪的人机交互感知机制的研究.中国优秀硕士学位论文全文数据库 信息科技辑.2018,(第12期),第I138-1364页.Andronicus A. Akinyelu等.Convolutional Neural Network-BasedMethods for Eye Gaze Estimation: ASurvey.IEEE Access.2020,第8卷第142581-142605页.
-
公开(公告)号:CN113624228B
公开(公告)日:2024-01-26
申请号:CN202110843322.2
申请日:2021-07-26
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种图像传感器和加速度计的同步标定装置及方法,装置包括:托架,用于放置加速度计和图像传感器;复合弹簧机构,一端与托架刚性相连,另一端与基座上的固定端相连,与托架配合形成弹簧振子;平面刻度,水平放置使得图像传感器在运动过程中能够获取平面刻度的图像;数据采集模块,用于记录加速度计的基准时间和图像传感器的图像时间戳,同时获取托架重心的位移数据和加速度数据,并建立位移数据与图像时间戳的对应关系以及加速度数据与加速度计基准时间的对应关系;计算模块,用于拟合位移函数和加速度函数,并基于拟合函数及相位差关系建立图像传感器与加速度计之间
-
公开(公告)号:CN116642492A
公开(公告)日:2023-08-25
申请号:CN202310588616.4
申请日:2023-05-24
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种移动机器人重定位方法、装置及移动机器人,其中,方法包括:基于视觉传感器采集到的环境图像在先验地图中进行匹配,完成视觉重定位,得到重定位粗位姿;在所述视觉重定位失败时,基于激光传感器采集到的环境点云在先验地图中进行匹配,完成激光重定位,得到重定位粗位姿;根据所述重定位粗位姿在所述先验地图上提取局部地图,对当前环境点云与所述局部地图进行点云配准,得到重定位精位姿。本发明可以保证重定位精度,提高重定位鲁棒性。
-
公开(公告)号:CN116310313A
公开(公告)日:2023-06-23
申请号:CN202310061744.3
申请日:2023-01-17
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06V10/26 , G06V10/77 , G06V10/774 , G06V10/82 , G06N3/088
Abstract: 本发明涉及一种基于特征级无监督域适应网络的语义分割方法,包括以下步骤:获取图像数据;将所述图像数据输入至特征级无监督域适应网络,实现对所述图像数据的分割效果可视化,所述特征级无监督域适应网络为一个包含三个共享权重分支的自训练网络,所述自训练网络包括源分支部分、目标分支部分和目标‑源分支部分;所述源分支部分用于学习源域内分布,所述目标分支部分用于学习目标域内分布,所述目标‑源分支部分用于在特征级对齐所述源域和目标域之间的域间分布。本发明能够有效增强域适应能力,在目标域数据集上实现了更好的分割效果。
-
公开(公告)号:CN116295525A
公开(公告)日:2023-06-23
申请号:CN202310252703.2
申请日:2023-03-16
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G01C25/00
Abstract: 本发明涉及一种多IMU外参标定方法,包括:构建IMU输出模型;标定IMU阵列上各个IMU的随机游走和噪声;录制IMU阵列数据;从IMU阵列中任取一个IMU作为基准IMU,将基准IMU的坐标系作为基准坐标系,建立基准IMU与其余待标定IMU之间关于旋转四元数的非线性最小二乘问题,并求解;根据标定完成的相对旋转外参,生成其余待标定IMU的虚拟角速度观测值;根据其余待标定IMU的虚拟角速度观测值,建立基准IMU与其余待标定IMU之间关于平移的非线性最小二乘问题,并求解。本发明不依赖于环境和外部传感器,可快速完成标定。
-
-
-
-
-
-
-
-
-