-
公开(公告)号:CN108245384B
公开(公告)日:2019-10-25
申请号:CN201711316314.2
申请日:2017-12-12
Applicant: 清华大学苏州汽车研究院(吴江)
Abstract: 本发明公开了一种基于增强学习的双目视觉导盲仪,包括:双目视觉模块,用于将第一、第二图像采集模块的图像进行处理,生成实时的深度图,构建三维场景;语音模块,包括语音输入模块和输出模块,语音输入模块包括语音识别模块,用于进行语音识别,语音输出模块,用于以语音的方式输出增强学习模块的行为指令、定位信息和路径导航信息;状态集生成模块,将三维场景通过卷积神经网络提取环境特征,生成状态集;增强学习模块,包括增强学习网络,以状态集作为输入,学习状态转换策略得到输出动作指令;GPS导航模块,用于定位,及根据语音识别信息生成路径规划。可以提供盲人的实时路径规划信号,对盲人的行动策略进行方便的实时的指导。
-
公开(公告)号:CN109239720A
公开(公告)日:2019-01-18
申请号:CN201811213176.X
申请日:2018-10-18
Applicant: 清华大学苏州汽车研究院(吴江)
Abstract: 本发明公开了一种智能激光雷达装置、系统及其数据处理方法,所述装置包括单目摄像头、激光雷达、机械构件和嵌入式处理终端,所述单目摄像头、激光雷达和嵌入式处理终端均安装于机械构件上,所述单目摄像头通过摄像头数据线与所述嵌入式处理终端连接,所述激光雷达通过雷达数据线与所述嵌入式处理终端连接,所述嵌入式处理终端通过融合数据线输出处理后的数据。本发明中激光雷达单目摄像头实时信息融合,通过深度学习算法对摄像头数据进行语义分割,通过摄像头和激光雷达的位姿关系进行信息融合,实现智能激光雷达系统,数据通过同一个数据链路输出,提升了系统的模块化以及同步性。
-
公开(公告)号:CN109308714A
公开(公告)日:2019-02-05
申请号:CN201810991868.0
申请日:2018-08-29
Applicant: 清华大学苏州汽车研究院(吴江)
Abstract: 本发明公开了一种基于分类惩罚的摄像头和激光雷达信息配准方法,包括:对采集的图像通过区域分类算法将图像分为正负区域;将激光雷达点分成正负两个类别;将激光雷达点按照位姿参数投影在图像坐标系内,当激光雷达的正点投影到正区域,分配正的奖励值,反之分配负的奖励值,设置目标函数,将目标函数抽象成位姿参数的函数,每一次位姿更新,将所有的激光雷达点投影在图像区域,通过统计分类正确以及错误点计算目标函数值,然后评价此次位姿参数的优劣,并继续更新,得到目标函数值最大的位姿参数。可以十分方便的获得激光雷达以及摄像头之间的位姿关系,从而可以方便的进行视觉信息以及激光雷达的信息融合。
-
公开(公告)号:CN108917645A
公开(公告)日:2018-11-30
申请号:CN201810801158.7
申请日:2018-07-20
Applicant: 清华大学苏州汽车研究院(吴江)
Inventor: 周坤
CPC classification number: G01B11/24 , G01B11/002
Abstract: 本发明公开了一种基于激光调制的双目视觉系统,包括双目视觉模块、微型激光发生器、分束器和光敏传感器;所述微型激光发生器用于产生激光斑点;所述分束器设于微型激光发生器的前方,用于将生成的激光斑点分成激光点阵;所述光敏传感器用于根据设定的光照阈值控制微型激光发生器的开关。可以增强物体表面的纹理特性,提升双目视觉的视差计算的效果,解决双目视觉方案在弱光照弱纹理下的失效现象,拓宽了双目视觉的应用场景。
-
公开(公告)号:CN108245384A
公开(公告)日:2018-07-06
申请号:CN201711316314.2
申请日:2017-12-12
Applicant: 清华大学苏州汽车研究院(吴江)
Abstract: 本发明公开了一种基于增强学习的双目视觉导盲仪,包括:双目视觉模块,用于将第一、第二图像采集模块的图像进行处理,生成实时的深度图,构建三维场景;语音模块,包括语音输入模块和输出模块,语音输入模块包括语音识别模块,用于进行语音识别,语音输出模块,用于以语音的方式输出增强学习模块的行为指令、定位信息和路径导航信息;状态集生成模块,将三维场景通过卷积神经网络提取环境特征,生成状态集;增强学习模块,包括增强学习网络,以状态集作为输入,学习状态转换策略得到输出动作指令;GPS导航模块,用于定位,及根据语音识别信息生成路径规划。可以提供盲人的实时路径规划信号,对盲人的行动策略进行方便的实时的指导。
-
公开(公告)号:CN208635737U
公开(公告)日:2019-03-22
申请号:CN201821151833.8
申请日:2018-07-20
Applicant: 清华大学苏州汽车研究院(吴江)
Inventor: 周坤
Abstract: 本实用新型公开了一种基于激光调制的双目视觉系统,包括双目视觉模块、微型激光发生器、分束器和光敏传感器;所述微型激光发生器用于产生激光斑点;所述分束器设于微型激光发生器的前方,用于将生成的激光斑点分成激光点阵;所述光敏传感器用于根据设定的光照阈值控制微型激光发生器的开关。可以增强物体表面的纹理特性,提升双目视觉的视差计算的效果,解决双目视觉方案在弱光照弱纹理下的失效现象,拓宽了双目视觉的应用场景。(ESM)同样的发明创造已同日申请发明专利
-
公开(公告)号:CN211786113U
公开(公告)日:2020-10-27
申请号:CN201922433742.4
申请日:2019-12-30
Applicant: 清华大学苏州汽车研究院(吴江)
IPC: G01S17/86 , G01S17/931 , G01S7/481 , H04N5/225
Abstract: 本实用新型公开了一种基于单目摄像头与激光雷达融合的结构装置,包括:底座、第一固定座、第二固定座、第一密封件、第二密封件、平光镜片;激光雷达通过第一密封件密封连接在第一固定座的顶部;单目摄像头模组固定在第二固定座的竖直面上,第二固定座以及单目摄像头模组固定在第一固定座的内部,第一固定座的侧面设有用于摄像头透光的第一通孔,平光镜片密封在第一通孔处;第一固定座的底部通过第二密封件密封连接在底座上。具有防水防尘功能,将摄像头和激光雷达融合成一体,结构紧凑,稳定性高,整体外形小巧,安装时占用空间小,结构简洁,组装简单,安装方便。(ESM)同样的发明创造已同日申请发明专利
-
-
-
-
-
-