基于多通路的光学标记动作捕捉系统和方法

    公开(公告)号:CN118799389A

    公开(公告)日:2024-10-18

    申请号:CN202410730022.7

    申请日:2024-06-06

    Applicant: 清华大学

    Abstract: 本发明提供一种基于多通路的光学标记动作捕捉系统和方法,系统包括采集部和处理部,所述采集部用于采集目标物体及场景的视觉信息,所述采集部包括至少一个视觉传感器,所述视觉传感器包括强度通路、空间差分通路和时间差分通路中的至少一种数据通路;所述目标物体和/或所述场景中设置有至少一个主动发光或被动反光的标记点;所述视觉信息包括标记点额外引入的视觉特征;所述处理部用于处理与分析所述视觉信息,得到设置在所述目标物体上的标记点的当前时刻的空间坐标作为当前时刻的动作捕捉结果。本发明实现了高帧率,低数据冗余,对环境鲁棒的光学标记动作捕捉系统。

    一种基于混合阵列的视觉传感器芯片

    公开(公告)号:CN117692811A

    公开(公告)日:2024-03-12

    申请号:CN202311420673.8

    申请日:2023-10-30

    Applicant: 清华大学

    Abstract: 本发明提供一种基于混合阵列的视觉传感器芯片,包括像素阵列和对应设置的视觉传感通路;视觉传感通路包括强度通路、时间差分通路和空间差分通路;像素阵列包括多个复用像素单元和多个单一像素单元;复用像素单元为强度、时间差分和空间差分中的两种元素复用的像素单元;单一像素单元为与复用像素单元的元素不同的像素单元;强度通路用于确定入射光光强转换为电信号后的量化值;时间差分通路用于确定时间差分值;时间差分通路用于确定空间差分值。本发明通过基于混合阵列的三通路视觉传感芯片架构,能够大幅度提升视觉传感器芯片对时空动态信息的感知能力,实现高精度、高帧率、高动态范围且高效鲁棒的视觉表示。

    基于互补神经形态视觉的光流场计算系统

    公开(公告)号:CN117893578A

    公开(公告)日:2024-04-16

    申请号:CN202311731629.9

    申请日:2023-12-15

    Applicant: 清华大学

    Abstract: 本发明提供一种基于互补神经形态视觉的光流场计算系统,包括互补神经形态视觉传感器、优化目标计算单元和光流场解计算单元。其中,互补神经形态视觉传感器输出时间差分数据和空间差分数据;优化目标计算单元根据时间差分数据和空间差分数据确定光流场计算的优化目标;时间差分数据和空间差分数据经预设数据变换算法处理;光流场解计算单元根据优化目标计算多尺度的光流场解。该系统应用于机器人控制、自动驾驶、工业监控等领域具有较好的适用性、稳定性及抗干扰性,运算数据由互补神经形态视觉传感器直接提供,无需额外数据预处理,降低了运算的复杂度。

    一种互补像素阵列排布方法及相关组件

    公开(公告)号:CN117692814A

    公开(公告)日:2024-03-12

    申请号:CN202311425780.X

    申请日:2023-10-30

    Applicant: 清华大学

    Abstract: 本发明提供一种互补像素阵列排布方法及相关组件,该方法通过将像素区域划分为若干个子区域,像素区域为待设置像素单元的区域;在子区域中设置至少一个像素单元,在子区域中的像素单元的排布方式相同;若干个子区域为异构或对称状态,相邻子区域间的像素单元为原语集合互补排布方式,原语集合为时间分辨率、空间分辨率、感受野、像素尺寸、灵敏度、光谱响应范围、响应模式、精度中的一种或多种,可对应不同的感知需求,最终可以实现同时高动态范围、高速、高分辨率、宽光谱响应的图像感知。

    一种基于多尺度时空差分技术的视觉传感器芯片

    公开(公告)号:CN117692813A

    公开(公告)日:2024-03-12

    申请号:CN202311423882.8

    申请日:2023-10-30

    Applicant: 清华大学

    Abstract: 本发明提供一种基于多尺度时空差分技术的视觉传感器芯片,包括像素阵列、强度通路和/或时间差分通路和/或空间差分通路;像素阵列包括多个像素单元;时间差分通路将当前时刻当前像素单元位置的信号与之前任意时刻当前像素单元位置的信号,在电荷域、模拟域或者数字域进行加权差分与量化运算,得到一路或多路多尺度时间差分值;空间差分通路将当前时刻当前像素单元位置的信号与当前时刻空间任意像素单元位置的信号,在电荷域、模拟域或者数字域进行加权差分与量化运算,得到一路或多路多尺度空间差分值。本发明通过将时间差分和空间差分拓展到多尺度模式,有助于分析信号的时空关联性,具有更大的时空感受野。

    一种基于像素融合技术的视觉传感器芯片

    公开(公告)号:CN117692809A

    公开(公告)日:2024-03-12

    申请号:CN202311420671.9

    申请日:2023-10-30

    Applicant: 清华大学

    Abstract: 本发明提供一种基于像素融合技术的视觉传感器芯片,包括:像素阵列、强度通路、时间差分通路和空间差分通路;融合技术用于将融合像素范围内的多个像素单元的信号融合为一个信号再输出;强度通路确定融合像素的入射光光强转换的电信号的量化值;时间差分通路将当前时刻当前融合像素位置的信号与上一时刻当前融合像素位置的信号,在电荷域、模拟域或者数字域进行差分、融合与量化运算;空间差分通路将当前时刻当前融合像素位置的信号与当前时刻空间关联融合像素位置的信号,在电荷域、模拟域或者数字域进行差分、融合与量化运算。将像素融合技术引入到三通路视觉传感芯片架构,可以提高输出信噪比,降低传输数据量以缓解带宽压力。

    无标记动作捕捉数据集的构建方法和装置

    公开(公告)号:CN118747830A

    公开(公告)日:2024-10-08

    申请号:CN202410730036.9

    申请日:2024-06-06

    Abstract: 本发明提供一种无标记动作捕捉数据集的构建方法和装置,包括:对预先构建的视觉采集模块中的相机模组进行标定;其中,所述视觉采集模块包括至少一个相机模组;基于标定后的所述视觉采集模块采集当前动作捕捉场景与目标物体的视觉信息;根据所述视觉采集模块每个通路的标定结果和所述视觉信息进行时间对齐和/或空间校准,根据时间对齐和/或空间校准结果对所述视觉信息采用预设标注算法进行数据标注,得到无标记动作捕捉数据集。本发明基于视觉采集模块,根据标定结果和获取的视觉信息解决了时空对齐问题;通过构建多种预先选择的标注方法结合的方式实现高效且全覆盖的数据标注方法。

    一种基于动态范围拓展技术的视觉传感器芯片

    公开(公告)号:CN118400629A

    公开(公告)日:2024-07-26

    申请号:CN202410531877.7

    申请日:2024-04-29

    Applicant: 清华大学

    Abstract: 本发明提供一种基于动态范围拓展技术的视觉传感器芯片,包括动态范围拓展像素阵列、动态范围拓展的时间差分通路和/或动态范围拓展的空间差分通路;动态范围拓展像素阵列包括多个动态范围拓展像素单元;动态范围拓展的时间差分通路用于确定动态范围拓展后的时间差分值;动态范围拓展的空间差分通路用于确定动态范围拓展后的空间差分值。本发明通过基于动态范围拓展技术的视觉传感器芯片架构,能够大幅度提升视觉传感器对于高动态范围时空信息的感知能力。

    多模态多通路互补视觉数据标定方法和装置

    公开(公告)号:CN117911525A

    公开(公告)日:2024-04-19

    申请号:CN202311767830.2

    申请日:2023-12-20

    Applicant: 清华大学

    Abstract: 本发明提供一种多模态多通路互补视觉数据标定方法和装置,包括:获取互补相机和辅助相机采集的原始标定数据;根据原始标定数据,调整使互补相机和辅助相机时间对齐;将互补相机与任意一个辅助相机组成双目相机标定对;对于每一个双目相机标定对,根据原始标定数据对互补相机和辅助相机做空间对齐,得到互补相机和辅助相机的映射关系;根据映射关系,利用辅助相机的原始标定数据对互补相机的原始标定数据进行数据标定,得到目标标定数据。本发明对非常规多模态多通路视觉数据提出一种标定方法。

    一种图像处理方法、电子设备、存储介质和产品

    公开(公告)号:CN117692812A

    公开(公告)日:2024-03-12

    申请号:CN202311423875.8

    申请日:2023-10-30

    Applicant: 清华大学

    Abstract: 本发明提供一种图像处理方法、电子设备、存储介质和产品,该方法包括:获取视觉传感器的互补多通路视觉信号;互补多通路视觉信号所对应的多通路之间至少有一种原语的性质互补;原语为视觉信号的时间分辨率、空间分辨率、颜色、灵敏度、响应模态和数据精度的一种或多种的组合;对互补多通路视觉信号同时进行互补处理,互补处理包括交叉处理、融合处理和独立处理中的一种或多种的组合,能够以极低的带宽和功耗,同时实现高速度、高精度、低计算代价、低功耗和低带宽的高性能视觉信息处理,打破当前视觉处理器面对的资源墙、带宽墙和功耗墙。

Patent Agency Ranking