公开(公告)号：CN118657851A

公开(公告)日：2024-09-17

申请号：CN202410738807.9

申请日：2024-06-07

Applicant: 清华大学深圳国际研究生院

Inventor： 耿子涵 ,  刘宗昊 ,  崔三亚 ,  张欢 ,  张晓平

IPC: G06T11/20 ,  G06V40/10 ,  G06V40/20 ,  G06F21/62

Abstract: 一种基于单像素成像的隐私保护人体姿态估计方法，包括：S1.使用单像素探测器捕获经过编码照明反射后的光信号，生成稀疏的一维信号；S2.将一维信号通过编码器转化为中间表示；S3.将中间表示通过解码器上采样并调整至更高分辨率，以恢复出高质量的图像特征，其中解码器利用快速超分辨率卷积神经网络进行特征提取和细化；S4.基于解码器阶段输出的特征图，通过关键点预测模块利用神经网络模型生成关键点图，得到人体姿态估计。该方法通过编码照明、单像素探测技术以及编解码器网络设计相结合，实现直接从一维信号中估计人体姿态，极大地降低了数据处理中的隐私泄露风险，通过编解码器网络和关键点检测技术，显著提高了处理速度和资源效率。

公开(公告)号：CN117979182A

公开(公告)日：2024-05-03

申请号：CN202410271058.3

申请日：2024-03-11

Applicant: 清华大学深圳国际研究生院

Inventor： 耿子涵 ,  张欢 ,  李迎欣 ,  刘宗昊 ,  张晓平

IPC: H04N23/95 ,  H04N23/957 ,  H04N23/951

Abstract: 一种基于单像素成像的光场数字联合ISP的计算成像系统，包括光场编码部分、单像素探测器和数字解码部分，光场编码利用光学器件对场景信息进行编码，编码包括通过空间光调制技术向目标场景投射结构光图案，将二维或三维的场景空间信息融入到一维的光信号中，一维的光信号由单像素探测器进行采集，数字解码部分通过图像信号处理，进行一维的光信号与结构光图案之间的关联运算，解码出场景信息；光场编码部分经配置对场景信息进行调制图案处理，将原本需要由数字解码部分完成的一部分图像信号处理工作转移到光场编码部分中，在单像素探测器捕获一维的光信号之前完成数字解码部分的部分图像信号处理工作，而数字解码部分则利用调制图案信息和探测序列重建场景图像，从而将数字ISP重构成光场和数字联合。

公开(公告)号：CN117132625A

公开(公告)日：2023-11-28

申请号：CN202311089895.6

申请日：2023-08-28

Applicant: 清华大学深圳国际研究生院

Inventor： 耿子涵 ,  张欢 ,  刘宗昊 ,  黄宇龙

IPC: G06T7/262 ,  G01V8/10 ,  G01J9/00 ,  G06T7/60

Abstract: 本发明提出了一种基于单像素成像的3D目标物体实时跟踪方法。其中，具体方法为：基于一种图像几何矩理论计算场景中目标物体的3D坐标；基于图像低阶矩的计算方式，通过充分利用DMD的快速调制速率特性，能够高效对物体进行追踪定位；可以在几何矩模式中加入用来恢复空间信息的调制图案，在定位的同时实现成像的功能，来进行目标检测。对于可见光波段不可见的气体进行动态定位和成像显示。本发明提出了一种鲁棒性、实时性高的目标跟踪方法，可应用至汽车自动驾驶领域，且适用于一些非可见气体的动态定位和成像显示。

公开(公告)号：CN117474064A

公开(公告)日：2024-01-30

申请号：CN202311649903.8

申请日：2023-12-05

Applicant: 清华大学深圳国际研究生院

Inventor： 耿子涵 ,  黄宇龙 ,  顾佳伟 ,  张欢 ,  刘宗昊

IPC: G06N3/067

Abstract: 本发明公开了一种基于波长模式复用的光学卷积神经网络计算系统，包括基于多波长光源、电光强度调制器阵列、波长模式复用解复用器的信号调制模块，信号加权模块以及光电转换信号累加模块；信号调制模块用于产生和输出调制的光信号，信号加权模块用于对经过调制的光信号进行加权处理，光电转换信号累加模块用于进行信号累加和光电转换处理；信号加权模块中，光信号经过带有相变材料的波导后完成信号的加权运算，相变材料用于调控信号权重，通过设置相变材料的结晶态，使得光信号经过变材料后强度发生衰减，衰减系数即为信号加权的权重值。本发明能够提高光计算硬件的计算密度，并极大地降低光计算的能耗，提高计算能效。