公开(公告)号：CN119516098A

公开(公告)日：2025-02-25

申请号：CN202411392309.X

申请日：2024-10-08

Applicant: 厦门大学

Inventor： 张声传 ,  黄驰 ,  曹刘娟 ,  纪荣嵘

IPC: G06T17/00 ,  G06T15/00 ,  G06T5/50 ,  G06V20/58 ,  G06V20/64 ,  G06V10/26 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/09

Abstract: 本发明公开了一种自动驾驶场景自适应单物体三维重建以及图像点云合成方法，涉及自动驾驶场景数据生产技术领域。所述方法包括：将目标物体在三维空间中的box的每一个顶点分别投射到每一帧上，然后进行图像分割，将分割物体之外的部分的不透明度置为0后作为训练的输入，并且用不透明度对于物体进行监督；结合Scaffold‑GS的参数以及相机的自适应参数进行渲染，得到渲染图像，计算训练损失对高斯点云进行更新；将训练场景和目标场景的第一帧的相机位姿进行对齐，来确定目标物体摆放的位置，然后对目标物体进行渲染，得到多视角物体图像，能够直接与目标场景图像进行粘贴的处理。本发明生成无边缘模糊的单物体三维表示，实现在目标场景中对于该物体的渲染。

公开(公告)号：CN118071999A

公开(公告)日：2024-05-24

申请号：CN202410460946.X

申请日：2024-04-17

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  曹刘娟 ,  黄驰 ,  李新阳 ,  张声传

IPC: G06V10/25 ,  G06V20/64 ,  G06V10/22 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/082

Abstract: 本发明提供一种基于采样自适应的连续NeRF的多视角3D目标检测方法，包括：将多视角姿势图像输入到2D主干网络得到2d特征；均匀采样整个场景中的空间坐标，得到原始的采样点；将该采样点投射到2d特征中得到多视角的特征体积，再通过多头权重融合方式得到空间特征；首次多头权重融合时，由空间特征直接处理得到场景特征，将场景特征输入到检测头预测偏移量，更新采样点和多视角的特征体积，再进行多头权重融合得到新的空间特征，与上一次的场景特征拼接后处理得到新的场景特征，将该场景特征输入到检测头再预测偏移量，更新采样点和多视角的特征体积，再次多头权重融合得到新的空间特征，再得到新的场景特征，输入到检测头中得到最终的3D边界框数据。

公开(公告)号：CN117475105A

公开(公告)日：2024-01-30

申请号：CN202310556250.2

申请日：2023-05-17

Applicant: 厦门大学

Inventor： 曹刘娟 ,  李新阳 ,  黄驰 ,  赖章宇 ,  张声传 ,  纪荣嵘

IPC: G06T17/20 ,  G06T11/40 ,  G06V10/26 ,  G06T7/55 ,  G06T7/73

Abstract: 一种基于单目图像的开放世界三维场景重建及感知方法，涉及计算机视觉。包括场景感知、场景解耦、实例处理、实例重建、场景重组、场景感知信息融合。首先利用预训练感知模型对单目图像进行感知与实例分割；再通过填充等处理进行实例去遮挡，并再次进行实例感知得到其语义信息；再利用实例语义信息进行单目三维重建；最后通过场景和实例的感知信息计算得各实例在场景中的三维位置，并将实例重组为原始图像对应的三维场景，并通过重建出的实例三维模型计算场景中各实例的三维感知信息。有效处理开放世界场景中的实例数量不一、实例遮挡等问题，提高开放世界三维场景重建及感知的鲁棒性。

公开(公告)号：CN119741675A

公开(公告)日：2025-04-01

申请号：CN202411811492.2

申请日：2024-12-10

Applicant: 厦门大学

Inventor： 张声传 ,  黄驰 ,  纪荣嵘 ,  曹刘娟

IPC: G06V20/58 ,  G06V20/70 ,  G06V10/82 ,  G06N3/0455

Abstract: 本发明公开了一种使用多帧和渲染监督的自动驾驶占用格预测方法，包括以下步骤：S1、将主视角图像的数据输入到GaussianFormer模型的处理流程，得到预测的空间中主视角语意高斯点云；再采用GaussianFormer模型的处理流程，得到主视角占用格预测损失；S2、将主视角语意高斯点云使用三维动态物体标注，转换得到辅助视角语意高斯点云；S3、采用GaussianFormer模型的处理流程，得到辅助视角占用格预测损失；S4、采用图像语意提取网络，得到主视角语意图和辅助视角语意图；S5、通过语意渲染，得到主视角语意渲染图和辅助视角语意渲染图；S6、联合使用主视角语意图和主视角语意渲染图以及辅助视角语意图和辅助视角语意渲染图，得到语意渲染损失。

公开(公告)号：CN118071999B

公开(公告)日：2024-09-06

申请号：CN202410460946.X

申请日：2024-04-17

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  曹刘娟 ,  黄驰 ,  李新阳 ,  张声传

IPC: G06V10/25 ,  G06V20/64 ,  G06V10/22 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/082

Abstract: 本发明提供一种基于采样自适应的连续NeRF的多视角3D目标检测方法，包括：将多视角姿势图像输入到2D主干网络得到2d特征；均匀采样整个场景中的空间坐标，得到原始的采样点；将该采样点投射到2d特征中得到多视角的特征体积，再通过多头权重融合方式得到空间特征；首次多头权重融合时，由空间特征直接处理得到场景特征，将场景特征输入到检测头预测偏移量，更新采样点和多视角的特征体积，再进行多头权重融合得到新的空间特征，与上一次的场景特征拼接后处理得到新的场景特征，将该场景特征输入到检测头再预测偏移量，更新采样点和多视角的特征体积，再次多头权重融合得到新的空间特征，再得到新的场景特征，输入到检测头中得到最终的3D边界框数据。