官方网站-首页

【导语】在三维重建技术日新月异的今天，3DGS以其颠覆性的场景表示与渲染架构，引领着高精度三维重建的新纪元。本文深入聚焦3DGS技术的核心环节，特别是数据采集与三维重建的关键步骤与技术细节。从专业的采集车设计到点云生成的精细流程，再到光场重建的创新实践，我们将逐步揭开“从像素到三维”的神秘面纱，探索3DGS技术如何实现从“传统低效”向“高效逼真”的跨越。通过实例分析与效果展示，您将亲身体验到3DGS技术在高精度三维场景重建中的非凡魅力与广阔应用前景。

在三维重建技术从 “传统低效” 向 “高效逼真” 跨越的进程中，3DGS 凭借颠覆性的场景表示与渲染架构，为高精度三维重建提供了全新可能。本文将聚焦 3DGS 技术落地的核心环节，解析数据采集、三维重建的关键步骤与技术细节，揭开 “从像素到三维” 的实现密码。

基于的高精度三维场景重建的生产流程主要分成四个步骤，包括数据采集、三维重建、引擎集成、VR搭建。其中引擎集成和VR搭建涉及更多的是工程实现。本文重点介绍数据采集、三维重建的过程。

图2 生产流程

1、数据采集

关于采集场景的要求，采集前需对场地进行考察，根据场景制定合理的采集动线路线，应尽量完成场地清场，并对环境整理留出采集动线空间。采集中，避免移动场景中物体，避免移动物体、人等进入采集画面，并且尽量保证环境光照稳定，不可忽明忽暗。

图3 采集角度示意图

图4 采集路线示意图

为了保证场景重建质量，提升数据采集效率，采用专业采集车进行拍摄采集，采集车是有多台运动相机组成的相机阵列，各个相机的位置分布和朝向设计如图3，采集车的行进方向参考图4采集路线示意图，整体采集车如图5所示，图6是使用专业采集车进行室外拍摄的路线示意图。

图5 专业采集设备示意图

图6 室外采集路线示意图

2、点云生成

点云生成(chéng)一(yī)般(bān)通(tōng)过(guò)以(yǐ)下(xià)步(bù)骤(zhòu)进(jìn)行(xíng)。首(shǒu)先(xiān)对(duì)拍(pāi)摄(shè)数(shù)据(jù)进(jìn)行(xíng)预(yù)处(chù)理(lǐ)，通(tōng)过(guò)图(tú)片(piàn)质(zhì)量(liàng)检(jiǎn)测(cè)，移(yí)除(chú)模(mó)糊(hu)图(tú)片(piàn)。之(zhī)后(hòu)，通(tōng)过(guò)对(duì)应(yīng)点(diǎn)检(jiǎn)索(suǒ)进(jìn)行(xíng)相(xiāng)机校准和照片对齐，完成相机位姿计算并获得初始点云。随后进行增量式重建，增量式重建主要利用SfM(Structure From Motion，从运动中恢复结构)，SfM是一种从一组不同视角下拍摄的无序或有序影像中，同时恢复场景三维结构和相机姿态的技术。增量式SfM会选择无序影像进行特征匹配，并进行几何纠正、三角测量恢复稀疏点云结构，通过已有点云重新估计相对姿态，再进行局部和全局的BA优化，最后输出全部的相机参数和稀疏三维点云。

图7 稀疏点云和相机姿态的计算流程

一般在采集照片充足，质量高的情况下，获取的相机位姿和实际采集位置相似，且初始点云形状可明显看出和采集场景一致。下面是厦门钢琴博物馆室内场景的部分拍摄图片，以及计算得到的相机位姿和稀疏模型。

图8 钢琴博物馆的(de)拍(pāi)摄(shè)图(tú)片(piàn)

图(tú)9 钢(gāng)琴博物馆的稀疏点云

如果发现有很多相机位(wèi)姿(zī)发(fā)生(shēng)了(le)漂(piào)移(yí)或(huò)初(chū)始(shǐ)点(diǎn)云(yún)有(yǒu)明(míng)显(xiǎn)的(de)异(yì)常(cháng)，则(zé)需(xū)要(yào)重(zhòng)新(xīn)选(xuǎn)择照片或根据异常情况重新补拍照片，然后重新计算相机位姿及初始点云。

图10 metashape初始点云异常情况

3、光场重建

3DGS三维场景重建的大致流程如图11所示，包括：

图11 3DGS的基础流程

①输入：输入是一组静态场景的图像，以及通过SfM算法得到的SfM点，以及所有图像对应的相机位姿。

②初始化：对获取的每个稀疏点云创建初始化3D高斯椭球，其由位置（平均值）、协方差矩阵（XYZ轴缩放因子、旋转因子等）、不透明度和球谐函数系数（后文简称SH系数）所定义。该定义允许3D场景合理紧凑的表示，并通过调节参数紧凑化表示精细化场景结构。其中使用球谐函数来映射整个辐射场的方向性外观分量（RGB颜色）。

③构建梯度流迭代优化：3D高斯椭球在对应的相机位姿下进行投影，获取光栅化之后的图像，与真实输入图像（真值图像）进行比对优化，对初始化后的参数（位置、协方差矩阵、SH系数、高斯球密度的自适应控制）进行优化，同时通过自适应密度控制策略对高斯球进行拆分融合操作。图12展示了多个场景的光场重建效果，图13展示了使用MetaQuest VR头显体验6DoF实景漫游。

图12 实景1:1光场重建复刻效果。左上：首钢冰壶馆；左中：咪咕咖啡；左下：首钢咪咕大楼；右上：信息港二期大堂；右中：信息港工区；右下：信息港二期一层休息区

图13 MetaQuest VR头显体验效果图