室内场景3DGS消除杂云的技术讲解

Description

这座古建，名叫明道堂，建于981年前的北宋。地处苏州园林最古老的沧浪亭。 古旧窗棂映着岁月斑驳，对联藏尽千年风霜。
高斯泼溅技术，把千年古建原封不动地“搬”进了数字世界。

为什么明道堂的高斯泼溅重建效果这么好？为什么空间中几乎没有杂云（floater）？原因在于数据和算法。
高斯重建要求数据的立体视角尽可能多样。因此我们采用 3 台 iPhone录制视频。一台向下 45° 扫地面，一台平视，一台向上 45° 仰拍房顶。确保空间全覆盖。
高斯重建室内环境要尽可能避免运动模糊（motion blur），因此视频每一帧的快门速度一定要调到 1/500 秒以上。在iphone上，免费软件 Final Cut Camera提供了该功能。
高斯重建室内环境要求尽可能用视场广的线性镜头，便于不同视角之间形成交叉定位。Iphone的超广角镜头是13mm焦距，很适用。
大家可以参考我的拍摄路线：这叫“表盘走位法”。 先对着房间中心在多个高度做“向心环绕”拍摄，定下空间框架； 然后在室内走“井”字路线，补全深处的信息； 接着背对中心做“离心环绕”，扫一遍墙面细节； 最后，像匾额、对联这种有文字的地方，记得多角度补拍细节。
整个过程保持每秒 1 米左右的匀速，转弯时慢一点。这样能给算法预留充足的重叠帧，重建出的细节才会更精准。
有了好的数据集，高斯重建室内空间，是不是就不会出现杂云了呢？答案是还需要新一代的高斯算法。
在2025年，高斯泼溅的开源算法领域，出现了两项关键进步，揭示了杂云形成的机理。
首先是大批照片的曝光不可避免有差别，这些光度差异会被高斯算法当成残差（residual），留在空间当中成为杂云。因此高斯计算时需要对所有照片涵盖的空间区域“匀光匀色”。这就是Bilateral Grid算法。
其次，算法发现杂云未必是需要删除的，而是有可能处于空间中的距离错位。当高斯泼溅重建算法在点云扩增时错误判断了远处的平面，尤其是纯色的墙体时，本来应该平整的点云就会凸起，变成团状的杂云。开源算法框架Gsplat引入了稀疏深度（sparse depth）的概念，用初始化点云的距离深度来规整高斯泼溅结果，把“杂云”压到了远处的平面上。这项算法思路也被一系列商业化软件所采用。
有了这两项算法加持，2026年的高斯泼溅室内场景的质量有了巨大提升。
知天下 AI 提供的免费重建算法，已经把bilateral grid和sparse depth融入了gsplat和hierarchical高斯框架。欢迎爱好者们尝试。也欢迎大家使用gsplat,lichtfeld,bsd等各家软件尝试算法设置，产出最优质的3DGS世界。
知天下AI：https://explorerglobal.cn/
bilateral grid论文：https://bilarfpro.github.io
gsplat：https://github.com/nerfstudio-project/gsplat
lichtfeld：https://github.com/MrNeRF/LichtFeld-Studio