4D高斯泼溅全解析-从拍摄到训练如何做到低成本高效率

投入到4DGS大概有半年了，从一开始的一知半解，到实操拍摄、训练，阶段性总结一下。
所使用的数据集（陆续拍摄分享）：
通过网盘分享的文件：4DGS
链接: https://pan.baidu.com/s/1dA-pqKRM_86C5DtPMtZvyA?pwd=ifyq 提取码: ifyq
--来自百度网盘超级会员v9的分享。

【如果不愿意看视频，可以直接看下面文字】
1、拍摄
1.1 镜头的选择，机位排列，同步方式
相机的选择，主要从画质、成本的角度来选择，从质量上来考虑肯定是单反、无反效果最好，但是成本不是一般人能够承受的，一个好的相机矩阵投入差不多得几十万上百万，因此从成本的角度来说工业相机、运动相机和手机其实时最适合的，尤其是手机，即便是几年前的手机，依然被调教的很好；
镜头的选择，我个人觉得35mm左右的镜头是比较适合拍摄较大一些的场景，50mm左右的镜头适合拍摄头部表情细节这类，这个目前没有测试，只是我的猜想；
同步方式，目前可选择的方式有声音同步、光同步、电波（时码器）同步几种方式，理论上讲光和电磁波同步是最精确的，但是用时码器通过电波信号同步价格相对也比较贵，所以我觉得从性价比的角度，声音同步基本上够用，我的方法是在拍摄期间，用尖锐的声音做同步参考音；
机位数和排列，机位数理论上来讲有4个以上都可以，我们使用的这个开源项目官方给出的是20机位的，但是我这边因为经济条件，只做到15机位，从最终的效果来看也足够获得一个扇面的结果，间距的不宜过大，以目标主体为圆心做扇形排列，我用了上下两排，第一次、第二次没有完全按照扇形，间距也比较大，而且不太规则，最终的结果就是特征点同步起来比较慢，loss数值很高，最终的效果也不理想。

1.2 拍摄参数（全手动模式，快门速度很重要，帧率建议25帧或者24帧，补光，同步方式）
4K，25/24帧
全手动模式，手动白平衡，这点我在第一次拍摄时就出现了部分角度很暗，相机自动提高了曝光，结果亮的部分就过曝了，这部分细节就无法参与特征点的计算
快门速度，尽量高一些，要确保避免动态模糊，动态模糊会影响特征点的计算
光圈要小，要确保景深足够大
ISO尽量不要太高，主要是要确保噪点不要太多影响对特征点的确认，因此光线就很重要，我增加了灯光补光后效果提升很明显。

2、预处理
2.1 导入，将拍好的视频放入剪辑软件，按照素材的顺序依次放入轨道。
2.2 同步，
目前基本上剪辑软件都带有自动同步的功能，可以选择声音还是时码同步，但是我测试来看，剪映的声音同步不太准确；
如果是用的光同步或者其他同步开始结束拍摄的方式就只需要对齐就行了
2.3 剪裁，选取合适的片段剪裁
由于目前4D的训练对算力的要求比较高，因此选择适当画面和适当长度的视频进行训练有助于我们快速得到想要的结果。
2.4 调色，调整色调，获得合适的光影和颜色，保证训练后出来的效果；
2.5 导出，导出的时候注意几个参数的设置：
4K还是2K还是1080P，这个很重要，分辨率对于训练来说，对结果的影响不是特别大，但是对训练时间的影响很大
帧率，这个建议跟原始的帧率保持一致

3、训练，这一步基本上就是调整参数，交给电脑，坐等结果了，但有几点：
先试训练，训练50帧左右，这样可以确保不做无用功；
如果试训练出来的效果没有问题，就可以进行完整的训练了，训练时间会受到原始视频时长、分辨率、帧率、机位数、机位排布的影响，剩下的就是时间和等待了。

4、查看结果。视频最后演示的比较清晰，就不赘述了。