【水蛭】耗时336小时，我终究还是失败了...（失败的经验分享|高斯溅射Gaussian Splatting）

凋零の黑葉 2024-11-11

感谢up主分享！这里是KIRI Engine的联创Chris，您视频中用的Blender插件就是我们团队做的。目前这个第一版addon确实有点拉跨。效率相当低下。不过我们2.0版本会在这个月的月末上线，也会完全开源完全免费给大家用，所以您可以到时候再试试~效果不能说堪比AE，至少HQ render会用起来更顺手。而且光照的影响和高斯的前后关系是对的。不至于透过去。然后就是每一个软件其实底层还是稍许不一样的。Blender也就是4.2之后更新了计算底层才让高斯渲染变得更加可行。所以Blender的高斯插件还有很长的路要走~哈哈哈。然后我看评论区里很多同学在说RC在说Photogrammetry，其实高斯和Mesh是两个3D的表达方式。有利也有弊。都是很好的技术。最后。相当感谢up主制作的视频。非常有意思！

♥ 759 ↩ 7

GFMagic 2024-11-08

作为一个技术人员，十分能感同身受软件莫名其妙的问题带来的痛苦

♥ 731 ↩ 12

独匠DJArtisan 2024-11-08

从优酷那会就一直关注，感觉大蚂蟥的风格一直没变，怪好的[doge]

♥ 439 ↩ 9

MicroBlock 2024-11-08

个人观点不一定对仅做参考错了还请纠正（）首先高斯溅射和传统光栅化渲染器的区别虽然比nerf少但是还是很大的；而譬如blender, ue等依然是用的传统光栅化的方案，这就意味着如果要在不改变光栅化算法的情况下把高斯溅射的模型『缝』进这些普普通通的3d软件，那么就需要要么想办法把高斯溅射模型想办法转为mesh来渲染要么在渲染管线里加一层，直接把高斯溅射单独渲染然后与其他结果合并视频里出现的几种看起来都是方案1 而那个快速预览的按钮可能是（我猜？）在对应摄像头重新进行高斯溅射渲染，再重新把渲染结果投射到mesh上作为材质，以此来实现比较好的效果和mesh的结合

♥ 399 ↩ 24

Alex_Kao 2024-11-09

这下撞我枪口上了，我现在做3dgs的，3dgs生成的点云其实是每一个高斯球的位置，具体渲染的时候会根据相机内参和外参将所有高斯球投影到图片平面上，并且根据opacity来排列组合高斯球得到具体的像素值。这个过程和传统的光栅化还是有区别的。我的经验是3dgs训练出来的模型，如果视角和训练视角相差太大的话图像质量会很差，并且3dgs不能理解光照，有些反光和高光其实是通过在场景后面堆叠一些白色高斯球并且降低特定高斯球的opacity实现的。之前了解到一篇叫dn-splatter的论文通过引入深度和法线的约束倒是能够提高3dgs生成的几何质量，但是我实测下来还是略微牺牲了图片质量。

♥ 395 ↩ 9

逆风嘎嘎笑 2024-11-08

水蛭啊，你这种视频专业性太强了，我看完了，又不知道自己看了个什么。只知道你用了一个软件做视频，结果软件出问题了，没做好。只因为是水蛭，所以我看完了，但是感觉看了又好像没看[笑哭]

♥ 298 ↩ 12

唐辫小二 2024-11-08

blender和AE有一个共同的问题在AE中你会遇到表达式错误。是因为效果名称导致的。在blender里依然有这个问题。你需要去设置里面将语言下的新建数据关闭即可这就是为什么你很多脚本运行后节点不出来以及节点丢失的原因一定要关闭新建数据。 @水蛭-JogsLeech

♥ 190 ↩ 2

Java不加糖 2024-11-08

之前当ra的时候做diffusion model，有了解过一点gaussian splatting。据我理解gaussian splatting的生成的点云并不是传统的点云（e.g. 激光雷达），它把每一个点看作是一个gaussian distribution，所以它的渲染逻辑和传统的点云差距还是非常大的。至于3d软件的插件为什么效果都不太好，我猜估计都是用的曲线救国的方法。

♥ 105 ↩ 1

WinterArk 2024-11-08

时间静止可以看看日本的电影积累经验

♥ 83 ↩ 4

丘越GG拉 2024-11-08

两周多的时间白白浪费了。。。好不甘心。。。虽然是一个失败的经验分享，但是这个过程我认为还是非常有意思的！同时如果有好哥哥好姐姐知道如何解决这些问题的话求求你们帮帮我！

♥ 63 ↩ 4

光锋-ZH9c418 2024-11-08

在blender里你主要是要把这些点云转换为mesh才能正常显示（

♥ 49

账号已注销 2024-11-09

水蛭啊，看你很久了，b收益也大砍了，你做这么久了，收入靠什么呀。

♥ 42 ↩ 2

旧游無处不堪尋 2024-11-13

作为一个计算机水硕，我会说工业界没一家会直接用aigc，他们用ai只是优化软件，给软件内置个gpt，而不会用ai生成的建模。学术界，即使你的需求被搞ai的那帮人看中，专门做一个端对端的模型，最终效果也不会更好了。你的需求是多个点云文件在同一场景中渲染，旋转时重叠的地方深度信息要被正确渲染是吧？理论上说，点云是可以做到的，但是需要更精细的深度信息，或者调整边缘区域点云的点半径或透明度。但是你用的高斯溅射生成的点云文件，高斯核的体积会导致点云的边缘模糊。对于遮挡复杂的场景（例如视频中多个重叠物体）会影响遮挡效果的准确性，从而对深度信息的精度产生影响。你只有用slam方法这种扫描精度高的，拍电影那帮人用来扫模型的相机设备，生成的点云才能达到你想要的效果，靠ai弯道超车是没戏的。目前，最便宜的解决方案只有后处理了，把那些旋转场景时穿帮的镜头加上一堆duangduang的特效，骗过眼睛就行了。

♥ 39 ↩ 1

Cekavis 2024-11-13

最近刚写过3DGS的论文来解释一下。3DGS的重建和渲染要达到最好的质量都依赖原作者用CUDA写的渲染管线，我知道Unity有一些重写的渲染器，也有用JS、WebGL这些写的，但质量上都做了牺牲（比如减少了SH阶数、用了近似的排序等等），而CUDA就意味着只能在N卡上运行，这个限制就已经很大了。此外这个渲染管线也不兼容传统的mesh渲染，如果要和mesh放在一起并且做出遮挡关系是比较困难的，据我所知还没有这样的实现。所以现阶段大概还不能和UE、Blender这些成熟的框架结合。但我也很惊异于独立开发者的热情，居然写了那么多不同框架下的渲染器、插件，希望未来可以逐渐成熟、普及。（顺便给我的工作打个广告 https://cekavis.site/3dgs-vr/ ）

♥ 37 ↩ 7

Z伦伦Z 2025-05-08

tim过来的举手

♥ 31 ↩ 7

狗头探头 2024-11-08

一般都是点云转mesh，没你这么直接用的[doge]

♥ 28 ↩ 3

楼下的果果 2024-11-08

电影特效一开始也是靠人工大量堆时间，手动剪出蒙版，手动摆放视错觉透视，虽然现在技术已经在快速突破，但那种高度自定义成熟技术可能还有一段距离[思考]

♥ 27 ↩ 1

小黑暗呐 2024-11-09

我用过unity的GS插件，渲染效果还挺好的。另外up主可以看看SuGAR或者2DGS，这两个是GS转mesh目前比较不错的开源项目（可以复现，up最好去租卡跑实素材，一般没有在本机跑的）。最后作为一个3DGS方向的研究牲，看到up这种敢想敢干，结合3dgs落地实践的行为还是很受鼓舞的！[打call][打call][打call]

♥ 26 ↩ 3

仿生林则徐会消灭鸦覑 2024-11-08

做2d的不懂，猜测可能是3d扫描，扫描后的文件是用一个一个不同颜色的高密度圆球去模拟做成的整个3d图像了，然后导入虚幻5之类的软件，内容太大，点的颜色密都太频，为了流畅运行，虚幻5自动将大部分颜色汇聚成一个颜色，然后铺平到3d图像上，导致的画质不佳。纯猜，搞2d的看不懂。

♥ 26 ↩ 2

苏白_Ai开发 2024-11-09

首先我没看完；首先我是一个电影特效制作10多年的人，但是我的技术可能不咋滴；首先您是要做一个子弹时间么；首先我不了解高斯溅射；但是就子弹时间来说，场景扫描后在子弹么，应该有很多方法；干嘛非纠结高斯呢。才疏学浅，显得很不专业。

♥ 25 ↩ 11

【水蛭】耗时336小时，我终究还是失败了...（失败的经验分享|高斯溅射Gaussian Splatting）

合集 · 【水蛭】你在寻找我的宝藏 (151)

Comments