Gaussian Splatting новое слово в создании трехмерного окружения. В результате обработки получаем не инженерный продукт, это надо сразу понимать. Я провёл тесты в течении 2 недель на разных ПК и с разными наборами данных, что бы во всём разобраться.
В основе процесса лежит NeRF (Neural Radiance Fields) - это технология, использующая нейронные сети для создания 3D модели. В процессе обработки большого набора фото нейросеть учится предсказывать, как каждый пиксель в изображении взаимодействует со светом, и как будет выглядеть под другим углом.
А сам Gaussian Splatting, это метод визуализации данных рассчитанных через NeRF. В трехмерном пространстве распределяются плоскости (splats) на которые проецируются изображения. И методом гаусса на этих пятнах создаётся градиентная прозрачность для сглаживания переходов между плоскостями (splats).
Проще говоря, 3Д модель представляется в виде плоскостей висящих в пространстве, на которые спроецированы части фотографий объекта. Это не облако точек, не поверхность, это образы.
Потому выходной материал NeRF + Gaussian Splatting можно использовать только для визуализации.
Применять можно в кино\видео, с определённым допущением, потому что полученные объекты не отбрасывают тени, а отсюда следуют другие неудобства.
