Gaussian Splatting
Импортируйте, манипулируйте и рендерите 3D-файлы с разделением по Гауссу (.ply) внутри After Effects в режиме реального времени с помощью графического процессора.
Сцена для Gaussian splatting/Гауссов сплэтинг — это массив точек. Каждая из них обладает четырьмя параметрами:
- Три координаты положения в пространстве.
- Для многомерного нормального (гауссовского) распределения нужна ковариационная матрица размерности 3×3, которая показывает, насколько вытянут или сплюснут эллипсоид.
- Альфа-канал (прозрачность).
- Цвет: три значения RGB.
Если упрощать, то для вывода на экран точки представляются в виде эллипсоидов. Учитывается их положение (глубина) и прозрачность.
Для каждого пикселя гауссианы сортируются от самой ближней до самой дальней и отрисовываются, смешиваясь воедино. Результат — фотореалистичная сцена, которая при разрешении 1080p рендерится в реальном времени (100 кадров в секунду и выше).
Для растеризации написали кастомный движок для CUDA. Исследователи предупреждают, что использовали дорогую карту для рабочих станций Nvidia RTX A6000, но также замечают, что производительность в реальном времени может быть достигнута на куда более слабых видеоускорителях (но с большим количеством VRAM).
Возможности плагина Gaussian Splatting:
- Импортируйте файлы .ply в After Effects.
- Обрезайте с помощью сферической/Spherical или прямоугольной/Box формы.
- Обрезайте с помощью плоскости Y (Y Plane).
- Объединяйте до 5 моделей в сцене.
- Раскрашивайте/Colorize с помощью рампы/Ramp, используя сферическую/Spherical или прямоугольную/Box форму.
- Раскрывайте/Reveal модель с помощью рампы непрозрачности/Opacity Ramp.
- Анимируйте масштаб изображения/Animate Splat Scale, придавая ему сферическую/Spherical или прямоугольную/Box форму.
- Каждая модель может быть искажена шумом/Noise.
- Изменение глубины рендеринга/Render Depth Pass для 3D-композиции.
- В режиме реального времени с помощью графического процессора (GPU).
Совместимость: After Effects 2027, 2026, 2025, 2024, 2023, 2022.
Gaussian Splatting предлагает простой процесс импорта файла слоя — с помощью простого перетаскивания.
Вы также можете раскрасить определенные участки сцены и объединить их, как показано ниже:
Поскольку ввод - это просто воспроизведение, это облегчает перенос снимков с большинства других платформ, включая Luma, Nerfstudio и Polycam, непосредственно в After Effects.
После импорта снимка несколько предварительно настроенных эффектов будут готовы к использованию. Базовые функции, такие как обрезка и выравнивание сцены, поддерживаются сразу же. Кроме того, Gaussian Splatting позволяет комбинировать до пяти различных снимков в рамках одной сцены. Более продвинутые эффекты также доступны для тех, кто ищет большей свободы творчества.
Выравнивание модели. Выровняйте модель по центру сцены и расположите ее горизонтально.
Crop. Обрезка сцены с помощью сферы или прямоугольника и плоскости Y.
Noise. Используйте шум для искажения моделей, чтобы выявить эффекты.
Colorize Splats. Раскрасить с помощью градиента по сферической карте.
Splats Scale. Анимируйте размер Splats с помощью Ramp And Spherical или Box map, чтобы создавать эффектные эффекты появления.
Splats Opacity. Установите прозрачность на Splats с Ramp.
Splats Displacement. Анимируйте размер Splats с помощью Ramp And Spherical или Box map, чтобы создавать эффектные эффекты появления.
Объедините несколько .ply слоев. Используйте до 10 моделей в сцене.
- Видеоуроки.
After Effects Plugin Gaussian Splatting Easy 3D Capture Tutorial (youtube.com)
- Установка. Копируем плагины GaussianSplatting.aex и PlyImporter.aex в следующую директорию:
C:\Program Files\Adobe\Common\Plug-ins\7.0\MediaCore
- Применение эффекта.
Запускаем After Effects и применяем эффект Gaussian Splatting к слою:
Настройки эффекта Gaussian Splatting:
- Скачать плагин Gaussian Splatting V1.0.2 Win можно по этой ссылке.
Способ лечения: копируем GaussianSplatting.aex и PlyImporter.aex в следующую директорию C:\Program Files\Adobe\Common\Plug-ins\7.0\MediaCore.
- Скачать плагин Gaussian Splatting V1.1.0 Win можно по этой ссылке.
Что нового добавили в этом обновлении:
- Исправлена проблема с mac на графическом процессоре Vega.
- Добавлено Z Depth output.
- Скачать плагин Gaussian Splatting V1.2.0 Win можно по этой ссылке.
Что нового добавили в этом обновлении:
- Исправлена поддержка огромных моделей.
- Добавлены функции цветокоррекции (Color Grading) для каждой модели.
- Количество моделей в одной сцене увеличено до 10.
- Добавлена функция экспорта.
- Исправлена проблема с новыми моделями Polycom.
- Добавлена раскраска с помощью AE Lights.
- Скачать плагин Gaussian Splatting V1.3.5a Win можно по этой ссылке.
Что нового добавили в этом обновлении:
- Обновлён license framework.
- Добавлен Max Spherical Harmonics.
- Добавлена поддержка Compressed Ply.
- Исправлено: 8-битный рендеринг, отключение функций рендеринга для окончательного рендеринга, проблема с цветом при применении поворота по горизонтали (Align Rotation).
- Скачать плагин Gaussian Splatting V1.4.1 Win можно по этой ссылке.
Что нового добавили в этом обновлении:
- Добавлена поддержка .ply последовательностей.
- Скачать плагин Gaussian Splatting V1.5.0 Win можно по этой ссылке.
Что нового добавили в этом обновлении:
- Улучшенное качество рендеринга.
- Исправлена ошибка с экспортом в ply.
- Скачать плагин Gaussian Splatting V1.5.2 Win можно по этой ссылке.
Что нового добавили в этом обновлении:
- Добавлена поддержка HDR рендеринга.
- Скачать плагин Gaussian Splatting V1.6.8 AE OFX Win можно по этой ссылке.
Что нового добавили в этом обновлении:
Исправлена поддержка файлов ml-sharp .ply.
Исправлена проблема с экспортом .ply.
Исправлены ошибки, приводившие к сбоям в Windows.
Добавлена опция поворота формы «кропа».
Улучшена видимость манипулятора (gizmo).
*OFX версия с поддержкой DaVinci Resolve. Копируем GaussianSplatting.ofx.bundle в следующую директорию:
C:\Program Files\Common Files\OFX\Plugins
Импортируйте, обрабатывайте и визуализируйте 3D-файлы с гауссовым сплэттингом (.ply) в DaVinci Resolve в режиме реального времени с помощью графического процессора.
- Скачать плагин Gaussian Splatting V1.6.9 AE Win можно по этой ссылке.
Что нового добавили в этом обновлении:
Добавлена поддержка 2D-слоев для рендеринга в среде GS.
Улучшена загрузка больших моделей и рендеринг большого количества брызг.
- Скачать плагин Gaussian Splatting V1.6.10a AE Win можно по этой ссылке.
Что нового добавили в этом обновлении:
Добавлена поддержка Adobe After Effects 2026.
- Скачать плагин Gaussian Splatting V1.7.0 AE Win можно по этой ссылке.
Что нового добавили в этом обновлении:
Добавлен инструмент 3D Null Generator.
- Скачать плагин Gaussian Splatting V1.7.1 AE Win/Mac можно по этой ссылке.
Исправлено:
Исправлена ошибка, приводившая к сбою при импорте поврежденной фанеры.
Исправлено некорректное ограничение цвета для некоторых черных пятен.
- Gaussian Splatting plugin от KIRI Engine.
Вкратце, если вы ещё не сталкивались с Gaussian Splatting: это новый формат захвата 3D-изображений, который больше похож на фотографию, чем на традиционную 3D-сетку, и он очень хорошо передаёт детали реального мира. Однако в After Effects никогда не было встроенной функции для работы с ним, поэтому вам приходилось предварительно рендерить видео в программе просмотра или Blender, и перерендеривать его каждый раз, когда вы хотели изменить движение камеры.
Мы создали бесплатный плагин для After Effects с открытым исходным кодом, который решает эту проблему. Импортируйте эффект Gaussian Splatting как видеоматериал, примените его к твердому объекту, и он будет рендериться через настоящую 3D-камеру After Effects, так что вы сможете вращать, приближать или пролетать сквозь него, как обычно. Вы также можете стилизовать его: обрезать, перекрасить, добавить шум для глючных переходов, использовать смещение для эффектов деформации, уменьшить его размер для эффекта распада или изменить фокус с помощью встроенной глубины резкости.
Это полностью открытый исходный код, репозиторий здесь:
https://github.com/Kiri-Innovation/Gaussian-Splatting-plugin-by-KIRI-Engine
Полная документация и руководство по устранению неполадок:
https://www.kiriengine.app/3d-tools/gaussian-splatting-plugin-kiri-engine
- Тематические ссылки:
Набор сцен от разработчиков (650 МБайт).
Примеры сгенерированных картинок (7 ГБайт).