Wenn Sie jemals versucht haben, eine große Gaussian-Splat-Szene in die Unreal Engine zu laden, kennen Sie den Schmerz. Die Dateien sind groß, der Renderer hat kein eingebautes Konzept dafür, wie Tausende überlappende Splats effizient verarbeitet werden, und die Bildraten fallen schnell ab. Für VFX-Künstler und Technical Directors, die reale Aufnahmen in ihren Unreal-Projekten verwenden möchten, war das ein echtes Hindernis.
NanoGS ändert das jetzt.
Veröffentlicht am 19. März von Tim Chen, Lead Technical Artist bei Moonshine Studio — einem professionellen VFX- und Animationsstudio — ist NanoGS ein kostenloses, quelloffenes Unreal Engine 5-Plugin, das Nanite-inspirierte Optimierungstechniken direkt auf Gaussian Splatting anwendet. Es ist jetzt auf GitHub verfügbar und kompatibel mit Unreal Engine 5.6 und höher.
Für alle, die reale Umgebungen in Unreal aufbauen — von Virtual-Production-Hintergründen über Previs bis hin zu Spielumgebungen — ist das eine bedeutende Entwicklung.
Was ist NanoGS?
Um zu verstehen, was NanoGS tut, hilft es, Nanite zu verstehen — das virtualisierte Geometriesystem der Unreal Engine. Nanite verwaltet automatisch den Level of Detail (LoD) für komplexe Meshes. Es streamt hochauflösende Geometrie nur dort ein, wo die Kamera sie braucht, entfernt Geometrie außerhalb des Sichtbereichs und hält die Bildraten auch bei extrem dichten Szenen stabil. Vor Nanite erforderte das Laden eines hochdetaillierten Architekturmodells in UE5 manuelle LoD-Arbeit und sorgfältige Optimierung. Nach Nanite übernimmt die Engine das automatisch.
NanoGS wendet dieselbe Philosophie auf Gaussian Splats an.
Anstatt jeden Splat in einer Szene gleichzeitig in voller Auflösung zu laden, verwendet NanoGS LoD-Clustering, um Splats in räumliche Gruppen zu organisieren. Splats weiter von der Kamera werden mit geringerer Dichte gerendert; nähere in voller Qualität. In Kombination mit Splat-Culling — dem Entfernen von Splats außerhalb des Kamerasichtfelds — reduziert das Plugin die GPU-Last für große Szenen drastisch.
Über LoD und Culling hinaus verwendet NanoGS Splat-Kompaktierung, um redundante Daten aus dem Splat-Datensatz zu entfernen, bevor sie auf der GPU landen, und einen globalen Akkumulator für effizientes Alpha-Blending über überlappende Splats. Zusammen ermöglichen diese Techniken, wesentlich größere Gaussian-Splat-Szenen in UE5 zu laden, ohne den Bildratenzusammenbruch, der sonst folgen würde.
Chen hat NanoGS zunächst als internes Tool bei Moonshine Studio entwickelt und dann als Open Source veröffentlicht. Er beschreibt Version 1.0 als eine Grundlage, auf der er aufbauen will — ein Startpunkt, kein Endpunkt.
Warum das für VFX und Film wichtig ist
Unreal Engine ist zur De-facto-Plattform für Virtual Production, Previs und VFX-Hintergrund-Rendering geworden. LED-Wall-Bühnen, virtuelles Scouting, Echtzeit-Previs-Workflows — fast all das läuft auf UE5. Und zunehmend sind die Umgebungen, mit denen Menschen arbeiten möchten, reale Orte, keine handmodellierte Geometrie.
Gaussian Splatting ist der schnellste Weg von einem realen Standort zu einer fotorealistischen 3D-Umgebung. Gehen Sie mit einer Kamera durch einen Raum, nehmen Sie die Daten auf, verarbeiten Sie sie und erhalten Sie eine navigierbare fotorealistische Szene. Kein Modellieren. Kein Texturieren. Keine wochenlange Photogrammetrie-Nachbearbeitung.
Der Engpass war immer, diesen Splat in Produktionsqualität in Unreal zu bekommen. NanoGS beseitigt diesen Engpass.
Für VFX-Künstler sieht der Workflow mit NanoGS so aus:
- Aufnehmen des realen Standorts mit einer Gaussian-Splatting-fähigen Kamera
- Verarbeiten der Aufnahme zu einem Gaussian Splat (PLY-Format)
- Importieren der PLY in UE5 mit NanoGS
- Rendern mit Unreals vollem Beleuchtungs-, Nachbearbeitungs- und Compositing-Stack
Splat Labs ist nicht das, was Ihren Splat trainiert oder aus Rohdaten rekonstruiert — das geschieht in Ihrer Rekonstruktions-Toolchain (z. B. LCC mit PortalCam oder Lixel, oder eine andere Gaussian-Splatting-Pipeline, die PLY ausgibt). Wo Splat Labs hineinpasst, ist professionelle Aufnahme-Hardware, wenn Sie sie brauchen, und Splat Labs Cloud zum Hosten, Überprüfen und Teilen jeder PLY, die Sie bereits haben — einschließlich PLY, die Sie mit NanoGS importieren möchten — dann exportieren Sie in UE5, wenn Sie bereit sind.
Die vollständige Pipeline: Von der Aufnahme zur Unreal Engine 5
Der schnellste Aufnahmepfad in einen NanoGS-fähigen Workflow nutzt Hardware, die für den Job entwickelt wurde.
PortalCam ist Splat Labs' dedizierte Raumkamera, die speziell für Gaussian Splatting gebaut wurde. Duale Fischaugenlinsen, integriertes LiDAR und ein Multi-SLAM-Chip erzeugen einen fotorealistischen Gaussian Splat in Minuten — kein Stativ, keine komplexe Kalibrierung, einfach natürlich durch den Raum gehen. Für Interior-Umgebungsaufnahmen, Location Scouting, Setdesign-Referenz oder jeden Raum bis etwa 150 Quadratmeter liefert PortalCam produktionsfertige Ergebnisse schnell.
Für größere Räume — Außenbereiche, Infrastruktur, mehrgeschossige Gebäude oder jede Situation, die vermessungstechnische Präzision erfordert — liefert der Lixel L2 Pro Echtzeit-Punktwolken- und Gaussian-Splat-Aufnahmen mit 3 cm absoluter Genauigkeit. Tragbar, drohnenmontiert oder fahrzeugmontiert, mit Reichweite bis zu 300 Metern.
Sobald Sie eine PLY haben — aus einem PortalCam- oder Lixel-Workflow, verarbeitet in LCC, oder von einem anderen Tool, das einen kompatiblen Splat ausgibt — hostet Splat Labs Cloud sie, damit Ihr Team sie in jedem Browser ansehen, zusammenarbeiten, annotieren und Präzisionsmessungen durchführen kann. Splat Labs Cloud bereitet Ihren Upload für schnelles Streaming im Viewer vor; es ersetzt nicht Ihre Splat-Authoring-Pipeline. Wenn Sie für Unreal bereit sind, exportieren Sie dasselbe Projekt als PLY für NanoGS.
Arbeiten Sie komplett ohne unsere Aufnahme-Hardware? Sie können trotzdem Splats aus jeder Quelle hochladen (einschließlich PLY, die Sie für einen NanoGS-Workflow erstellen), um sie vor dem Import in UE5 zu teilen und zu überprüfen.
Die vollständige Pipeline mit Splat Labs-Aufnahme:
PortalCam / Lixel L2 Pro → LCC (Rekonstruktion) → Splat Labs Cloud (Hosten, Überprüfen, Exportieren) → NanoGS → Unreal Engine 5
Bereits eine PLY von anderswo:
Ihr Splat (PLY) → Splat Labs Cloud (optional: Hosten & Teilen) → PLY exportieren → NanoGS → Unreal Engine 5
Was Splat Labs Cloud einem VFX-Workflow hinzufügt
Im Kern ist Splat Labs Cloud dafür gebaut, Gaussian Splats aus jeder Quelle zu hosten — und darauf dann Zusammenarbeits- und Präsentationstools aufzubauen. Das ist besonders nützlich, wenn Unreal nachgelagert ist: Stakeholder können dieselbe PLY im Browser überprüfen, während Ihr Team in NanoGS arbeitet, ohne dass jeder UE5 installieren muss.
Fly-Through-Filme ermöglichen es Ihnen, filmische animierte Durchgänge zu erstellen, indem Sie Wegpunkte in Ihrem Splat setzen. Für Kundenpräsentationen, Regie-Reviews oder Previs-Referenz liefert das innerhalb von Minuten ein professionelles Ergebnis aus Ihrer Aufnahme, ohne Unreal überhaupt zu berühren.
Portale verbinden mehrere Splat-Scans zu einem einzigen nahtlosen Rundgang. Wenn Sie einen Mehrzimmer-Standort aufnehmen oder einen Innenscan mit einem Außenscan kombinieren, ermöglichen Portale die Navigation zwischen ihnen, als wären sie eine durchgehende Umgebung.
Präzisionsmessungen ermöglichen genaue Abstands- und Flächenmessungen direkt in der 3D-Ansicht — nützlich für Produktionsdesign, Set-Planung oder die Überprüfung, dass Ihre Aufnahmedaten mit den realen Abmessungen übereinstimmen, bevor Sie sich auf einen Unreal-Build festlegen.
Einbetten und Teilen bedeutet, dass jeder Splat einen teilbaren Link bekommt, der in jedem Browser, auf jedem Gerät funktioniert, ohne App. Remote-Regisseure, Produzenten und Kunden können Ihre aufgenommene Umgebung ohne UE5-Installation oder VPN überprüfen.
Erste Schritte
NanoGS 1.0 erfordert Unreal Engine 5.6 oder höher. Das Plugin ist quelloffen und sofort verfügbar unter github.com/TimChen1383/NanoGaussianSplatting.
Auf der Cloud-Seite können Sie mit einem kostenlosen Splat Labs-Konto Ihre ersten zwei Projekte kostenlos hochladen und hosten — genug, um Hosting, Teilen und PLY-Export neben NanoGS auszuprobieren, bevor Sie sich für Hardware entscheiden.
Die Kombination aus leistungsfähiger Aufnahme-Hardware (wenn Sie sie brauchen), Cloud-Hosting und Zusammenarbeit für Ihre Splats und jetzt einem produktionstauglichen UE5-Renderer bedeutet, dass die vollständige Pipeline von der realen Welt zur fotorealistischen Unreal-Szene noch nie zugänglicher war. Wenn Virtual Production, VFX-Hintergrundaufnahmen oder reale Spielumgebungen auf Ihrer Roadmap stehen, sind die Bausteine vorhanden.
