Si vous avez déjà essayé de charger une grande scène Gaussian Splat dans Unreal Engine, vous connaissez le problème. Les fichiers sont volumineux, le moteur de rendu n'a pas de concept intégré pour gérer efficacement des milliers de splats qui se chevauchent, et les fréquences d'images chutent rapidement. Pour les artistes VFX et les directeurs techniques qui veulent utiliser des captures du monde réel dans leurs projets Unreal, cela a été un véritable obstacle.
NanoGS est là pour changer la donne.
Publié le 19 mars par Tim Chen, Lead Technical Artist chez Moonshine Studio — un studio professionnel de VFX et d'animation — NanoGS est un plugin gratuit et open source pour Unreal Engine 5 qui apporte des techniques d'optimisation inspirées de Nanite directement au Gaussian Splatting. Il est disponible sur GitHub dès maintenant, compatible avec Unreal Engine 5.6 et versions supérieures.
Pour quiconque construit des environnements du monde réel dans Unreal — de la production virtuelle aux décors de prévisualisation en passant par les environnements de jeu — c'est un développement significatif.
Qu'est-ce que NanoGS ?
Pour comprendre ce que fait NanoGS, il est utile de comprendre Nanite — le système de géométrie virtualisée d'Unreal Engine. Nanite gère automatiquement le niveau de détail (LoD) pour les maillages complexes. Il ne charge la géométrie haute résolution que là où la caméra en a besoin, élimine la géométrie en dehors du frustum de vue et maintient des fréquences d'images stables même dans des scènes extrêmement denses. Avant Nanite, charger un modèle architectural très détaillé dans UE5 nécessitait un travail manuel de LoD et une optimisation soigneuse. Après Nanite, le moteur s'en charge automatiquement.
NanoGS applique cette même philosophie aux Gaussian Splats.
Au lieu de charger tous les splats d'une scène à pleine résolution en une seule fois, NanoGS utilise le clustering LoD pour organiser les splats en groupes spatiaux. Les splats éloignés de la caméra sont rendus à densité réduite ; les plus proches sont rendus en pleine fidélité. Combiné avec le culling de splats — supprimant les splats en dehors du champ de vue de la caméra — le plugin réduit considérablement la charge GPU pour les grandes scènes.
Au-delà du LoD et du culling, NanoGS utilise la compaction de splats pour éliminer les données redondantes du jeu de données de splats avant qu'il n'atteigne le GPU, et un accumulateur global pour un mélange alpha efficace entre les splats qui se chevauchent. Ensemble, ces techniques permettent de charger des scènes Gaussian Splat considérablement plus grandes dans UE5 sans l'effondrement de fréquence d'images qui s'ensuivrait autrement.
Chen a d'abord construit NanoGS comme outil interne chez Moonshine Studio, puis l'a rendu open source. Il décrit la version 1.0 comme une fondation sur laquelle il compte construire — un point de départ, pas un aboutissement.
Pourquoi c'est important pour les VFX et le cinéma
Unreal Engine est devenu la plateforme de référence pour la production virtuelle, la prévisualisation et le rendu d'arrière-plans VFX. Les plateaux avec murs LED, le repérage virtuel, les workflows de prévisualisation en temps réel — presque tout cela tourne sur UE5. Et de plus en plus, les environnements avec lesquels les gens veulent travailler sont de vrais lieux, pas de la géométrie modélisée à la main.
Le Gaussian Splatting est le chemin le plus rapide d'un lieu réel à un environnement 3D photoréaliste. Traversez un espace avec une caméra, capturez les données, traitez-les et obtenez une scène photoréaliste navigable. Pas de modélisation. Pas de texturage. Pas de semaines de nettoyage de photogrammétrie.
Le goulot d'étranglement a toujours été d'intégrer ce splat dans Unreal à l'échelle de la production. NanoGS supprime ce goulot d'étranglement.
Pour les artistes VFX, le workflow avec NanoGS ressemble à ceci :
- Capturer le lieu réel avec une caméra compatible Gaussian Splatting
- Traiter la capture en Gaussian Splat (format PLY)
- Importer le PLY dans UE5 via NanoGS
- Rendre en utilisant toute la pile d'éclairage, de post-traitement et de compositing d'Unreal
Splat Labs n'est pas ce qui entraîne ou reconstruit votre splat à partir de la capture brute — cela se fait dans votre chaîne de reconstruction (par exemple LCC avec PortalCam ou Lixel, ou un autre pipeline de Gaussian Splatting qui produit du PLY). Là où Splat Labs s'intègre, c'est le matériel de capture professionnel si vous le souhaitez, et Splat Labs Cloud pour héberger, examiner et partager tout PLY que vous avez déjà — y compris le PLY que vous prévoyez d'importer avec NanoGS — puis exporter vers UE5 quand vous êtes prêt.
Le pipeline complet : de la capture à Unreal Engine 5
Le chemin de capture le plus rapide vers un workflow compatible NanoGS utilise du matériel conçu pour la tâche.
PortalCam est la caméra spatiale dédiée de Splat Labs, conçue spécifiquement pour le Gaussian Splatting. Deux objectifs fisheye, un LiDAR embarqué et une puce Multi-SLAM produisent un Gaussian Splat photoréaliste en quelques minutes — pas de trépied, pas de calibration complexe, il suffit de traverser l'espace naturellement. Pour la capture d'environnements intérieurs, le repérage de lieux, la référence de décors ou tout espace jusqu'à environ 150 mètres carrés, PortalCam livre des résultats prêts pour la production rapidement.
Pour les espaces plus grands — extérieurs, infrastructures, bâtiments à plusieurs étages ou toute situation nécessitant une précision de niveau topographique — le Lixel L2 Pro offre la capture en temps réel de nuages de points et de Gaussian Splats avec une précision absolue de 3 cm. Portatif, monté sur drone ou sur véhicule, avec une portée allant jusqu'à 300 mètres.
Une fois que vous avez un PLY — provenant d'un workflow PortalCam ou Lixel traité dans LCC, ou de tout autre outil produisant un splat compatible — Splat Labs Cloud l'héberge pour que votre équipe puisse le visualiser dans n'importe quel navigateur, collaborer, annoter et prendre des mesures de précision. Splat Labs Cloud prépare votre upload pour un streaming rapide dans le visualiseur ; il ne remplace pas votre pipeline de création de splat. Quand vous êtes prêt pour Unreal, exportez le même projet en PLY pour NanoGS.
Vous travaillez entièrement en dehors de notre matériel de capture ? Vous pouvez toujours uploader des splats de toute provenance (y compris des PLY que vous créez pour un workflow NanoGS) pour les partager et les examiner avant de charger le fichier dans UE5.
Le pipeline complet avec la capture Splat Labs :
PortalCam / Lixel L2 Pro → LCC (reconstruction) → Splat Labs Cloud (héberger, examiner, exporter) → NanoGS → Unreal Engine 5
Vous avez déjà un PLY d'ailleurs :
Votre splat (PLY) → Splat Labs Cloud (optionnel : héberger & partager) → Exporter PLY → NanoGS → Unreal Engine 5
Ce que Splat Labs Cloud apporte à un workflow VFX
À la base, Splat Labs Cloud est conçu pour héberger des Gaussian Splats de toute provenance — puis ajouter des outils de collaboration et de présentation par-dessus. C'est particulièrement utile quand Unreal est en aval : les parties prenantes peuvent examiner le même PLY dans un navigateur pendant que votre équipe travaille dans NanoGS, sans que tout le monde installe UE5.
Les Films panoramiques vous permettent de créer des parcours animés cinématiques en définissant des waypoints dans votre splat. Pour les présentations client, les revues de réalisateur ou la référence de prévisualisation, cela vous donne un livrable soigné à partir de votre capture en quelques minutes, sans toucher à Unreal du tout.
Les Portails connectent plusieurs scans de splats en une seule visite fluide. Si vous capturez un lieu à plusieurs pièces ou combinez un scan intérieur avec un extérieur, les Portails vous permettent de naviguer entre eux comme si c'était un seul environnement continu.
Les Mesures de précision vous permettent de prendre des mesures de distance et de surface précises directement dans la vue 3D — utile pour la conception de production, la planification de décors ou la vérification que vos données de capture correspondent aux dimensions réelles avant de vous engager dans un build Unreal.
Intégrer et Partager signifie que chaque splat obtient un lien partageable qui fonctionne dans n'importe quel navigateur, sur n'importe quel appareil, sans application requise. Les réalisateurs, producteurs et clients à distance peuvent examiner votre environnement capturé sans installation UE5 ni VPN.
Pour commencer
NanoGS 1.0 nécessite Unreal Engine 5.6 ou supérieur. Le plugin est open source et disponible immédiatement sur github.com/TimChen1383/NanoGaussianSplatting.
Côté cloud, un compte Splat Labs gratuit vous permet d'uploader et héberger vos deux premiers projets sans frais — suffisant pour tester l'hébergement, le partage et l'export PLY avec NanoGS avant de vous engager sur du matériel.
La combinaison d'un matériel de capture performant (quand vous en avez besoin), d'un hébergement cloud et de la collaboration pour vos splats, et maintenant d'un moteur de rendu UE5 de niveau production signifie que le pipeline complet du monde réel à la scène photoréaliste Unreal n'a jamais été aussi accessible. Si la production virtuelle, la capture d'arrière-plans VFX ou les environnements de jeu du monde réel sont dans votre feuille de route, les pièces du puzzle sont en place.
