大規模なGaussian SplatシーンをUnreal Engineに読み込もうとしたことがあるなら、その苦労を知っているでしょう。ファイルは大きく、レンダラーには何千もの重なり合うスプラットを効率的に処理する組み込みの概念がなく、フレームレートは急速に低下します。実世界のキャプチャをUnrealプロジェクトで使いたいVFXアーティストやテクニカルディレクターにとって、これは大きな障壁でした。
NanoGSがそれを変えます。
3月19日にMoonshine Studio — プロフェッショナルVFX・アニメーション会社 — のリードテクニカルアーティストTim Chen氏によってリリースされたNanoGSは、Naniteにインスパイアされた最適化技術をGaussian Splattingに直接もたらす、無料のオープンソースUnreal Engine 5プラグインです。GitHubで現在入手可能で、Unreal Engine 5.6以降に対応しています。
Unrealで実世界の環境を構築している方 — バーチャルプロダクションの背景からプレビズ、ゲーム環境まで — にとって、これは重要な進展です。
NanoGSとは？
NanoGSの機能を理解するには、まずNaniteを理解すると役立ちます — Unreal Engineの仮想化ジオメトリシステムです。Naniteは複雑なメッシュのレベルオブディテール（LoD）を自動的に管理します。カメラが必要とする場所にのみ高解像度ジオメトリをストリーミングし、ビューフラスタム外のジオメトリをカリングし、極めて密度の高いシーンでもフレームレートを安定させます。Nanite以前は、UE5で高詳細な建築モデルを読み込むには手動のLoD作業と慎重な最適化が必要でした。Nanite以後は、エンジンが自動で処理します。
NanoGSは同じ哲学をGaussian Splatsに適用します。
シーンのすべてのスプラットを一度にフル解像度で読み込む代わりに、NanoGSはLoDクラスタリングを使ってスプラットを空間グループに整理します。カメラから離れたスプラットは低密度でレンダリングし、近いものはフル忠実度でレンダリングします。スプラットカリング — カメラのビュー外のスプラットの除去 — と組み合わせることで、プラグインは大規模シーンのGPU負荷を大幅に削減します。
LoDとカリングに加え、NanoGSはスプラットコンパクションを使ってGPUに渡す前にスプラットデータセットから冗長なデータを除去し、重なり合うスプラット間の効率的なアルファブレンディングのためのグローバルアキュムレーターを使用します。これらの技術を組み合わせることで、通常ならフレームレートが崩壊するような大規模なGaussian SplatシーンをUE5に読み込むことが可能になります。
Chen氏はNanoGSをMoonshine Studioの内部ツールとして構築し、その後オープンソース化しました。バージョン1.0は今後構築していくための基盤であり、完成形ではなく出発点だと述べています。
VFXと映像制作にとっての意味
Unreal Engineはバーチャルプロダクション、プレビズ、VFX背景レンダリングの事実上の標準プラットフォームになっています。LEDウォールステージ、バーチャルスカウティング、リアルタイムプレビズワークフロー — ほぼすべてがUE5で動作しています。そして、作業したい環境はますます実在する場所であり、手作りのジオメトリではなくなっています。
Gaussian Splattingは実世界のロケーションからフォトリアリスティックな3D環境への最速パスです。カメラを持って空間を歩き、データをキャプチャし、処理して、ナビゲーション可能なフォトリアリスティックシーンを取得します。モデリングなし。テクスチャリングなし。何週間ものフォトグラメトリーのクリーンアップなし。
ボトルネックは常に、そのスプラットをプロダクションスケールでUnrealに取り込むことでした。NanoGSはそのボトルネックを解消します。
VFXアーティストにとって、NanoGSを使ったワークフローは以下のようになります：
- キャプチャ — Gaussian Splatting対応カメラで実世界のロケーションをキャプチャ
- 処理 — キャプチャをGaussian Splat（PLYフォーマット）に処理
- インポート — NanoGSを使ってPLYをUE5にインポート
- レンダリング — Unrealのフルライティング、ポストプロセシング、コンポジティングスタックを使ってレンダリング
Splat Labsはスプラットのトレーニングや再構成を行うものではありません — それは再構成ツールチェーン（例えばPortalCamやLixelでのLCC、またはPLYを出力する他のGaussian Splattingパイプライン）で行われます。Splat Labsが位置するのは、必要に応じたプロフェッショナルキャプチャハードウェアと、既にお持ちのPLY — NanoGSでインポートする予定のPLYを含む — をホスト、レビュー、共有するためのSplat Labs Cloudです。準備ができたらUE5にエクスポートできます。
フルパイプライン：キャプチャからUnreal Engine 5まで
NanoGS対応ワークフローへの最速キャプチャパスは、専用設計のハードウェアを使うことです。
**PortalCam**は、Gaussian Splatting専用に設計されたSplat Labsの空間カメラです。デュアル魚眼レンズ、オンボードLiDAR、Multi-SLAMチップにより、数分でフォトリアリスティックなGaussian Splatが生成されます — 三脚不要、複雑なキャリブレーション不要、空間を自然に歩くだけです。インテリア環境キャプチャ、ロケーションスカウティング、セットデザインリファレンス、約150平方メートルまでのあらゆる空間に、PortalCamはプロダクションレディの結果を迅速に提供します。
より大きな空間 — 外装、インフラ、複数階の建物、または測量グレードの精度が必要なあらゆる状況 — には、Lixel L2 Proが3cm絶対精度のリアルタイム点群とGaussian Splatキャプチャを提供します。手持ち、ドローン搭載、車両搭載対応で、最大300メートルの範囲です。
PLYが取得できたら — PortalCamまたはLixelワークフローのLCC処理から、またはSplatを出力する他のツールから — **Splat Labs Cloud**がホストし、チームがあらゆるブラウザで閲覧、コラボレーション、注釈付け、精密計測が可能です。Splat Labs Cloudはビューアでの高速ストリーミングのためにアップロードを準備します。スプラットオーサリングパイプラインを置き換えるものではありません。Unreal の準備ができたら、同じプロジェクトをNanoGS用にPLYとしてエクスポートします。
キャプチャハードウェアを使わない場合でも、UE5に取り込む前に共有・レビューするためにあらゆるソースからのスプラットをアップロード（NanoGSワークフロー用のPLYを含む）できます。
Splat Labsキャプチャによる完全パイプライン：
PortalCam / Lixel L2 Pro → LCC（再構成） → Splat Labs Cloud（ホスト、レビュー、エクスポート） → NanoGS → Unreal Engine 5
他のソースからのPLYがある場合：
あなたのスプラット（PLY） → Splat Labs Cloud（オプション：ホスト & 共有） → PLYエクスポート → NanoGS → Unreal Engine 5
Splat Labs CloudがVFXワークフローに加える価値
Splat Labs Cloudのコアは、あらゆるソースからのGaussian Splatをホスティングし、その上にコラボレーションとプレゼンテーションツールを重ねることです。Unrealがダウンストリームにある場合、これは特に便利です：チームがNanoGSで作業している間、関係者はブラウザで同じPLYをレビューでき、全員がUE5をインストールする必要がありません。
フライスルームービーでは、スプラットにウェイポイントを設定してシネマティックなアニメーションウォークスルーを作成できます。クライアントプレゼンテーション、ディレクターレビュー、プレビズリファレンスのために、Unrealに触れることなく、キャプチャから数分で洗練された成果物が得られます。
ポータルは複数のスプラットスキャンを1つのシームレスなツアーに接続します。複数の部屋のロケーションをキャプチャしたり、インテリアスキャンとエクステリアを組み合わせたりする場合、ポータルにより1つの連続した環境であるかのようにナビゲートできます。
精密計測では、3Dビューで直接正確な距離と面積の読み取りが可能です — プロダクションデザイン、セットプランニング、またはUnrealビルドにコミットする前にキャプチャデータが実寸と一致するかの確認に役立ちます。
埋め込みと共有により、すべてのスプラットがあらゆるブラウザ、あらゆるデバイスで動作する共有リンクを取得します。アプリ不要。リモートのディレクター、プロデューサー、クライアントがUE5のインストールやVPNなしにキャプチャ環境をレビューできます。
はじめに
NanoGS 1.0はUnreal Engine 5.6以降が必要です。プラグインはオープンソースで、github.com/TimChen1383/NanoGaussianSplattingから即座に入手可能です。
クラウド側では、Splat Labs無料アカウントで最初の2プロジェクトを無料でアップロードしてホストできます — ハードウェアにコミットする前に、NanoGSと並行してホスティング、共有、PLYエクスポートを試すのに十分です。
高性能なキャプチャハードウェア（必要な場合）、スプラットのクラウドホスティングとコラボレーション、そしてプロダクショングレードのUE5レンダラーの組み合わせにより、実世界からフォトリアリスティックなUnrealシーンまでのフルパイプラインがかつてないほど身近になりました。バーチャルプロダクション、VFX背景キャプチャ、実世界ゲーム環境がロードマップにあるなら、すべてのピースが揃っています。
