Splat Labs
Back to Blog
Article

AIオブジェクト挿入:3D Gaussian SplatsにVFXを追加する

AIテキストプロンプトを使用して、実際のGaussian Splatスキャンに正確なスケールでVFX、CGI、3Dオブジェクトを挿入します。Splat Labsを無料でお試しください。

Splat Labs TeamFebruary 23, 20266 分で読める
AIオブジェクト挿入:3D Gaussian SplatsにVFXを追加する

脚本には怪物の身長が300フィートと書かれています。それは渋谷交差点 — 地球上で最も撮影されている交差点 — のスカイラインの上に現れます。撮影監督は知りたがっています:道路レベルのカメラ位置から、どのレンズがそれを大きく見せるか?24mmワイドと135mm望遠ではフレームをどれだけ埋めるか?ポストプロダクションの8ヶ月後まで存在しない生き物のために、サイトラインがカメラに映るように俳優をどこに配置するか?

従来のアプローチは:プレビジュアリゼーションスタジオを雇うことです。彼らはGoogle Street Viewと参考写真から交差点の簡易3Dバージョンを構築します。VFXチームがプロキシ怪物をモデリングします。プレビズスーパーバイザーがMayaまたはUnrealでそれをまとめます。数週間後に何か役立つものが得られます — しかし、それは実際に撮影する場所の物理的な現実から切り離されています。

私たちは別のアプローチを試みました。渋谷交差点をドローンスキャンし、Gaussian SplatをSplat Labsにアップロードし、6単語を入力しました。

「背景のビルの上にそびえ立つ巨大なゴジラを追加してください。」


結果

3D Gaussian Splatから生成された渋谷交差点のAI画像に、実世界スケールで生成された300フィートの怪物。スキャン内の任意のカメラ位置に移動して新しい画像を生成できます — セットに誰も来る前にレンズの選択とブロッキングを計画できます。

これは3D Gaussian Splat内の特定の視点から生成されたAIフォトリアリスティック画像です。元の3Dモデルの任意の位置に移動して新しい画像を生成します — 望む任意のカメラ位置から怪物がどのように映るかを確認します。撮影監督は渋谷駅のハチ公出口に立ち、iPadで3Dスキャンを開き、3つの異なるカメラ位置に移動し、それぞれから1枚のAI画像を生成できます — カメラ、クルー、高価なVFXアセットをプロダクションに近づけることなく。

これがSplat Labs CloudAI追加です。AIシーン再設計ツールキットの3番目のピース — AI削除AIリデザインと並んで。


従来のプレビズが不十分な理由

プレビジュアリゼーションは重いVFX撮影ではオプションではありません。CGI要素が実世界の撮影とどのように統合するかを計画しなければ、ポストでうまくいかなかったことがわかります — 1回のイテレーションに数万ドルのコスト、プラス再撮影、スケジュール遅延、ロケーション再予約、クルー再採用。

業界は現在、これを断絶したツールをつなぎ合わせることで解決しています。ロケーションスカウトはフラットな写真パッケージを撮影します。プレビズスタジオはそれらの写真から簡易3Dアニメーションを制作します。技術的プレビジュアリゼーションチームはCADを使用してカメラ位置を調査します。各ピースは独立して制作され、撮影監督は実際にロケーションでどのように感じるかを想像しながら、モニターでそれらすべてを照合しなければなりません。

仮想表現と物理的現実の間の断絶が、悪い決断が生まれる場所です。主要なVFXシーケンスが再撮影を必要とするのは、セットでの撮影がデジタルアセットのための余地を残さなかったためです。その請求書は再撮影だけではありません。それについてくるすべてのものです。

Splat Labsはこれを1つのステップに縮小します。実際のロケーションをスキャンします。3Dモデルの任意のカメラ位置に移動します。その正確な角度から実世界スケールでデジタルアセットを配置したAI画像を生成します。

プレビズはロケーションそのものです。ロケーションはプレビズそのものです。


プロダクションチームにとっての変化

私たちは撮影監督、VFXスーパーバイザー、プロダクションデザイナーにこれが彼らのワークフローにどのように適合するかについて話してきましたが、いくつかのことが繰り返し出てきます。

撮影監督向け: 即座の価値はレンズ計画です。フラットな参照写真から推測するのではなく、3Dスキャン内の任意のカメラ位置に移動してその正確な角度からAI画像を生成します。横断歩道のコーナーから24mmで怪物はどのように映るか?通りの反対側から85mmでは?その質問に数週間ではなく数分で答えられます。

VFXスーパーバイザー向け: シーンはウェブリンクとしてアクセス可能です。VPN不要、特別なソフトウェア不要、GPUワークステーション不要。セットのiPadで開き、セットのVFXチームにデジタルアセットがプレート撮影とどのように合う必要があるかを正確に示します。空間参照は常にそこにあり、どのデバイスでも、撮影中のいつでも。

ロケーションスカウトとプロダクションデザイナー向け: 候補地のフラットな写真パッケージをもはや提供していません。ナビゲート可能な3D環境を提供しています。プロダクションチーム全体が誰も飛行機のチケットを買う前にリモートでロケーションを探索できます — 自分で歩き回ることで。


映画だけではない

実際のロケーションの本物の3Dスキャン内で実世界スケールの大きなオブジェクトを示すAI画像を生成する能力は、VFXをはるかに超えて役立ちます。

イベントプロダクション。 ツアーアクトのためのスタジアムを評価するコンサートプロモーターは、カスタムステージ構成が収まるかどうか、異なる席ゾーンでどこでサイトラインが機能するか、特定のセットデザインがスケールでどのように映るかを知る必要があります。会場をスキャンし、実際の寸法でステージを挿入し、プロダクションコールが1つも行われる前にそれらの質問に答えます。

建築と都市計画。 都市ブロックに新しい建物を提案する建築家は、利害関係者に構造がコンテキストでどのように映るかを示す必要があります。ブロックをドローンスキャンし、建物をスケールで挿入し、計画委員会が街路レベルで周りを歩けるようにします。スキャンが現実の世界を測定したため、スケールの関係は誠実です。

会場販売。 見込みのイベントクライアントへの販売会場は、生のスペースをスキャンし、イベント固有の構成を挿入できます — ステージ位置、座席、照明リグ — 実際のスケールで。クライアントが実際に探索できるメディアで、存在する前にイベントを販売します。


どのように機能するか

ワークフローは他のAIシーン再設計機能を反映しています — 意図的にシンプル:

1. ロケーションをキャプチャする。 外部の場合、Gaussian Splatキャプチャ用に装備したドローン(DJIまたは専用の空中リグ)が単一フライトで都市環境をスキャンできます。内部の場合、PortalCamがウォークスルーですべてをキャプチャします。Splat LabsはあらゆるGaussian Splatソースからのデータを受け入れます — ハードウェアにAgnostic。

2. Splat Labsにアップロードする。 cloud.rockrobotic.comにログインし、スキャンをアップロードし、クラウドに処理を任せます。ローカルGPUワークステーション不要。

3. AIにプロンプトを入力する。 AIシーン再設計を開き、挿入したいもの — その位置、スケール、キャラクター — を説明し、送信します。

4. 結果を共有する。 元の3Dスキャンはウェブリンクとして共有可能で、AI生成画像は必要な方法で送ります — Slack、メール、またはクライアントデックで。3Dモデルはどのデバイスのどのブラウザでも開き、AI画像は誰でも見ることができる標準ファイルです。

ロケーションキャプチャから共有可能なプレビズ画像までの総ターンアラウンドは、数週間ではなく数時間で測られます。複雑なVFXシーケンスにロケーションが機能するかどうかを決定するプロダクションチームにとって、そのスピードはスカウトフェーズで何が可能かを変えます。


クラウドネイティブ、デスクトップに縛られない

これはプロダクション環境にとって特に重要です。映画用の従来の3D AIツール — Veesus Arena Intelligenceのようなプラットフォームを含む — は、高性能GPUを搭載した高価なWindowsデスクトップワークステーションを必要とします。処理はローカルで行われます。専門的なハードウェア、トレーニングを受けたオペレーター、管理された環境が必要です。

プロダクション環境はその逆です。混沌として、モバイルで、分散しています。固定されたオフィスロケーションにGPUワークステーションを必要とするツールは、セットで、スカウトバンで、クライアントミーティングで、または編集室で機能しないツールです。

Splat Labsはウェブブラウザで動作します。スキャンはどのデバイスからでもアップロードされます。プロンプトはラップトップで入力されます。結果はリンクとして提供されます。それは小さな便利さではありません — それは実際に必要な場所で機能するツールと機能しないツールの違いです。


次に来るもの

現在の機能はGaussian SplatシーンにオブジェクトのAI生成ビジュアル表現を挿入します。次のフロンティア — 活発に開発中 — はプロンプトからTrueの3Dへ:テキストプロンプトからスキャン内に実際のボリューメトリック3Dジオメトリを生成することです。

違い:今日、AIはフォトリアリスティックな表現を挿入します。近い将来、AIは実際の3Dメッシュを生成します — エクスポート可能、測定可能、VFXとCADパイプラインに直接統合可能。プロダクションチームにとって、これはロケーションキャプチャ、プレビジュアリゼーション、アセット制作の間のループを1つのプラットフォームで閉じます。

先頭に立ちたい場合は、お問い合わせください


試してみる

Splat Labsは無料で始められます — 無料プランには2つのプロジェクトが含まれています。Gaussian Splatをアップロードし、AI機能を試し、結果を自分で確認してください。AIシーン再設計機能はプロジェクトあたり$35で利用可能、または年間ビジネスプランの一括に含まれています。完全な料金はこちら


関連

Related Articles

建設業におけるGaussian SplattingのROI:なぜAEC企業が360度写真からアップグレードしているのか

Article
March 11, 202610 分で読める

建設業におけるGaussian SplattingのROI:なぜAEC企業が360度写真からアップグレードしているのか

エンタープライズAEC企業はクールだからという理由でテクノロジーを購入するのではありません — 高額な問題を解決するために購入します。SkenderがGaussian Splattingを使って入札を引き締め、やり直しを防止し、紛争を40%速く解決している方法をご紹介します。

ConstructionAECCase Study+5 more
Read More
AIオブジェクト挿入:3D Gaussian SplatsにVFXを追加する | Splat Labs Blog | Splat Labs - Gaussian Splat Cloud