世界で最も忙しい交差点をマッピングする
東京の渋谷スクランブル交差点は、ほぼあらゆる基準で、地球上で最も忙しい歩行者用交差点です。通常の午後、信号が青になった瞬間に、何千人もの人々があらゆる方向から交差点に押し寄せます。それは壮観で圧倒的な人間の動きの壁です。
当然、私たちはそれを3Dスキャンすることにしました。
疑問は明白でした：スペース全体が動く人々と車両でいっぱいの場所で、実際にクリーンで使用可能な3Dモデルを作ることができるのか？デュアル魚眼レンズ、オンボードLiDAR、マルチSLAM処理を備えたハンドヘルド空間カメラPortalCamを使用して、確かめに出発しました。
結果は期待以上のものでした。
動く物体を削除する2つのテクニック
交差点に足を踏み入れる前に、機能している2つの原理を理解することが役立ちます。PortalCamは後処理で人を消すためにAIの魔法を使いません — 代わりに、SLAMとGaussian Splattingの動作方法の基本的な特性を活用します。
テクニック1：SLAM動体フィルター
すべてのSLAMベースのデバイスには何らかの形の動体フィルターがあります。カメラがリアルタイムでシーンの空間マップを構築するとき、静的環境に対して移動している物体がタグ付けされてポイントクラウドから除外されます。結果として：動く人や車両がGaussian Splatステージに達する前に、基礎となるジオメトリから取り除かれます。
渋谷でのチャレンジは、人々の密度の高さです。地面全体が何千もの体に遮られているとき、フィルターは絶対的な限界まで押し進められています。それを助けるテクニックは、混雑した地域でゆっくり移動して一時停止し、人々がシーンを流れていく間にカメラがフレームを蓄積できるようにすることです。歩道の一部が見える瞬間があるたびに、SLAMシステムはその下の地面をクリーンに見ることができます。
テクニック2：データセットのバイアシング
SLAMフィルターは積極的に動いているものに対して効果的ですが、赤信号で止まっている2階建てバスはどうでしょうか？動いていないため、フィルターはシーンの一部として扱います。
ここで2番目のテクニックが登場します。これはGaussian Splattingアルゴリズム自体の優雅なクセです。
Gaussian Splattingは何千もの写真を統一されたシーン表現に収束させることで機能します。これらの写真の99枚が元のままの歩道を示し、1枚だけその上にバスが止まっているのを示す場合、アルゴリズムは統計的にバスのないバージョンを優先します。地面がクリアであるという証拠が多いだけです。
実践的なアプローチ：バスやトラックが停留所から出発した瞬間に、すぐにそのエリアを広範囲に再スキャンします。障害物がある状態でキャプチャしたデータよりも、空のスペースのデータをはるかに多くキャプチャします。アルゴリズムが収束してほしい真実にデータセットをバイアスします。
データのキャプチャ
両方のテクニックを念頭に置いて、キャプチャセッションは以下を含みました：
- ピーク時の歩行者流に合わせて交差点をゆっくり移動し、群衆が各スポットの周りで流れていく間にカメラが回り続けられるよう定期的に一時停止
- 車両が停止していたエリアに、一度移動してから、繰り返し戻って来て、基礎となる地面の密でクリーンなデータセットを構築する
- 大きな群衆が完全に解散しなかった場所 — 特に大きな群衆が一度も完全にクリアにならなかった場所 — は、おそらくぼやけたまたはゴースト状のジオメトリになるだろうと予測する
キャプチャ自体は標準的な横断周期の長さ未満かかります。PortalCamの60分バッテリーとオンボード処理がすべてをリアルタイムで処理します。
結果：ほぼ空の渋谷スクランブル交差点
オフィスに戻り、Splat Labs Cloudを通じてデータを処理すると、驚くべきものが生まれました：フォトリアリスティックな3Dでレンダリングされた、ほぼ完全にクリアな渋谷スクランブル交差点。
中央の交差エリア — 何千人もの人々がついさっきまで歩いていた場所 — はほぼ無傷で出てきました。地面のテクスチャ、横断歩道のマーキング、周囲の建物：すべてが卓越した忠実度でキャプチャされました。
いくつかのエリアは予想された限界を示しました。群衆が完全に解散しなかったコーナーは、ぼやけたスプラットアーティファクトが生じました。セッションが終わる前に立ち去ることを拒否したバスは、薄っすらとした足跡を残しました。しかし、これらはそれ以外の点では非凡な結果の中でのエッジケースでした。
「データの処理を終えたばかりで、データがとても良いので通りの脇で立ち止まらなければなりませんでした。」 — Harrison Knoll、Indiana Drones
テクニックは機能します。人々が流れていくのを待つために一時停止し、車両がクリアになった場所を積極的に再スキャンすることで、Gaussian Splatアルゴリズムが空のシーンを再構成するのに十分な証拠を持つデータセットが生成されました。
現実世界の3Dキャプチャへの意味
渋谷スクランブル交差点は極端なテストケースです — 不可能に見えるために故意に選ばれました。これらのテクニックがここで機能すれば、本質的にどこでも機能します：忙しい小売環境、アクティブな機械がある建設現場、公共広場、交通ハブ。
PortalCamオペレーター向けの実用的なポイント：
- 群衆の中でゆっくり移動する — 足跡の間に地面を見るためにSLAMフィルターに時間を与えます
- 一時停止してポジションを保持する — 2〜3秒のクリアな視線でさえ再構成を劇的に助けます
- 車両が去ってから再スキャンする — 障害物がある状態でキャプチャしたデータよりも3〜4倍多くのクリーンエリアのデータをキャプチャします
- タイミングを考える — 早朝や混雑時間外はより少ない後処理でより常にクリーンなデータを生成します
- いくつかのぼやけを予測する — 持続的で静止した群衆のエリアはアーティファクトを残します；それらのエリアがユースケースに重要な場合は軽いクリーンアップを計画します
自分で試してみる
渋谷スクランブル交差点のデータセットはSplat Labsで公開されています。クリックして、ズームして、世界で最も認識可能な交差点の一つをナビゲート可能な3D世界としてレンダリングされたもの — 群衆なし — を探索してください。
PortalCamまたは任意のGaussian Splatキャプチャデバイスをお持ちの場合、自分のスキャンをSplat Labs Cloudにアップロードして、自分の困難な環境に同じテクニックを適用できます。プラットフォームは任意のキャプチャソースからのPLY、SPLAT、KSPLAT、XGRIDSフォーマットをサポートします。
次は何をスキャンすべきでしょうか？ YouTubeのコメントに提案を投稿するか、チームにお問い合わせください。
関連記事
- Gaussian Splattingを始める — フォーマットについて知っておくべきすべてのこと
- TOKYO [UN]REAL ESTATE：東京の生活空間を3Dスキャン — 別の素晴らしい東京キャプチャプロジェクト
- Gaussian Splats解説 — アルゴリズムの仕組みへの深掘り
- PortalCam製品ページ — このビデオで使用したカメラについてもっと学ぶ
自分の場所を3Dでキャプチャしてみませんか？Splat Labsチームにお問い合わせするか、自分でスキャンを始めるためにPortalCamを探索してください。
