Die belebteste Kreuzung der Welt kartieren
Das Shibuya Crossing in Tokyo ist nach fast jedem Maßstab der belebteste Fußgängerüberweg der Welt. An einem normalen Nachmittag strömen Tausende von Menschen von jeder Richtung auf die Kreuzung, sobald die Ampel auf Grün schaltet. Es ist eine spektakuläre, überwältigende Wand menschlicher Bewegung.
Also haben wir natürlich beschlossen, es in 3D zu scannen.
Die Frage war offensichtlich: Können Sie tatsächlich ein sauberes, verwendbares 3D-Modell eines Ortes erstellen, wenn der gesamte Raum mit sich bewegenden Menschen und Fahrzeugen gefüllt ist? Mit der PortalCam — unserer handgehaltenen Raumkamera mit Dual-Fisheye-Objektiven, onboard LiDAR und Multi-SLAM-Verarbeitung — haben wir uns auf die Suche gemacht.
Die Ergebnisse waren weit besser als wir erwartet hatten.
Zwei Techniken zur Entfernung beweglicher Objekte
Bevor man die Kreuzung betritt, ist es hilfreich, die zwei beteiligten Prinzipien zu verstehen. Die PortalCam verwendet keine KI-Magie, um Menschen in der Nachbearbeitung zu löschen — stattdessen nutzt sie grundlegende Eigenschaften der Funktionsweise von SLAM und Gaussian Splatting aus.
Technik 1: Der SLAM-Filter für bewegliche Objekte
Jedes SLAM-basierte Gerät hat eine Form von Filter für bewegliche Objekte. Während die Kamera eine räumliche Karte der Szene in Echtzeit aufbaut, werden Objekte, die sich relativ zur statischen Umgebung bewegen, markiert und aus der Punktwolke ausgeschlossen. Das Ergebnis: Sich bewegende Menschen und Fahrzeuge werden aus der zugrunde liegenden Geometrie entfernt, bevor die Daten die Gaussian-Splat-Phase erreichen.
Die Herausforderung bei Shibuya ist die schiere Dichte der Menschen. Der Filter wird an seine absoluten Grenzen getrieben, wenn die gesamte Bodenfläche von Tausenden von Körpern verdeckt ist. Um ihm zu helfen, besteht die Technik darin, langsam zu bewegen und in überfüllten Bereichen innezuhalten und der Kamera zu ermöglichen, Frames zu akkumulieren, während Menschen durch die Szene fließen. Jedes kurze Fenster, in dem ein Fleck Pflaster sichtbar wird, gibt dem SLAM-System einen sauberen Blick auf den Boden darunter.
Technik 2: Das Dataset biasieren
Der SLAM-Filter ist effektiv für Dinge, die sich aktiv bewegen, aber was ist mit einem Doppeldeckerbus, der an einer roten Ampel hält? Er bewegt sich nicht — also behandelt der Filter ihn als Teil der Szene.
Hier kommt die zweite Technik ins Spiel, und es ist eine elegante Eigenheit des Gaussian-Splatting-Algorithmus selbst.
Gaussian Splatting funktioniert, indem es Tausende von Fotos in eine einheitliche Szenenrepräsentation konvergiert. Wenn 99 dieser Fotos makellosen Asphalt zeigen und nur 1 einen darauf geparkten Bus zeigt, wird der Algorithmus statistisch die Version ohne den Bus bevorzugen. Es hat einfach mehr Beweise dafür, dass der Boden frei ist.
Der praktische Ansatz: Wann immer ein Bus oder Lastwagen aus einem Halt herausfuhr, diesen Bereich sofort ausgiebig neu scannen. Viel mehr Daten des leeren Raums erfassen als Daten der Behinderung. Das Dataset auf die Wahrheit biasieren, auf die der Algorithmus konvergieren soll.
Die Daten erfassen
Mit beiden Techniken im Hinterkopf umfasste die Aufnahme-Session:
- Langsam durch die Kreuzung gehen während des Spitzenfußgängerstroms, regelmäßig innehalten und die Kamera laufen lassen, während Menschenmassen um jeden Punkt herum weitergingen
- Wiederholt zurückkehren zu Bereichen, in denen Fahrzeuge geparkt gewesen waren, sobald diese wegfuhren, um einen dichten, sauberen Datensatz des darunterliegenden Bodens aufzubauen
- Akzeptieren, dass einige Bereiche — insbesondere Stellen, an denen große Menschenmassen sich nie vollständig lichteten — wahrscheinlich verschwommene oder geisterhafte Geometrie ergeben würden
Die Aufnahme selbst dauert weniger als die Länge eines Standard-Kreuzungszyklus. Der 60-Minuten-Akku der Portal Cam und die onboard Verarbeitung kümmern sich um alles in Echtzeit.
Die Ergebnisse: Ein fast leeres Shibuya Crossing
Zurück im Büro produzierte die Verarbeitung der Daten durch Splat Labs Cloud etwas Bemerkenswertes: ein fast vollständig klares Shibuya Crossing, in fotorealistischem 3D gerendert.
Der zentrale Kreuzungsbereich — der Ort, an dem gerade noch Tausende von Menschen gegangen waren — kam fast makellos heraus. Die Bodentextur, die Zebrastreifen-Markierungen, die umgebenden Gebäude: alle mit außerordentlicher Treue erfasst.
Einige Bereiche zeigten die erwarteten Einschränkungen. Ecken, in denen Menschenmassen sich nie vollständig zerstreuten, führten zu unscharfen Splat-Artefakten. Der Bus, der sich weigerte, vor Ende der Session wegzufahren, hinterließ einen nebligen Fußabdruck. Aber das waren Randfälle in einem ansonsten außerordentlichen Ergebnis.
"Ich habe gerade die Verarbeitung der Daten abgeschlossen und musste hier am Straßenrand anhalten, weil die Daten so gut aussehen." — Harrison Knoll, Indiana Drones
Die Techniken funktionieren. Das Innehalten, um Menschen hindurchzulassen, und das aggressive Neu-Scannen überall dort, wo Fahrzeuge frei wurden, produzierte einen Datensatz, der sauber genug war, dass der Gaussian-Splatting-Algorithmus genug Beweise hatte, um eine leere Szene zu rekonstruieren.
Was das für reale 3D-Erfassung bedeutet
Shibuya Crossing ist ein extremer Testfall — bewusst ausgewählt, weil er unmöglich erscheint. Wenn diese Techniken hier funktionieren, funktionieren sie im Wesentlichen überall: belebte Einzelhandelsumgebungen, Baustellen mit aktiven Maschinen, öffentliche Plätze, Verkehrsknotenpunkte.
Die praktischen Erkenntnisse für jeden PortalCam-Bediener:
- Langsam in Menschenmassen bewegen — geben Sie dem SLAM-Filter Zeit, den Boden zwischen den Schritten zu sehen
- Innehalten und Position halten — sogar 2-3 Sekunden klare Sichtlinien helfen der Rekonstruktion dramatisch
- Nach dem Wegfahren von Fahrzeugen neu scannen — 3-4x mehr Daten des sauberen Bereichs erfassen als mit der Behinderung
- Timing berücksichtigen — frühmorgendliche oder weniger verkehrsreiche Zeitfenster werden immer sauberere Daten mit weniger Nachbearbeitung produzieren
- Erwarten Sie einige Blobs — Bereiche mit anhaltenden, stationären Menschenmassen hinterlassen Artefakte; planen Sie leichte Bereinigung ein, wenn diese Bereiche für Ihren Anwendungsfall wichtig sind
Selbst ausprobieren
Der Shibuya-Crossing-Datensatz ist live auf Splat Labs. Klicken Sie herum, zoomen Sie ein und erkunden Sie eine der bekanntesten Kreuzungen der Welt als navigierbare 3D-Welt — frei von Menschenmassen.
Wenn Sie eine PortalCam oder ein Gaussian-Splat-Aufnahmegerät haben, können Sie Ihre eigenen Scans auf Splat Labs Cloud hochladen und die gleichen Techniken auf Ihre eigenen herausfordernden Umgebungen anwenden. Die Plattform unterstützt PLY-, SPLAT-, KSPLAT- und XGRIDS-Formate aus jeder Aufnahmequelle.
Was sollen wir als nächstes scannen? Hinterlassen Sie einen Vorschlag in den YouTube-Kommentaren oder kontaktieren Sie unser Team.
Weitere Lektüre
- Erste Schritte mit Gaussian Splatting — alles, was Sie über das Format wissen müssen
- TOKYO [UN]REAL ESTATE: 3D-Scanning von Wohnräumen in Tokyo — ein weiteres unglaubliches Tokyo-Aufnahmeprojekt
- Gaussian Splats erklärt — ein tiefer Einblick in die Funktionsweise des Algorithmus
- PortalCam Produktseite — erfahren Sie mehr über die in diesem Video verwendete Kamera
Möchten Sie Ihren Standort in 3D erfasst haben? Kontaktieren Sie das Splat Labs-Team oder erkunden Sie die PortalCam, um selbst zu beginnen.
