Cartographier l'intersection la plus fréquentée du monde
Le carrefour de Shibuya à Tokyo est, selon presque toutes les mesures, l'intersection piétonnière la plus fréquentée de la planète. Un après-midi normal, des milliers de personnes inondent le carrefour depuis toutes les directions dès que le feu passe au vert. C'est un spectaculaire et impressionnant mur de mouvement humain.
Alors naturellement, nous avons décidé de le scanner en 3D.
La question était évidente : peut-on réellement produire un modèle 3D propre et utilisable d'un lieu quand l'espace entier est rempli de personnes et de véhicules en mouvement ? En utilisant le PortalCam — notre caméra spatiale portable avec des objectifs fisheye doubles, un LiDAR embarqué et un traitement Multi-SLAM — nous avons cherché à le découvrir.
Les résultats étaient bien meilleurs que nous ne l'espérions.
Deux techniques pour supprimer les objets en mouvement
Avant de mettre le pied dans le carrefour, il est utile de comprendre les deux principes à l'œuvre. Le PortalCam n'utilise pas de magie IA pour effacer les personnes en post-traitement — à la place, il exploite les propriétés fondamentales du fonctionnement du SLAM et du Gaussian Splatting.
Technique 1 : le filtre SLAM d'objets mobiles
Chaque appareil basé sur SLAM dispose d'une forme de filtre d'objets mobiles. Alors que la caméra construit une carte spatiale de la scène en temps réel, les objets qui se déplacent par rapport à l'environnement statique sont étiquetés et exclus du nuage de points. Le résultat : les personnes et les véhicules en mouvement sont retirés de la géométrie sous-jacente avant même que les données n'atteignent l'étape du Gaussian Splat.
Le défi à Shibuya est la densité de personnes. Le filtre est poussé à ses limites absolues quand l'ensemble du plan du sol est obscurci par des milliers de corps. Pour l'aider, la technique consiste à se déplacer lentement et faire des pauses dans les zones bondées, laissant la caméra accumuler des images pendant que les gens circulent dans la scène. Chaque fenêtre brève où une parcelle de trottoir devient visible donne au système SLAM un regard propre sur le sol en dessous.
Technique 2 : biaiser le jeu de données
Le filtre SLAM est efficace pour les choses qui se déplacent activement, mais qu'en est-il d'un bus à impériale arrêté à un feu rouge ? Il ne se déplace pas — donc le filtre le traite comme une partie de la scène.
C'est là qu'intervient la deuxième technique, et c'est une particularité élégante de l'algorithme Gaussian Splatting lui-même.
Le Gaussian Splatting fonctionne en faisant converger des milliers de photos en une représentation de scène unifiée. Si 99 de ces photos montrent un trottoir immaculé et seulement 1 montre un bus garé dessus, l'algorithme va statistiquement favoriser la version sans le bus. Il a simplement plus de preuves que le sol est dégagé.
L'approche pratique : chaque fois qu'un bus ou un camion quittait un arrêt, re-scanner immédiatement cette zone de manière extensive. Capturer bien plus de données de l'espace vide que de l'obstruction. Biaiser le jeu de données vers la vérité sur laquelle vous voulez que l'algorithme converge.
Capturer les données
Avec les deux techniques en tête, la session de capture a impliqué :
- Se déplacer lentement dans le carrefour pendant le flux piétonnier de pointe, en faisant régulièrement des pauses pour laisser la caméra tourner pendant que les foules se séparaient autour de chaque endroit
- Revenir à plusieurs reprises dans les zones où des véhicules avaient été garés, une fois qu'ils avaient bougé, pour constituer un jeu de données dense et propre du sol sous-jacent
- Accepter que certaines zones — en particulier les endroits où de grandes foules ne se sont jamais entièrement dispersées — résulteraient probablement en une géométrie floue ou fantôme
La capture elle-même prend moins que la durée d'un cycle de carrefour standard. La batterie de 60 minutes et le traitement embarqué du PortalCam gèrent tout en temps réel.
Les résultats : un carrefour de Shibuya presque vide
De retour au bureau, le traitement des données via Splat Labs Cloud a produit quelque chose de remarquable : un carrefour de Shibuya presque entièrement dégagé, rendu en 3D photoréaliste.
La zone centrale du carrefour — l'endroit où des milliers de personnes venaient juste de marcher — est sortie presque sans taches. La texture du sol, les marquages du passage piéton, les bâtiments environnants : tous capturés avec une fidélité exceptionnelle.
Quelques zones ont montré les limites attendues. Les coins où les foules ne se sont jamais entièrement dispersées ont abouti à des artefacts de splats flous. Le bus qui refusait de partir avant la fin de la session a laissé une empreinte floue. Mais ce n'étaient que des cas limites dans un résultat par ailleurs extraordinaire.
"Je viens de finir de traiter les données et j'ai dû m'arrêter ici sur le côté de la rue parce que les données ont l'air tellement bien." — Harrison Knoll, Indiana Drones
Les techniques fonctionnent. Les pauses pour laisser les gens circuler, et le re-scan agressif partout où des véhicules se dégageaient, ont produit un jeu de données assez propre pour que l'algorithme Gaussian Splat ait assez de preuves pour reconstruire une scène vide.
Ce que cela signifie pour la capture 3D du monde réel
Le carrefour de Shibuya est un cas de test extrême — délibérément choisi parce qu'il semble impossible. Si ces techniques fonctionnent ici, elles fonctionnent essentiellement partout : environnements de vente au détail très fréquentés, chantiers avec des machines actives, places publiques, centres de transit.
Les enseignements pratiques pour tout opérateur PortalCam :
- Déplacez-vous lentement dans les foules — donnez au filtre SLAM le temps de voir le sol entre les pas
- Faites des pauses et maintenez la position — même 2-3 secondes de lignes de mire dégagées aident considérablement la reconstruction
- Re-scannez après le départ des véhicules — capturez 3-4x plus de données de la zone propre que ce que vous avez capturé avec l'obstruction présente
- Considérez le timing — les tôt le matin ou les fenêtres hors heures de pointe produiront toujours des données plus propres nécessitant moins de post-traitement
- Attendez-vous à quelques fantômes — les zones de foules persistantes et stationnaires laisseront des artefacts ; prévoyez un léger nettoyage si ces zones sont importantes pour votre cas d'usage
Essayez par vous-même
Le jeu de données du carrefour de Shibuya est en ligne sur Splat Labs. Cliquez, zoomez et explorez l'une des intersections les plus reconnaissables du monde rendue sous forme de monde 3D navigable — sans foule.
Si vous avez un PortalCam ou n'importe quel appareil de capture Gaussian Splat, vous pouvez télécharger vos propres scans sur Splat Labs Cloud et appliquer les mêmes techniques à vos propres environnements difficiles. La plateforme prend en charge les formats PLY, SPLAT, KSPLAT et XGRIDS de n'importe quelle source de capture.
Qu'est-ce qu'on devrait scanner ensuite ? Déposez une suggestion dans les commentaires YouTube ou contactez notre équipe.
Lectures connexes
- Premiers pas avec le Gaussian Splatting — tout ce que vous devez savoir sur le format
- TOKYO [UN]REAL ESTATE : scanner des espaces de vie à Tokyo — un autre incroyable projet de capture à Tokyo
- Les Gaussian Splats expliqués — une plongée approfondie dans le fonctionnement de l'algorithme
- Page produit PortalCam — en savoir plus sur la caméra utilisée dans cette vidéo
Vous voulez voir votre lieu capturé en 3D ? Contactez l'équipe Splat Labs ou explorez le PortalCam pour commencer à scanner vous-même.
