Mapeando o Cruzamento Mais Movimentado do Mundo
O Cruzamento de Shibuya em Tokyo é, por quase todas as medidas, o cruzamento de pedestres mais movimentado do planeta. Em uma tarde normal, milhares de pessoas inundam o cruzamento de todas as direções no momento em que o sinal fica verde. É uma espetacular e avassaladora parede de movimento humano.
Então, naturalmente, decidimos escaneá-lo em 3D.
A questão era óbvia: é possível produzir um modelo 3D limpo e utilizável de um local quando todo o espaço está repleto de pessoas e veículos em movimento? Usando a PortalCam — nossa câmera espacial portátil com lentes olho-de-peixe duplas, LiDAR integrado e processamento Multi-SLAM — nos propusemos a descobrir.
Os resultados foram muito melhores do que esperávamos.
Duas Técnicas para Remover Objetos em Movimento
Antes de dar um passo no cruzamento, é útil entender os dois princípios em ação. A PortalCam não usa nenhuma magia de IA para apagar pessoas na pós-produção — em vez disso, ela explora propriedades fundamentais de como o SLAM e o Gaussian Splatting funcionam.
Técnica 1: O Filtro de Objetos em Movimento do SLAM
Todo dispositivo baseado em SLAM tem alguma forma de filtro de objetos em movimento. À medida que a câmera constrói um mapa espacial da cena em tempo real, objetos que estão se movendo em relação ao ambiente estático são marcados e excluídos da nuvem de pontos. O resultado: pessoas e veículos em movimento são removidos da geometria subjacente antes que os dados cheguem à etapa do Gaussian Splat.
O desafio em Shibuya é a densidade pura de pessoas. O filtro está sendo levado ao seu limite absoluto quando o plano de chão inteiro está obscurecido por milhares de corpos. Para ajudá-lo, a técnica é mover-se lentamente e pausar em áreas lotadas, deixando a câmera acumular frames enquanto as pessoas passam pela cena. Cada breve janela onde um trecho de calçada fica visível dá ao sistema SLAM uma visão limpa do chão abaixo.
Técnica 2: Viesando o Dataset
O filtro SLAM é eficaz para coisas que estão se movendo ativamente, mas e quanto a um ônibus de dois andares parado em um sinal vermelho? Ele não está se movendo — então o filtro o trata como parte da cena.
É aqui que entra a segunda técnica, e é uma quirquidade elegante do próprio algoritmo de Gaussian Splatting.
O Gaussian Splatting funciona convergindo milhares de fotos em uma representação unificada da cena. Se 99 dessas fotos mostram calçada prístina e apenas 1 mostra um ônibus estacionado sobre ela, o algoritmo irá estatisticamente favorecer a versão sem o ônibus. Ele simplesmente tem mais evidências de que o chão está livre.
A abordagem prática: sempre que um ônibus ou caminhão saía de uma parada, imediatamente reescaneie essa área extensivamente. Capture muito mais dados do espaço vazio do que você capturou da obstrução. Viesei o dataset em direção à verdade que você quer que o algoritmo convirja.
Capturando os Dados
Com ambas as técnicas em mente, a sessão de captura envolveu:
- Mover-se lentamente pelo cruzamento durante o fluxo de pedestres no pico, pausando regularmente para deixar a câmera rolar enquanto multidões se separavam ao redor de cada ponto
- Retornar repetidamente a áreas onde veículos tinham estado estacionados, uma vez que se moveram, para construir um dataset denso e limpo do chão subjacente
- Aceitar que algumas áreas — particularmente locais onde grandes multidões nunca se dispersaram totalmente — provavelmente resultariam em geometria borrada ou fantasmagórica
A captura em si leva menos do que a duração de um ciclo normal de cruzamento. A bateria de 60 minutos da PortalCam e o processamento integrado lidam com tudo em tempo real.
Os Resultados: Um Cruzamento de Shibuya Quase Vazio
De volta ao escritório, o processamento dos dados pelo Splat Labs Cloud produziu algo notável: um Cruzamento de Shibuya quase completamente limpo, renderizado em 3D fotorrealista.
A área central do cruzamento — o lugar onde milhares de pessoas tinham acabado de caminhar — saiu quase impecável. A textura do chão, as marcações das faixas de pedestres, os edifícios ao redor: todos capturados com fidelidade excepcional.
Algumas áreas mostraram as limitações esperadas. Cantos onde as multidões nunca se dispersaram totalmente resultaram em artefatos de splat borrados. O ônibus que se recusou a sair antes que a sessão terminasse deixou um rastro nebuloso. Mas esses eram casos extremos em um resultado que era extraordinário.
"Acabei de terminar o processamento dos dados e tive que parar aqui na beira da rua porque os dados parecem tão bons." — Harrison Knoll, Indiana Drones
As técnicas funcionam. Pausar para deixar as pessoas passarem e reescanear agressivamente onde quer que os veículos se dispersassem produziu um dataset limpo o suficiente para que o algoritmo de Gaussian Splat tivesse evidências suficientes para reconstruir uma cena vazia.
O que Isso Significa para a Captura 3D no Mundo Real
O Cruzamento de Shibuya é um caso de teste extremo — deliberadamente escolhido porque parece impossível. Se essas técnicas funcionam aqui, elas funcionam essencialmente em qualquer lugar: ambientes de varejo movimentados, canteiros de obras com máquinas ativas, praças públicas, hubs de transporte.
As lições práticas para qualquer operador de PortalCam:
- Mova-se lentamente em multidões — dê ao filtro SLAM tempo para ver o chão entre os passos
- Pause e mantenha a posição — mesmo 2-3 segundos de linhas de visão claras ajudam dramaticamente na reconstrução
- Reescaneie depois que os veículos saírem — capture 3-4x mais dados da área limpa do que capturou com a obstrução presente
- Considere o timing — horários de manhã cedo ou menos no horário de pico sempre produzirão dados mais limpos com menos necessidade de pós-processamento
- Espere algumas manchas — áreas de multidões persistentes e estacionárias deixarão artefatos; planeje uma limpeza leve se essas áreas importarem para o seu caso de uso
Experimente Você Mesmo
O dataset do Cruzamento de Shibuya está disponível no Splat Labs. Clique, dê zoom e explore um dos cruzamentos mais reconhecíveis do mundo renderizado como um mundo 3D navegável — sem multidões.
Se você tem uma PortalCam ou qualquer dispositivo de captura de Gaussian Splat, você pode fazer upload de seus próprios scans para o Splat Labs Cloud e aplicar as mesmas técnicas aos seus próprios ambientes desafiadores. A plataforma suporta os formatos PLY, SPLAT, KSPLAT e XGRIDS de qualquer fonte de captura.
O que devemos escanear a seguir? Deixe uma sugestão nos comentários do YouTube ou entre em contato com nossa equipe.
Leitura Relacionada
- Introdução ao Gaussian Splatting — tudo que você precisa saber sobre o formato
- TOKYO [UN]REAL ESTATE: Escaneamento 3D de Espaços de Vida em Tokyo — outro incrível projeto de captura em Tokyo
- Gaussian Splats Explicados — uma análise aprofundada de como o algoritmo funciona
- Página do Produto PortalCam — saiba mais sobre a câmera usada neste vídeo
Quer ver seu local capturado em 3D? Entre em contato com a equipe Splat Labs ou explore a PortalCam para começar a escanear você mesmo.
