세계에서 가장 바쁜 교차로 매핑하기
도쿄의 시부야 교차로는 거의 모든 기준으로 지구상에서 가장 바쁜 보행자 교차로입니다. 보통 오후에는 신호가 초록색으로 바뀌는 순간 모든 방향에서 수천 명의 사람들이 교차로를 가득 채웁니다. 압도적인 인간의 움직임으로 가득 찬 장관입니다.
그래서 자연스럽게 3D 스캔하기로 했습니다.
질문은 명확했습니다: 공간 전체가 움직이는 사람들과 차량으로 가득 차 있을 때 정말로 깨끗하고 사용 가능한 3D 모델을 만들 수 있을까요? 이중 어안 렌즈, 내장 LiDAR, Multi-SLAM 처리를 갖춘 핸드헬드 공간 카메라인 PortalCam으로 알아보러 나섰습니다.
결과는 예상보다 훨씬 더 좋았습니다.
동적 객체 제거를 위한 두 가지 기법
교차로에 발을 들이기 전에, 작용하는 두 가지 원리를 이해하는 것이 도움이 됩니다. PortalCam은 후처리에서 사람들을 지우기 위한 AI 마법을 사용하지 않습니다 — 대신 SLAM과 Gaussian Splatting이 작동하는 방식의 근본적인 속성을 활용합니다.
기법 1: SLAM 동적 객체 필터
모든 SLAM 기반 기기에는 어떤 형태의 동적 객체 필터가 있습니다. 카메라가 실시간으로 씬의 공간 지도를 만들면서, 정적 환경에 상대적으로 움직이는 객체는 태그가 붙어 포인트 클라우드에서 제외됩니다. 결과: 움직이는 사람들과 차량이 데이터가 Gaussian Splat 단계에 도달하기 전에 기본 기하학에서 제거됩니다.
시부야에서의 도전은 사람들의 순수한 밀도입니다. 수천 명의 몸으로 전체 지면이 가려질 때 필터는 절대적인 한계까지 밀어붙여집니다. 이를 돕기 위해, 기법은 붐비는 지역에서 천천히 이동하고 멈추는 것입니다, 사람들이 씬을 통해 흘러가는 동안 카메라가 프레임을 축적하게 합니다. 포장도로의 패치가 잠깐이라도 보이는 창문이 있을 때마다 SLAM 시스템에 아래 지면에 대한 깨끗한 시야를 제공합니다.
기법 2: 데이터셋 편향
SLAM 필터는 활성적으로 움직이는 것들에 효과적이지만, 빨간 신호에 멈춘 이층 버스는 어떨까요? 움직이지 않으므로 — 필터가 씬의 일부로 취급합니다.
이것이 두 번째 기법이 등장하는 곳입니다, 그것은 Gaussian Splatting 알고리즘 자체의 우아한 특성입니다.
Gaussian Splatting은 수천 장의 사진을 통합된 씬 표현으로 수렴하여 작동합니다. 그 사진들 중 99장이 깨끗한 포장도로를 보여주고 1장만 그 위에 버스가 주차된 것을 보여주면, 알고리즘은 통계적으로 버스 없는 버전을 선호합니다. 지면이 깨끗하다는 증거가 더 많을 뿐입니다.
실용적인 접근 방법: 버스나 트럭이 정류장에서 빠져나올 때마다 즉시 그 지역을 광범위하게 재스캔합니다. 장애물이 있을 때 캡처한 것보다 빈 공간의 데이터를 훨씬 더 많이 캡처합니다. 알고리즘이 수렴하길 원하는 진실을 향해 데이터셋을 편향시킵니다.
데이터 캡처
두 가지 기법을 염두에 두고, 캡처 세션은 다음을 포함했습니다:
- 보행자 흐름이 최고조에 달하는 동안 교차로를 천천히 이동, 군중이 각 지점 주변으로 흩어지는 동안 카메라가 계속 작동하도록 정기적으로 일시 정지
- 차량이 이동하고 나면 반복적으로 돌아와서 주차되어 있던 지역에 아래 지면의 밀도 있고 깨끗한 데이터셋을 구축
- 일부 지역 — 특히 대규모 군중이 완전히 해산되지 않은 지점들 — 에서는 흐릿하거나 고스트 처리된 기하학이 나타날 것을 예상
캡처 자체는 표준 교차 사이클의 시간보다 적게 걸립니다. Portal Cam의 60분 배터리와 온보드 처리가 모든 것을 실시간으로 처리합니다.
결과: 거의 비어있는 시부야 교차로
사무실로 돌아와서 Splat Labs Cloud를 통해 데이터를 처리하면 놀라운 것이 나왔습니다: 포토리얼리스틱 3D로 렌더링된 거의 완전히 깨끗한 시부야 교차로.
중앙 교차 지역 — 수천 명의 사람들이 방금 걸어다니던 곳 — 이 거의 흠잡을 데 없이 나왔습니다. 지면 텍스처, 횡단보도 표시, 주변 건물: 모두 탁월한 충실도로 캡처되었습니다.
예상된 한계를 보여주는 몇 가지 지역이 있었습니다. 군중이 완전히 흩어지지 않은 모서리들은 흐릿한 splat 아티팩트를 낳았습니다. 세션이 끝나기 전에 자리를 떠나지 않은 버스는 희미한 발자국을 남겼습니다. 하지만 이것들은 그 외에는 놀라운 결과에서의 엣지 케이스였습니다.
"방금 데이터 처리를 마쳤는데 데이터가 너무 좋아 보여서 거리 옆에 멈춰 서야 했습니다." — Harrison Knoll, Indiana Drones
기법들이 작동합니다. 사람들이 흘러가도록 일시 정지하고, 차량이 치워질 때마다 공격적으로 재스캔하여 Gaussian Splat 알고리즘이 빈 씬을 재구성하기에 충분한 증거를 가진 데이터셋을 만들었습니다.
이것이 실제 3D 캡처에 의미하는 것
시부야 교차로는 극단적인 테스트 케이스입니다 — 불가능해 보이기 때문에 의도적으로 선택되었습니다. 이 기법들이 여기서 작동한다면, 본질적으로 어디서나 작동합니다: 바쁜 소매 환경, 활성 기계가 있는 공사 현장, 공공 광장, 교통 허브.
모든 PortalCam 운영자를 위한 실용적인 교훈:
- 군중에서 천천히 이동 — 발걸음 사이의 지면을 볼 시간을 SLAM 필터에게 주세요
- 일시 정지하고 위치를 유지 — 2~3초의 깨끗한 시야선도 재구성에 극적으로 도움이 됩니다
- 차량이 떠난 후 재스캔 — 장애물이 있을 때 캡처한 것보다 깨끗한 지역의 데이터를 3~4배 더 캡처합니다
- 타이밍을 고려 — 이른 아침이나 덜 바쁜 시간대는 항상 더 적은 후처리로 더 깨끗한 데이터를 만들어냅니다
- 일부 블롭을 예상 — 지속적이고 정적인 군중 지역은 아티팩트를 남깁니다; 해당 지역이 사용 사례에 중요하다면 약간의 정리를 계획하세요
직접 해보세요
시부야 교차로 데이터셋이 Splat Labs에 라이브로 올라가 있습니다. 클릭하고, 확대하고, 탐색 가능한 3D 세계로 렌더링된 세계에서 가장 알아보기 쉬운 교차로 중 하나를 탐색하세요 — 군중 없이.
PortalCam이나 다른 Gaussian Splat 캡처 장치가 있다면, Splat Labs Cloud에 자신만의 스캔을 업로드하고 자신만의 도전적인 환경에 같은 기법을 적용할 수 있습니다. 플랫폼은 어떤 캡처 소스에서도 PLY, SPLAT, KSPLAT, XGRIDS 형식을 지원합니다.
다음에 무엇을 스캔해야 할까요? YouTube 댓글에 제안을 남기거나 팀에 연락하세요.
관련 읽기
- Gaussian Splats 설명: AEC 및 부동산을 위한 3D 시각화의 미래 — 알고리즘 작동 방식에 대한 심층 분석
- TOKYO [UN]REAL ESTATE: 도쿄에서 주거 공간 3D 스캐닝 — 또 다른 놀라운 도쿄 캡처 프로젝트
- PortalCam 제품 페이지 — 이 영상에서 사용된 카메라에 대해 자세히 알아보세요
자신의 위치를 3D로 캡처하고 싶으신가요? Splat Labs 팀에 연락하세요 또는 직접 스캔을 시작하려면 PortalCam을 탐색하세요.
