Waymo's Dmitri Dolgov: The Demo Is Only 1% Of The Work

Chapter 1 · 해설: 와우멘토

Waymo's Dmitri Dolgov: The Demo Is Only 1% Of The Work

A WOW Mentor strategy teardown.

오늘 와우멘토가 해부할 주제는 데모와 진짜 제품 사이에 놓인 거대한 간극, 그리고 그 간극을 건너 물리적 세계에서 자율주행을 실제로 굴려내는 실행의 규율입니다. 웨이모 공동 CEO 드미트리 돌고프는 스타트업 스쿨 무대에 올라, 화면 속에 사는 AI가 아니라 현실의 물리적 세계에 사는 AI를 이야기하겠다고 운을 뗍니다. 그는 최근 아이들과 함께 탄 웨이모 주행 영상을 먼저 보여줍니다. 교차로를 지나는데 사람이 모는 차 몇 대가 바로 앞으로 끼어들었고, 웨이모 드라이버는 안전하고 부드럽게 반응했다고 그는 말합니다. 얼마나 매끄러웠던지 뒷좌석의 아이들은 무슨 일이 일어났는지조차 알아차리지 못했다는 것입니다. 20년 가까이 이 기술과 제품을 붙들어 온 그에게 이 장면은 오히려 강렬했습니다. 아무 일도 없었던 것처럼 보였지만 사실은 매우 중요한 일 — 아이들과 모두를 안전하게 지키는 일 — 이 일어났기 때문입니다. 와우멘토가 여기서 주목하는 지점은 그가 물리적 AI의 성패를 규정하는 방식입니다. 최고의 AI 순간은 아무 일도 없었던 것처럼 보인다, 그저 과업이 안전하고 매끄럽게 끝났을 뿐이라는 역설이 강연 전체의 밑그림이 됩니다. 그는 이런 순간이 웨이모 전 차량에서 매일 일어나고 있다고 덧붙입니다. 그는 이 발표를 일곱 개의 교훈으로 구성했다고 밝히는데, 모두 기술적인 이야기이며 회사와 제품을 세우는 데는 그 밖에도 많은 것이 필요하지만 오늘은 물리적 세계를 위한 AI를 짓는 기술적 측면에 집중하겠다고 말합니다. 각 교훈이 그 자체로는 세상을 뒤엎을 만큼 새롭지 않고 다른 곳에서 들어봤을 이야기와도 겹치겠지만, 물리적 에이전트를 현실에 배치하고 안전하게 확장해 온 웨이모의 경험에 뿌리내린 뉘앙스가 같은 길을 걷는 이들에게 쓸모 있기를 바란다는 것입니다. 와우멘토는 바로 그 뉘앙스, 즉 교훈이 현장에서 어떻게 모습을 드러냈는가에 초점을 맞춰 이 강연을 해부합니다. 그는 곧바로 규모의 숫자를 꺼냅니다. 오늘 웨이모 드라이버는 미국 15개 도시에서 매주 50만 회에 이르는 운행을 하고, 매주 400만 마일이 넘는 완전 자율 주행을 소화한다고 그는 설명합니다. 이는 평균적인 미국 운전자가 300년 넘게 운전해야 채우는 거리를 매주 달리는 셈이며, 그것도 초인적인 안전 기록과 함께라고 그는 강조합니다. 그러나 와우멘토가 이 대목에서 붙잡는 것은 자랑이 아니라 그가 던지는 질문입니다. 물리적 세계에서 AI 에이전트를 대규모로 만들고 배치하려면 무엇이 필요한가. 실리콘밸리에는 빠르게 움직이고 부수라는 오래된 구호가 있지만, 비트가 아니라 원자를 다룰 때 무언가를 부수는 것은 용납되지 않는다고 그는 잘라 말합니다. 그래서 필요한 규율은 빠르게 움직이되 안전하게 출시하는 것이며, 이는 훨씬 더 어려운 일이라고 그는 말합니다. 안전은 나중에 덧붙이는 부가물이 아니라 첫날부터 시스템의 토대여야 하고, 모델과 학습 레시피 자체가 그렇게 설계되어야 한다는 것이 그의 원칙입니다. 돌고프는 물리적 AI가 디지털 AI와 갈리는 네 가지 간극을 제시합니다. 첫째는 실수의 비용입니다. 챗봇이나 코파일럿이 틀리면 대개 재시도 한 번으로 끝나지만, 물리적 세계에서 실수의 비용은 토큰이 아니라 사람의 목숨으로 측정되며 되돌리기 버튼이 없다고 그는 말합니다. 둘째는 지연입니다. 디지털 어시스턴트는 몇 초에서 몇 분씩 답을 기다려도 되지만, 고속도로 속도의 차는 1초에 약 30미터를 이동하기에 밀리초가 결정적이며, 모든 추론을 트렁크에 들어가는 컴퓨터 안에서 끝내야 한다고 그는 설명합니다. 셋째는 데이터입니다. 디지털 AI에는 인류가 축적한 지식과 사고가 라벨링된 채 담긴 인터넷이 있었지만, 물리적 세계에는 그런 디지털화된 인터넷이 존재하지 않는다는 것입니다. 넷째는 검증입니다. 디지털에서는 그럴듯한 제품을 먼저 내놓고 사용자가 엣지 케이스를 찾아주면 무한 규모로 개선해 나갈 수 있지만, 물리적 AI에서는 첫 로봇을 배치하고 첫 자율 마일을 달리기 전에 이미 매우 높은 안전과 확신이 있어야 한다고 그는 말합니다. 동시에 그는 역설 하나를 덧붙입니다. 물리적 AI에서 에이전트를 현실에 두고 얻는 경험은 그 무엇으로도 대체할 수 없으며, 실험실에서 완벽하게 만들어 하룻밤에 전면 배치할 수 있는 종류의 시스템이 아니라는 것입니다. 첫날부터 높은 확신이 필요하지만 현실의 경험도 필수인 이 두 조건이 맞물리기에, 에이전트의 작동 조건과 배치 파라미터를 극도로 선명하게 정의하고 엄정한 프레임워크로 배치를 인도해야 책임 있게 확장할 수 있다고 그는 말합니다. 와우멘토가 여기서 읽어내는 것은, 이 네 간극이 자율주행만의 문제가 아니라 앞으로 등장할 거의 모든 물리적 에이전트가 마주할 공통의 벽이며, 그것을 넘는 방식이 곧 고객과 지역사회와 규제 당국의 신뢰를 얻는 방식이라는 그의 전망입니다. 첫 번째 교훈은 데모와 제품의 잔인한 차이입니다. 작동하는 데모는 잘해야 전체 작업의 1%이며, 그 뒤에 붙는 수많은 나인 — 성능과 신뢰성의 자릿수 — 을 채우는 곳에서 진짜 일이 벌어진다고 그는 말합니다. 웨이모는 그 첫 90%를 2010년 무렵에 이미 넘었습니다. 2009년에 시작한 프로젝트에서 그들은 자율 모드로 10만 마일을 달리고, 각각 100마일에 이르는 열 개의 경로를 사람 개입 없이 완주한다는 야심 찬 목표를 세웠고, 열두 명 남짓한 엔지니어가 약 1년 반 만에 둘 다 이뤄냈다고 그는 회고합니다. 컨브넷도 트랜스포머도 등장하기 전이었습니다. 데모의 기준으로는 자율주행이 2010년에 풀린 셈이었고, 그들은 세상 꼭대기에 선 기분이었다고 그는 말합니다. 그러나 제품을 향해 나아가자 한 번 해내는 것과 운전자 없이 확장 가능한 서비스를 만드는 것 사이의 냉혹한 현실이 드러났습니다. 데모는 18개월, 제품은 약 15년이 걸렸습니다. 와우멘토가 이 숫자에서 강조하는 대비는 이것입니다 — 첫 1억 마일까지 15년이 걸렸지만 다음 1억 마일은 약 7개월, 리더 온리 운행을 네 도시로 넓히는 데 8년이 걸렸지만 올해 초에는 네 도시를 단 하루에 열었다는 지수적 가속입니다.

왜 데모에서 제품까지의 간극이 그토록 긴가. 그는 속일 수 없는 공학의 현실을 지목합니다. 신뢰성과 성능은 나인의 지수 사다리 위에 있어서, 첫 90%나 99%는 쉽지만 다음 한 자리를 더할 때마다 약 10배의 노력이 든다는 것입니다. 그래서 자신의 제품이 정확히 몇 개의 나인을 요구하는지 미리 알아야 한다고 그는 말합니다. 데모는 하나면 되고 보조 제품은 몇 개면 되지만, 아이들이 뛰노는 공공 도로에 나서는 완전 자율 에이전트는 나인의 두꺼운 층을 요구합니다. 그리고 규모에서는 롱테일이 곧 전체 문제라고 그는 못 박습니다. 매주 수백만 마일을 달리면 백만 마일에 한 번 일어날 희귀 사건이 매일의 현실이 되고, 다음 나인을 얻는 일은 매번 다른 것을 해야 한다는 뜻입니다. 두 번째 나인까지 통하던 방식을 더 오래 반복한다고 여섯 번째 나인이 나오지 않는다는 것입니다. 신뢰성의 처음 몇 자리는 제대로 된 엔지니어링과 버그 수정으로 얻지만, 그다음은 완전한 이중화 시스템과 계층적 백업 아키텍처 같은 근본적으로 다른 투자를 요구합니다. 그는 이 어려움이 기술 돌파의 물결마다 오히려 증폭된다고 말합니다. 딥러닝에서 컨브넷, 트랜스포머, VLM에 이르는 모든 돌파는 시작을 백 배쯤 쉽게 만들어 데모와 프로토타입을 손쉽게 뽑아내게 하지만, 정작 어려운 문제가 몰려 있는 롱테일은 훨씬 덜 움직인다는 것입니다. 꼬리도 움직이긴 하지만 그 효과는 억눌려 있고, 그래서 매 하이프 사이클은 눈부신 데모의 물결과 극소수의 진짜 제품을 낳는다고 그는 지적합니다. 매 사이클의 반복되는 실수는 나인을 위해 아껴야 할 자원을 데모에 쓰는 것입니다. 다만 그는 스타트업 스쿨 무대인 만큼 초기의 마법에 찬물을 끼얹고 싶진 않다고, 그 시기는 정말 마법 같으니 소중히 여기고 지렛대로 삼으라고 덧붙입니다. 핵심은 자신이 만드는 제품이 요구하는 나인의 수에 정직하고 지름길로 그것을 건너뛰지 않는 것이며, 그러지 않으면 나중에 꽤 무례한 각성을 맞을 수 있다는 것입니다. 와우멘토가 이 교훈에서 뽑아내는 결론은 명확합니다. 데모 조회수를 세기 전에 당신의 나인을 세라는 것입니다. 두 번째 교훈은 필요한 나인의 수가 아키텍처와 핵심 기술 경로를 규정한다는 것입니다. 모든 기술에는 노력 대비 성능 곡선이 있어서 처음엔 가파르게 오르다 결국 평평해지는데, 흔한 실패는 초반 램프가 가장 빠른 기술을 골라 그 가파른 기울기를 미래로 투영하다가, 정작 제품이 요구하는 성능에 한참 못 미쳐 곡선이 꺾이는 것을 뒤늦게 발견하는 일이라고 그는 말합니다. 그는 센서 논쟁을 예로 듭니다. 사람은 눈만으로 운전하니 카메라만으로도 인간 수준을 근사하거나 보조 제품을 만들 수는 있지만, 강하게 초인적인 완전 자율을 노린다면 약한 센싱은 안전 곡선을 너무 일찍 평평하게 만든다는 것입니다. 그래서 웨이모는 카메라, 라이다, 레이더를 함께 씁니다. 카메라는 고해상도와 색을 주지만 수동적이라 어둠과 눈부심에 약하고, 라이다는 주변 3D 구조를 직접 측정하며, 레이더는 안개·비·눈을 뚫고 도플러로 속도를 직접 잰다고 그는 설명합니다. 라이다와 레이더는 능동 센서라 칠흑 같은 어둠이나 눈부신 석양에서도 잘 본다는 것입니다. 와우멘토가 주목하는 지점은 그가 이 센서들을 서로의 백업이 아니라 물리적으로 상호 보완하는 모달리티로 규정한다는 데 있습니다. 피닉스의 모래폭풍, 야간에 공사 장벽을 넘으려는 보행자, 헤드라이트 하나 없는 어둠 속에서 공을 쫓는 개와 그 개를 쫓는 아이들 — 카메라엔 거의 보이지 않지만 라이다엔 또렷한 이 장면들이 조기 감지의 차이를 만든다고 그는 말합니다. 나뭇잎 하나가 센서를 가려 로봇을 멈춰 세울 수 있으니 이중화가 필요하고, 어차피 이중화가 필요하다면 서로 다른 물리를 활용하는 편이 낫다는 것입니다. 그는 하드웨어가 6세대에 이르며 매 세대 성능은 올리고 비용은 급격히 낮췄다고 말하며, 오늘의 부품 가격에 회사를 걸지 말고 곧 만료될 숫자 대신 다가올 미래를 위해 설계하라고 조언합니다. 세 번째 교훈은 기술의 파도를 반복해서 타되 통합과 단순화를 놓치지 말라는 것입니다. 그는 웨이모가 AI 돌파가 올 때마다 드라이버를 그 파도 위에 사실상 다시 지어 올렸다고 말합니다. 2013년 무렵 컨브넷을 인식에, 2017년 트랜스포머를 인식과 행동 예측·계획에 크게 걸었고, 오늘은 최신 VLM과 프런티어 월드 모델을 활용한다는 것입니다. 그는 운전이 언어 모델링과 그리 다르지 않다고 흥미로운 관찰을 내놓습니다. 도로 위 다른 행위자들과 일종의 대화를 나누되 단어가 아니라 차의 몸짓으로 하는 것이며, 순서와 국소적 연속성이 중요하지만 전역적 맥락도 중요하다는 점에서 그렇다는 것입니다. 와우멘토가 이 교훈에서 강조하는 핵심은, 고립된 응용 연구나 타이거 팀으로 신기술을 프로토타이핑하는 것은 가장 어려운 부분이 아니며, 정작 어려운 근육은 그 최첨단 연구를 회귀 없이, 확장을 멈추지 않고, 복잡성에 빠지지 않으면서 안전이 걸린 프로덕션으로 옮기는 일이고, 그것을 여러 파도에 걸쳐 반복하는 일이라는 점입니다. 그는 두 가지 조언을 답니다. 신기술을 좇을 때는 성공 이후의 경로를 분명히 하라 — 어려운 프로젝트가 성공하고도 막다른 길이 되는 실패를 그는 여러 번 봤다는 것입니다. 그리고 새 기술이 성능을 얼마나 주는지만 묻지 말고 스택을 단순화했는지, 파편화가 아니라 통합으로 이끌었는지도 물으라는 것입니다. 이 철학이 낳은 것이 바로 웨이모 파운데이션 모델입니다. 멀티모달 월드 액션 랭귀지 모델이라는 이 이름을 그는 하나씩 풉니다. 카메라·라이다·레이더를 처리하니 멀티모달이고, 물리와 사회적·의미적 측면을 이해하니 월드 모델이며, 세상을 수동적으로 관찰하는 게 아니라 능동적 참여자로서 자기 행동의 결과를 이해하니 액션 모델이고, 언어와 정렬되어 VLM의 일반 지식을 희귀한 의미적 롱테일에서 끌어 쓰니 랭귀지 모델이라는 것입니다. 돌고프는 이 파운데이션 모델의 구조를 인코더-디코더로 설명합니다. 인코더는 멀티모달 센싱을 효율적인 표현으로 압축하고, 엔드투엔드로 학습되어 우리가 실제로 신경 쓰는 과업의 기울기를 초기 층까지 역전파할 수 있다고 그는 말합니다. 그리고 시스템 1과 시스템 2, 즉 빠르게 생각하고 느리게 생각하는 이중 경로를 씁니다. 빠른 경로는 카메라·라이다·레이더의 원시 데이터를 융합해 찰나의 안전 결정을 내리는 운전 본능, 이를테면 보행자가 도로로 뛰어들거나 자전거가 갑자기 끼어들 때 즉각 제동하는 도마뱀 뇌라고 그는 비유합니다. 느린 경로는 더 복잡한 의미·장면 이해를 맡습니다. 예컨대 길가에 불타는 차가 있을 때 빠른 경로는 그것을 일반적인 장애물로만 보고 앞길이 비었다고 판단할 수 있지만, 느린 경로는 깊은 의미 추론으로 그 차가 불타고 있음과 넓은 맥락을 이해해 기하학적으로는 길이 비었어도 전혀 다른 경로를 택하게 한다는 것입니다. 마지막 생성 요소인 디코더는 다른 행위자의 행동을 이해하고 예측하며 자신의 주행 결정을 계획합니다. 이 하나의 파운데이션 모델이 5세대와 6세대 하드웨어, 재규어 I-페이스, 지커, 현대 아이오닉 등 서로 다른 차량 플랫폼 위에서 웨이모 드라이버를 구동하며, 앞으로는 트럭과 개인 소유 차량 같은 상이한 상업적 응용까지 아우를 것이라고 그는 말합니다. 와우멘토가 짚는 전략적 묘수는, 큰 공유 파운데이션에 복잡성을 상류로 몰아넣어 차 위에서 도는 특화 계층을 가볍게 만들고, 그렇게 개발 속도를 끌어올린다는 발상입니다.

… The rest of this chapter continues in the full edition, available with a subscription.

Listen to this chapter