Elephant Index
목록으로
로보틱스와 AI8분

[몸을 얻은 AI] 04 : 데이터가 병목이다

원격조종 데이터, 합성 데이터, 월드 모델, 그리고 데이터를 찍어 내는 공장

연재 「몸을 얻은 AI」 4번째 글

언어 모델은 인터넷이라는 거대한 창고에서 시작했다. 로봇에게는 그런 창고가 없다.

3회에서 로봇이 배우는 세 가지 길을 보았다. 사람을 따라 하든, 시행착오를 겪든, 가상 세계에서 연습하든 공통점이 하나 있다. 배울 재료, 곧 데이터가 있어야 한다. 글과 그림은 이미 인터넷에 쌓여 있었다. 로봇이 물건을 집고 옮기는 기록은 누군가 로봇을 움직여서 만들어야 한다. 이번 회는 그 재료를 누가, 어떤 방식으로, 얼마나 모으고 있는지 논문의 수치로 따라가 본다.

그림 1. 로봇 데이터의 피라미드: 아래로 갈수록 많고, 위로 갈수록 그 로봇에 꼭 맞는다
실제 로봇 데이터합성 데이터시뮬레이션 · 영상 생성 모델웹 데이터 · 사람 영상양은 가장 많지만 로봇의 동작은 없다← 양은 적고, 특정 로봇에 꼭 맞음위로 갈수록 그 로봇의 몸에 특화되고, 양은 줄어든다

NVIDIA의 GR00T N1 논문(Fig. 1)이 설명한 데이터 피라미드를 필자가 다시 그렸다.

왜 병목인가

언어 모델의 재료는 사람이 이미 써 둔 글이다. 로봇이 필요로 하는 것은 ‘상황을 보고 어떤 관절을 어떻게 움직였는지’의 기록이다. 이 기록은 로봇 한 대가 한 번 움직일 때마다 한 줄씩 생긴다. 이 대목은 필자의 설명이다. 그래서 로봇 연구는 데이터를 모으는 방식 자체를 연구해 왔고, 크게 네 갈래로 나뉜다. 여러 기관이 데이터를 합치는 길, 현장에서 직접 모으는 길, 전용 시설을 짓는 길, 컴퓨터로 만들어 내는 길이다.

첫째 길: 서로 합친다

Open X-Embodiment는 이 문제를 ‘나눠 쓰자’로 풀었다. 논문 초록에 따르면 21개 기관이 협력해 22종의 로봇에서 모은 데이터를 하나로 묶었고, 527개 기술(16만 266개 과제)을 담았다. 로봇의 몸이 서로 다르다는 점이 핵심이다. 연구진은 이 데이터로 학습한 RT-X 모델이 다른 로봇들의 경험을 활용해 여러 로봇의 능력을 높인다고 보고한다. 다른 로봇의 경험이 내 로봇에게도 도움이 된다는 뜻이다. 다만 초록에는 이 효과의 구체적 수치가 없다.

DROID는 방향이 다르다. 실험실이 아니라 현장의 다양성을 모으려 했다. 논문 초록에 따르면 북미·아시아·유럽의 50명이 12개월 동안 564개 장면, 84개 과제에서 7만 6천 개의 시연 궤적, 350시간 분량을 모았다. 연구진은 이 데이터로 학습하면 정책의 성능과 일반화 능력이 높아진다고 보고한다.

둘째 길: 시설을 짓는다

AgiBot World는 아예 모으는 공장을 지었다. 논문은 4,000제곱미터 규모의 시설에서 로봇 100대로 데이터를 모았다고 적는다. 최신 버전은 100만 1,552개의 궤적, 총 2,976.4시간, 217개 과제, 106개 장면이다. 가정·소매·산업·식당·사무실 다섯 영역을 다룬다. 숙련된 조작자가 VR 장비나 전신 모션캡처로 로봇을 움직이고, 수집 후에는 검수자가 에피소드마다 기준에 맞는지 확인한다. 논문이 ‘사람이 고리 안에 있는’ 검증이라 부르는 절차다.

이 검증이 무게 있는 이유는 논문의 비교 실험에 있다. 한 과제(탁자 닦기)에서 사람이 검증한 528개 궤적이 검증하지 않은 482개보다 완료 점수가 0.18 높았다. 논문은 양이 많다고 성능이 반드시 좋아지는 것은 아니라고 적는다. 데이터는 양만큼이나 품질 관리가 비용을 좌우한다는 시사점이다. 이 해석은 필자의 것이다.

AgiBot 연구진은 자신들의 데이터로 사전학습한 정책이 Open X-Embodiment로 학습한 정책보다 평균 30% 높은 성능을 보였다고 보고한다. 평가는 모두 실제 환경에서 과제당 평균 30회 시도로 했다. 다만 이것은 연구진이 자기 데이터셋과 비교한 결과이므로, 독립 검증이 아닌 자체 보고라는 점을 기억해 둘 필요가 있다.

셋째 길: 로봇 없이 모은다

로봇을 사 와서 사람이 붙어야 한다면 규모를 키우기 어렵다. UMI(Universal Manipulation Interface)는 손에 쥐는 그리퍼로 사람의 시연을 모은다. 논문 초록은 이 방식이 휴대하기 쉽고 비용이 낮으며, 학습된 정책이 특정 로봇에 묶이지 않고 여러 로봇에 배치될 수 있다고 설명한다. 같은 논문은 다양한 시연으로 학습하면 새로운 환경과 물체에도 제로샷으로 일반화한다고 보고한다. 이 길은 로봇을 거치지 않고 사람의 손에서 곧바로 데이터를 얻는다는 점에서 앞의 둘과 다르다.

넷째 길: 만들어 낸다

마지막 길은 컴퓨터가 데이터를 만드는 것이다. NVIDIA의 GR00T N1 논문은 이를 피라미드로 정리한다. 맨 아래에 웹 데이터와 사람 영상, 가운데에 물리 시뮬레이션이나 신경망으로 만든 합성 데이터, 맨 위에 실제 로봇 데이터를 둔다.

논문이 밝힌 규모는 눈에 띈다. 시뮬레이션으로 78만 개의 궤적을 만들었고, 이는 사람 시연 6,500시간, 곧 연속 9개월에 해당하며 생성에는 11시간이 걸렸다고 한다. 영상 생성 모델 쪽은 실제 원격조종 데이터 88시간을 바탕으로 약 827시간 분량의 영상을 만들어 약 10배로 늘렸다. 이 영상은 L40 GPU 약 10만 5천 시간(3,600장으로 약 1.5일)을 들여 만들었고, GPU 한 장으로는 1초짜리 영상 하나에 2분이 걸렸다. 모두 NVIDIA가 자사 모델에 대해 낸 수치다.

그림 2. 같은 ‘시간’이라도 의미가 다르다: 논문이 보고한 데이터 분량
DROID (실제, 현장)350시간GR00T 영상 생성 (합성)827시간AgiBot World (실제, 시설)2,976.4시간GR00T 시뮬레이션 (합성)6,500시간

각 논문의 보고값(DROID, GR00T N1, AgiBot World). 합성 데이터의 ‘시간’은 사람 시연으로 환산한 분량이라 실제 수집 시간과 같은 뜻이 아니다.

그림을 볼 때 주의할 점이 있다. 시뮬레이션의 6,500시간은 로봇이 현실에서 움직인 시간이 아니다. 사람 시연으로 쳤을 때의 환산 분량이며, 현실과의 차이는 3회에서 본 sim-to-real 문제로 이어진다. 영상 생성 모델이 만든 827시간도 마찬가지로 생성된 영상이다. 같은 막대 길이라도 값의 무게가 같지 않다는 점은 필자의 해석이다.

월드 모델은 어디에 서 있나

합성 데이터의 중심에는 월드 모델이 있다. NVIDIA의 Cosmos 논문 초록은 “Physical AI needs to be trained digitally first”라고 밝히고, 영상 정제 파이프라인과 사전학습된 세계 기반 모델, 후속 학습 사례, 영상 토크나이저를 묶은 플랫폼이라고 소개한다. 모델은 허용적 라이선스의 오픈 웨이트로 공개되었다고 한다. 월드 모델이 현실을 얼마나 믿을 만하게 흉내 내는지는 계속 검증되어야 할 질문이다. 이 논문들에서 그 정도를 하나의 수치로 확인하지는 못했으므로, 여기서는 구조만 소개한다.

100만 1,552개AgiBot World 궤적 수(총 2,976.4시간). AgiBot 논문
78만 개 · 11시간시뮬레이션으로 만든 궤적과 생성 시간. NVIDIA GR00T N1 논문
0.18사람이 검증한 데이터로 높아진 완료 점수(탁자 닦기). AgiBot 논문

비즈니스 눈으로 보면

네 길은 비용의 구조가 다르다. 합치는 길은 협력이 비용이고, 현장 수집은 사람의 시간이, 시설은 설비와 운영비가, 합성은 GPU가 비용이다. 이 구분은 필자의 정리다.

논문으로 확인한 사실은 이렇다. 시설 규모의 실제 수집은 100만 개의 궤적을 만들었고, 합성은 훨씬 짧은 시간에 훨씬 많은 분량을 만들었다. 다만 합성은 현실과의 간극이라는 숙제를 남기고, 실제 수집은 검수라는 품질 관리를 요구한다. 필자의 추정을 덧붙이면, 로봇 회사의 해자는 ‘데이터의 양’이 아니라 ‘데이터를 싸고 정확하게 만드는 파이프라인’에서 생길 수 있다. 사업 관점에서는 로봇을 한 대 더 파는 일과 데이터를 한 시간 더 쌓는 일이 같은 투자 안에서 경쟁한다. 이 해석은 논문이 직접 말한 것이 아니다.

또 하나 눈여겨볼 점은 수치의 출처다. 위 숫자는 모두 해당 데이터셋이나 모델을 만든 연구진이 직접 보고한 값이다. 서로 다른 로봇과 과제, 평가 방식에서 나온 결과이므로 막대 길이를 곧바로 줄 세우면 안 된다.

시장으로 보면: 데이터 값과 시장 전망

데이터를 모으는 값은 방식마다 크게 다르다. UMI 논문은 3D 프린트한 그리퍼의 부품 원가(BoM)가 73달러, GoPro 카메라와 부속이 298달러라고 밝힌다. 둘을 더하면 371달러로, 필자의 계산이다. 논문은 원격조종이 ‘하드웨어 준비 비용과 숙련된 조작자’를 요구한다고 지적한다. 연구진의 프로젝트 페이지는 컵 배열 과제에서 시간당 수집한 시연이 UMI 그리퍼 111개, 사람 손 231개, 스페이스 마우스 원격조종 35개라고 적는다. 3배 넘게 빠르다는 설명이다. 이 속도 비교는 하나의 과제에서 연구진이 잰 값이다. 다만 이 금액에는 로봇 팔이 들어 있지 않고(논문에 로봇 팔 값은 없다), 두 방식은 얻는 데이터의 종류도 달라서 원격조종 장비와 단순 비교하기는 어렵다. 달러 단위의 수집 비용 비교는 두 논문 어디에도 없다.

시장 전망은 기관마다 폭이 넓다. 골드만삭스 리서치는 2024년 2월 글에서 휴머노이드 로봇의 시장 규모가 2035년까지 380억 달러(출하 140만 대)에 이를 수 있다고 전망했다. 이전 전망 60억 달러에서 올린 것이다. 글은 한 대당 제조 원가 범위가 지난해 5만25만 달러에서 3만15만 달러로 내려갔다고 설명한다. 모건스탠리 리서치는 2025년 5월 글에서 공급망과 수리·유지·지원까지 포함해 2050년까지 5조 달러를 넘을 수 있다고 본다. 이 글은 선진국 기준 단가가 2024년 약 20만 달러에서 2028년 약 15만 달러, 2050년 약 5만 달러로 내려간다고 가정한다. 두 전망은 시점(2035년과 2050년)과 범위(로봇 시장 대 공급망·서비스 포함)가 달라서 서로 맞바꿔 비교할 수 없다. 두 기관 모두 데이터 확보를 명시적 변수로 두지는 않았다. 이는 필자가 두 글을 읽고 한 해석이다. 전망이 모두 단가 하락을 전제로 한다는 점은 분명하고, 단가가 내려가려면 로봇이 쓸 만해져야 하며 그 열쇠가 데이터라는 연결은 이 연재의 가설이다.

투자 흐름은 1차 출처로 확인되는 것이 적다. 로봇 파운데이션 모델 회사 Physical Intelligence가 큰 투자를 받았다는 언론 보도는 있으나, 회사가 금액과 기업가치를 직접 밝힌 글은 확인하지 못해 수치를 싣지 않는다. 회사 홈페이지는 Bond, Jeff Bezos, Khosla Ventures, Lux Capital, OpenAI, Redpoint Ventures, Sequoia Capital, CapitalG, Thrive Capital의 지원에 감사한다고만 적는다.

다음 회

5회는 몸의 한계를 본다. 액추에이터와 감속기, 손과 촉각 센서, 배터리, 온디바이스 연산이 두뇌만큼 중요한 이유를 따져 본다.

  1. Open X-Embodiment Collaboration, “Open X-Embodiment: Robotic Learning Datasets and RT-X Models”, 2023. arXiv:2310.08864
  2. Khazatsky 외, “DROID: A Large-Scale In-The-Wild Robot Manipulation Dataset”, 2024. arXiv:2403.12945
  3. AgiBot-World-Contributors, “AgiBot World Colosseo: A Large-scale Manipulation Platform for Scalable and Intelligent Embodied Systems”, 2025. arXiv:2503.06669
  4. Chi 외, “Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots”, 2024. arXiv:2402.10329
  5. NVIDIA, “GR00T N1: An Open Foundation Model for Generalist Humanoid Robots”, 2025. arXiv:2503.14734
  6. NVIDIA, “Cosmos World Foundation Model Platform for Physical AI”, 2025. arXiv:2501.03575
  7. Goldman Sachs Research, “The global market for humanoid robots could reach $38 billion by 2035”, 2024. goldmansachs.com
  8. Morgan Stanley Research, “Humanoids: A $5 Trillion Market”, 2025. morganstanley.com
  9. UMI 프로젝트 페이지(수집 속도 비교). umi-gripper.github.io
  10. Physical Intelligence 홈페이지(투자자 감사 문구). pi.website
목록으로