Elephant Index
목록으로
로보틱스와 AI4분

[몸을 얻은 AI] 02 : 로봇의 두뇌

시각-언어-행동(VLA) 모델은 어떻게 장면을 보고 행동을 내놓는가

연재 「몸을 얻은 AI」 2번째 글

로봇의 두뇌는 새로 만든 것이 아니다. 이미 말을 잘하는 모델에게 손을 달아 준 것이다.

1회에서 피지컬 AI를 인식, 판단, 행동이 돌아가는 닫힌 루프로 보았다. 이번 회는 그 가운데 ‘판단’ 상자를 연다. 카메라 영상과 “파란 컵을 싱크대에 넣어”라는 말을 받아 다음 동작을 내놓는 모델, 곧 VLA(Vision-Language-Action) 모델이다.

뼈대는 시각-언어 모델이다

VLA의 출발점은 이미지와 글을 함께 이해하는 시각-언어 모델(VLM)이다. 인터넷의 이미지와 텍스트로 이미 사전학습된 모델을 가져와, 마지막에 ‘행동’을 내놓는 길을 하나 더 낸다. 로봇을 처음부터 가르치지 않고, 세상에 대한 지식을 이미 가진 모델에 몸 쓰는 법을 얹는 발상이다.

이렇게 하는 이유는 로봇 데이터가 귀하기 때문이다. 구글 딥마인드는 RT-2를 소개하며, 이전 모델 RT-1이 오피스 주방에서 로봇 13대로 17개월 동안 모은 시연 데이터로 학습했다고 밝혔다. 저자들은 처음 보는 상황에서 성공률이 RT-1의 32%에서 RT-2의 62%로 올랐다고 보고한다. 웹에서 얻은 지식이 로봇 동작으로 옮겨 간다는 주장의 핵심 근거다. 이 수치도 연구진이 자사 모델에 대해 낸 값이다.

갈림길: 행동을 어떻게 내놓을까

시각-언어 모델까지는 공통이다. 갈라지는 곳은 그 뒤, 모델이 행동을 어떤 모양으로 내놓느냐다.

그림 1. VLA의 두 갈래: 행동을 토큰으로 vs 연속 값으로
카메라 이미지+ 말로 한 지시(+ 관절 상태)시각-언어모델 (VLM)인터넷 사전학습A. 행동을 토큰으로RT-2 · OpenVLA다음 토큰 예측으로 행동 출력B. 행동을 연속 값으로π0액션 전문가 + flow matching, 청크 50스텝

RT-2, OpenVLA, π0 논문을 바탕으로 필자가 그렸다. 모델마다 세부 구조는 다르다.

A. 행동을 토큰으로. 1회에서 본 RT-2 방식이다. 행동을 숫자 몇 개로 쪼개 글자처럼 취급하고, 언어모델이 다음 단어를 맞히듯 다음 행동 토큰을 맞힌다. 구조를 거의 바꾸지 않아도 되는 것이 장점이다. Kim 외가 공개한 OpenVLA(2024)는 이 계열의 오픈소스 모델로, 라마 2 언어모델에 DINOv2와 SigLIP 시각 인코더를 붙인 70억 파라미터 규모다. 논문에 따르면 97만 건의 실제 로봇 시연으로 학습해 29개 과제에서 550억 파라미터의 RT-2-X보다 절대 성공률이 16.5%p 높았고, 파라미터는 550억 대 70억이다. 크기가 곧 성능은 아니라는 사례다.

B. 행동을 연속 값으로. Physical Intelligence의 π0(2024)는 다른 길을 택했다. PaliGemma(약 30억 파라미터) 위에 로봇 전용 ‘액션 전문가’ 약 3억 파라미터를 붙여 총 33억 파라미터다. 입력은 로봇당 2~3장의 이미지, 언어 지시, 관절 각도 같은 자기 상태이고, 출력은 앞으로의 50스텝을 한꺼번에 담은 액션 청크다. 이 청크는 flow matching이라는 방식으로 만든다. 무작위 값에서 출발해 10번의 계산 단계를 거치며 행동을 다듬는 방법이다. 논문은 이 방식이 높은 정밀도와 다중 모드 모델링에 유리하다고 설명하고, OpenVLA 같은 자기회귀 이산화 방식은 액션 청크를 지원하지 않아 고빈도 제어가 어렵다고 쓴다.

3.3Bπ0의 총 파라미터. VLM 약 3B에 액션 전문가 약 300M. π0 논문
50스텝한 번에 예측하는 액션 청크의 길이(H=50). 시간이 아니라 개수다
73msπ0의 전체 온보드 추론 시간(RTX 4090 기준). π0 논문 부록

청크가 중요한 이유는 속도다. 모델이 한 번 계산할 때마다 몇 십 스텝을 미리 내놓으면, 계산이 느려도 로봇은 그 사이 끊김 없이 움직일 수 있다. 논문은 50Hz로 도는 로봇에서 0.5초마다 추론을 돌린다고 적는다. 1회에서 본 속도 간극을 다른 방식으로 메우는 셈이다.

토큰이 정말 한계인가

이산 토큰 방식이 늘 불리한 것은 아니다. 차원마다, 시점마다 값을 구간에 나누는 단순한 방식은 정교한 고주파 동작에서 성능이 떨어진다고 FAST 논문(Pertsch 외, 2025)이 지적한다. 같은 논문은 행동 시퀀스를 이산 코사인 변환으로 주파수 공간에서 압축해 토큰으로 만드는 방법을 제안하고, π0와 결합했을 때 확산 방식과 맞먹는 성능에 학습 시간을 최대 5배 줄였다고 보고한다. 갈림길의 한쪽 끝에 있던 토큰 방식이 토큰을 만드는 법을 고쳐 다시 경쟁에 나선 것이다. 어느 쪽이 이길지는 아직 열려 있다.

비즈니스 눈으로 보면

모델 구조의 차이는 사업의 모양으로 이어진다. π0 논문은 7가지 로봇 구성과 68개 과제에서 모은 자체 데이터를 쓰고, 사전학습 규모가 1만 시간 이상이며 공개 데이터는 전체 혼합의 9.1%뿐이라고 밝힌다. 두뇌 구조는 논문으로 공개되지만, 그 두뇌를 키운 데이터는 공개되지 않는다. 이 글이 확인한 사실은 여기까지이고, 여기서 두뇌의 경쟁력이 구조보다 데이터에서 나올 수 있다는 해석이 나온다. 이 해석은 필자의 추정이며, 4회에서 데이터 문제를 따로 검증한다.

다음 회

3회는 두뇌가 어떻게 배우는지를 다룬다. 사람의 시연을 흉내 내는 모방학습, 시행착오로 배우는 강화학습, 그리고 시뮬레이션에서 배운 것을 현실로 옮길 때 생기는 간극(sim-to-real)을 비교한다.

  1. Brohan 외, “RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control”, 2023. arXiv:2307.15818
  2. Google DeepMind, RT-2 공개 설명(RT-1 학습 조건, 처음 보는 상황에서 32%→62%). deepmind.google/blog
  3. Kim 외, “OpenVLA: An Open-Source Vision-Language-Action Model”, 2024. arXiv:2406.09246
  4. Black 외, “π0: A Vision-Language-Action Flow Model for General Robot Control”, 2024. arXiv:2410.24164
  5. Pertsch 외, “FAST: Efficient Action Tokenization for Vision-Language-Action Models”, 2025. arXiv:2501.09747
목록으로