AI의 진화 단계: LLM → VLM → VLA
피지컬AI AI
글만 쓰던 AI가 어떻게 눈을 뜨고, 마침내 로봇의 몸을 움직이게 되었을까요? 피지컬 AI의 핵심 두뇌들을 해부합니다.
LLM언어로 생각하는 뇌
VLM눈을 뜬 AI
VLA몸을 움직이는 피지컬 AI
01LLM · Large Language Model
“언어로 생각하는 뇌”
LLM은 인터넷상의 방대한 텍스트 데이터를 학습하여 인간의 언어를 이해하고 생성하는 AI입니다. 문맥을 파악하고, 추론하며, 창의적인 글쓰기나 코딩이 가능합니다.
- 한계점: 세상을 '글자'로만 배웠습니다. "사과가 빨갛다"는 문장은 알지만, 실제 빨간 사과 이미지를 보여주면 그게 무엇인지 인식하지 못합니다. 시각 정보가 없는 '장님'과 같습니다.
- 입력텍스트
- 출력텍스트
- 예시ChatGPT, Claude, Gemini
02VLM · Vision-Language Model
“눈을 뜬 AI”
LLM에 '시각 정보 처리 능력'을 더한 모델입니다. 이제 AI는 사진 속 강아지를 보고 "귀여운 골든 리트리버가 공을 물고 있네요"라고 텍스트로 설명할 수 있습니다. 시각적 추론이 가능해져서, 냉장고 사진을 보고 요리 레시피를 추천해 줄 수도 있습니다.
- 한계점: 상황을 이해하고 설명할 수는 있지만, 직접 물리적인 행동을 취할 수는 없습니다. "쓰레기가 떨어져 있네"라고 말할 수는 있지만, "주워서 쓰레기통에 넣어"라는 구체적인 로봇 제어 명령(좌표값, 모터 토크 등)을 내리지는 못합니다.
- 입력텍스트 + 이미지/비디오
- 출력텍스트
- 예시GPT-4o, Gemini 1.5 Pro
03VLA · Vision-Language-Action
“몸을 움직이는 피지컬 AI”
피지컬 AI의 완성형입니다. VLM이 텍스트를 출력한다면, VLA는 '로봇 팔의 움직임(Action Token)'을 출력합니다.
"목이 마르다"는 사람의 말을 들으면 → 시각 센서로 컵과 물병을 찾고 → 로봇 팔을 뻗어 물을 따르는 일련의 좌표 값과 모터 제어 신호를 스스로 생성합니다. 번역기가 영어 단어를 한국어로 바꾸듯, VLA는 '현실 세계의 상황'을 '로봇의 행동'으로 번역하는 모델입니다.
- 특징: 기존 로봇은 "A지점에서 B지점으로 이동"이라는 코드를 짜줘야 했지만, VLA는 학습된 인터넷 데이터를 바탕으로 "서랍을 열려면 손잡이를 잡고 당겨야 한다"는 상식을 이미 알고 행동합니다.
- 입력텍스트 + 이미지
- 출력로봇 제어 신호 (Action)
- 예시Google RT-2
04한눈에 비교하기
| 모델 | 입력 (Input) | 출력 (Output) | 비유 |
|---|---|---|---|
| LLM | 텍스트 | 텍스트 | 책상에 앉아있는 천재 작가 (눈 가림) |
| VLM | 텍스트 + 이미지 | 텍스트 | CCTV를 보고 상황을 설명하는 관제 요원 |
| VLA | 텍스트 + 이미지 | 로봇 행동 (Action) | 지시를 듣고 직접 심부름을 하는 현장 요원 |