AI의 진화와 분화 : LLM vs sLM → VLM → VLA
피지컬AI AI
거대해지기만 하던 AI가 이제는 작고 빨라지기도 하고, 눈과 몸을 얻기도 합니다. AI 모델의 핵심 종류들을 정리해 드립니다.
LLM모든 것을 아는 거대한 뇌
sLM내 손안의 똑똑한 비서
VLM눈을 뜬 AI
VLA몸을 움직이는 피지컬 AI
01LLM · Large Language Model
“모든 것을 아는 거대한 뇌”
LLM은 인터넷상의 방대한 텍스트 데이터를 학습하여 인간의 언어를 이해하고 생성하는 AI입니다. 문맥을 파악하고, 추론하며, 창의적인 글쓰기나 복잡한 코딩이 가능합니다.
- 한계점: 너무 커서 슈퍼컴퓨터급 서버가 필요합니다. 인터넷이 끊기면 사용할 수 없고, 비용이 비쌉니다. 또한 시각 정보가 없는 ‘텍스트 전용’입니다.
- 특징거대함, 고성능
- 실행대형 서버 (클라우드)
- 예시ChatGPT, Gemini Ultra
02sLM · Small Language Model
“내 손안의 똑똑한 비서”
LLM의 덩치를 줄여 스마트폰이나 노트북에서 직접 돌아가도록 만든 모델입니다. LLM만큼 방대한 지식은 없지만, 요약, 번역, 이메일 작성 등 특정 작업에서는 놀라운 성능을 보여줍니다.
- 장점: 인터넷 없이도 작동하며(온디바이스 AI), 데이터가 외부 서버로 나가지 않아 보안에 강력합니다. 반응 속도도 훨씬 빠릅니다.
- 특징경량화, 효율성
- 실행온디바이스 (폰/노트북)
- 예시Gemini Nano, Phi-3, Llama 3 8B
03VLM · Vision-Language Model
“눈을 뜬 AI”
LLM(혹은 sLM)에 ‘시각 정보 처리 능력’을 더한 모델입니다. 이제 AI는 사진 속 강아지를 보고 “귀여운 골든 리트리버가 공을 물고 있네요”라고 텍스트로 설명할 수 있습니다. 시각적 추론이 가능해져서, 냉장고 사진을 보고 요리 레시피를 추천해 줄 수도 있습니다.
- 한계점: 상황을 이해하고 설명할 수는 있지만, 직접 물리적인 행동을 취할 수는 없습니다. “쓰레기가 떨어져 있네”라고 말할 수는 있지만, 주울 수는 없습니다.
- 입력텍스트 + 이미지/비디오
- 출력텍스트
- 예시GPT-4o, Gemini 1.5 Pro
04VLA · Vision-Language-Action
“몸을 움직이는 피지컬 AI”
피지컬 AI의 완성형입니다. VLM이 텍스트를 출력한다면, VLA는 ‘로봇 팔의 움직임(Action Token)’을 출력합니다.
“목이 마르다”는 사람의 말을 들으면 → 시각 센서로 컵과 물병을 찾고 → 로봇 팔을 뻗어 물을 따르는 일련의 좌표 값과 모터 제어 신호를 스스로 생성합니다. 번역기가 영어 단어를 한국어로 바꾸듯, VLA는 ‘현실 세계의 상황’을 ‘로봇의 행동’으로 번역하는 모델입니다.
- 특징: 기존 로봇은 “A지점에서 B지점으로 이동”이라는 코드를 짜줘야 했지만, VLA는 학습된 인터넷 데이터를 바탕으로 “서랍을 열려면 손잡이를 잡고 당겨야 한다”는 상식을 이미 알고 행동합니다.
- 입력텍스트 + 이미지
- 출력로봇 제어 신호 (Action)
- 예시Google RT-2
05한눈에 비교하기
| 모델 | 입력 (Input) | 출력 (Output) | 핵심 비유 |
|---|---|---|---|
| LLM | 텍스트 | 텍스트 | 도서관의 박학다식한 교수님 |
| sLM | 텍스트 | 텍스트 | 빠릿빠릿한 개인 비서 (폰 탑재) |
| VLM | 텍스트 + 이미지 | 텍스트 | CCTV 상황실 관제 요원 |
| VLA | 텍스트 + 이미지 | 행동 (Action) | 직접 뛰어다니는 현장 해결사 |