ELEPHANT INDEX · 로보틱스와 AIAI 모델 한눈에 정리
LLM vs sLM → VLM → VLA

거대해지기만 하던 AI가 이제는 작고 빨라지기도 하고, 눈과 몸을 얻기도 합니다. AI 모델의 핵심 종류들을 정리해 드립니다.

LLM모든 것을 아는 거대한 뇌
sLM내 손안의 똑똑한 비서
VLM눈을 뜬 AI
VLA몸을 움직이는 피지컬 AI

01LLM · Large Language Model

“모든 것을 아는 거대한 뇌”

LLM은 인터넷상의 방대한 텍스트 데이터를 학습하여 인간의 언어를 이해하고 생성하는 AI입니다. 문맥을 파악하고, 추론하며, 창의적인 글쓰기나 복잡한 코딩이 가능합니다.

  • 한계점: 너무 커서 슈퍼컴퓨터급 서버가 필요합니다. 인터넷이 끊기면 사용할 수 없고, 비용이 비쌉니다. 또한 시각 정보가 없는 ‘텍스트 전용’입니다.
  • 특징거대함, 고성능
  • 실행대형 서버 (클라우드)
  • 예시ChatGPT, Gemini Ultra

02sLM · Small Language Model

“내 손안의 똑똑한 비서”

LLM의 덩치를 줄여 스마트폰이나 노트북에서 직접 돌아가도록 만든 모델입니다. LLM만큼 방대한 지식은 없지만, 요약, 번역, 이메일 작성 등 특정 작업에서는 놀라운 성능을 보여줍니다.

  • 장점: 인터넷 없이도 작동하며(온디바이스 AI), 데이터가 외부 서버로 나가지 않아 보안에 강력합니다. 반응 속도도 훨씬 빠릅니다.
  • 특징경량화, 효율성
  • 실행온디바이스 (폰/노트북)
  • 예시Gemini Nano, Phi-3, Llama 3 8B

03VLM · Vision-Language Model

“눈을 뜬 AI”

LLM(혹은 sLM)에 ‘시각 정보 처리 능력’을 더한 모델입니다. 이제 AI는 사진 속 강아지를 보고 “귀여운 골든 리트리버가 공을 물고 있네요”라고 텍스트로 설명할 수 있습니다. 시각적 추론이 가능해져서, 냉장고 사진을 보고 요리 레시피를 추천해 줄 수도 있습니다.

  • 한계점: 상황을 이해하고 설명할 수는 있지만, 직접 물리적인 행동을 취할 수는 없습니다. “쓰레기가 떨어져 있네”라고 말할 수는 있지만, 주울 수는 없습니다.
  • 입력텍스트 + 이미지/비디오
  • 출력텍스트
  • 예시GPT-4o, Gemini 1.5 Pro

04VLA · Vision-Language-Action

“몸을 움직이는 피지컬 AI”

피지컬 AI의 완성형입니다. VLM이 텍스트를 출력한다면, VLA는 ‘로봇 팔의 움직임(Action Token)’을 출력합니다.

“목이 마르다”는 사람의 말을 들으면 → 시각 센서로 컵과 물병을 찾고 → 로봇 팔을 뻗어 물을 따르는 일련의 좌표 값과 모터 제어 신호를 스스로 생성합니다. 번역기가 영어 단어를 한국어로 바꾸듯, VLA는 ‘현실 세계의 상황’을 ‘로봇의 행동’으로 번역하는 모델입니다.

  • 특징: 기존 로봇은 “A지점에서 B지점으로 이동”이라는 코드를 짜줘야 했지만, VLA는 학습된 인터넷 데이터를 바탕으로 “서랍을 열려면 손잡이를 잡고 당겨야 한다”는 상식을 이미 알고 행동합니다.
  • 입력텍스트 + 이미지
  • 출력로봇 제어 신호 (Action)
  • 예시Google RT-2

05한눈에 비교하기

모델입력 (Input)출력 (Output)핵심 비유
LLM텍스트텍스트도서관의 박학다식한 교수님
sLM텍스트텍스트빠릿빠릿한 개인 비서 (폰 탑재)
VLM텍스트 + 이미지텍스트CCTV 상황실 관제 요원
VLA텍스트 + 이미지행동 (Action)직접 뛰어다니는 현장 해결사