AI 용어 사전 — 토큰, 컨텍스트, 환각... 뜻만 알면 절반은 끝난다

이 글은 새로 시작하는 AI 입문 연재의 첫 번째 글이다. 이 연재는 AI를 한 번도 써 본 적 없는 사람을 위해 쓴다. 그런데 첫 관문은 기술이 아니라 말이다. 토큰, 컨텍스트, 환각 같은 단어가 설명 없이 튀어나오는 순간부터 글이 읽히지 않는다. 그래서 첫 글에서는 앞으로 계속 나올 용어를 하나씩 짚는다. 용어마다 일상 비유 하나와, 그 말을 알면 무엇이 달라지는지를 붙였다. 외울 필요는 없다. 읽고 나서 "아, 그게 그 말이었구나" 정도만 남아도 충분하다.

대화를 이루는 기본 용어

LLM과 생성형 AI

LLM은 '거대 언어 모델'의 줄임말이다. 어마어마한 양의 글을 읽고 말의 패턴을 익힌 프로그램이라고 보면 된다. 생성형 AI는 그보다 넓은 말로, 없던 결과물을 새로 만들어 내는 AI 전체를 가리킨다. 글을 만들면 언어 모델, 그림을 만들면 이미지 생성 AI다.

왜 중요한가. 흔히 말하는 'AI 챗봇'은 대부분 LLM, 즉 글을 다루는 데 특화된 도구다. 계산기나 검색 엔진과는 잘하는 일이 애초에 다르다는 뜻이다.

토큰

AI는 글을 글자 단위로 세지 않는다. 토큰이라는 조각 단위로 센다. 한글은 한 글자가 대략 한 토큰 정도라고 생각하면 크게 어긋나지 않는다. 택배 요금을 무게로 매기듯, AI는 처리량을 토큰으로 잰다.

왜 중요한가. 무료 사용 한도, 유료 요금, 한 번에 넣을 수 있는 문서 분량이 모두 토큰으로 계산된다. "길게 쓰면 비싸진다"는 말의 근거가 여기에 있다.

컨텍스트 윈도우

AI가 한 번에 펼쳐 놓고 볼 수 있는 분량이다. 책상 넓이에 비유할 수 있다. 책상이 넓으면 자료를 여러 개 올려놓고 볼 수 있지만, 좁으면 새 자료를 놓을 때 먼저 있던 것을 치워야 한다. 대화가 길어지면 앞부분이 이 책상에서 밀려난다.

왜 중요한가. 오래 이어 간 대화에서 AI가 갑자기 앞 내용을 잊는 것은 고장이 아니다. 구조상 당연한 일이다. 주제가 바뀌면 새 대화를 여는 편이 낫다.

프롬프트

AI에게 건네는 요청문이다. 검색어와는 성격이 다르다. 검색어는 짧을수록 좋지만, 프롬프트는 상황과 조건을 적을수록 결과가 좋아진다. 오늘 처음 온 사람에게 일을 설명한다고 생각하면 감이 잡힌다.

왜 중요한가. 같은 AI라도 프롬프트에 따라 결과 차이가 크다. 이 연재의 2단계가 통째로 이 주제다.

답을 의심해야 하는 이유가 담긴 용어

환각(할루시네이션)

AI가 사실이 아닌 내용을 사실처럼 말하는 현상이다. 무서운 점은 틀린 티가 나지 않는다는 것이다. 문장이 매끄럽고 확신에 차 있어서 오히려 더 그럴듯하다. 존재하지 않는 책 제목, 없는 법 조항, 열리지 않는 링크가 대표적이다.

왜 중요한가. AI 답변을 그대로 옮겨 쓰면 안 되는 가장 큰 이유다. 이 주제만 따로 떼어 42편에서 다룬다.

학습 데이터와 지식 컷오프

AI가 공부한 자료가 학습 데이터, 그 공부가 끝난 시점이 지식 컷오프다. 컷오프 이후에 벌어진 일은 원래 알지 못한다. 다만 요즘 서비스는 대화 중에 웹 검색을 붙여 이 한계를 메우기도 한다.

왜 중요한가. 어제 뉴스를 물었을 때 엉뚱한 답이 나오는 이유다. 최신 정보가 필요하면 검색 기능이 켜져 있는지 먼저 확인해야 한다.

성능과 활용에 관한 용어

파라미터

모델 안에서 조절되는 수치의 개수이고, 모델 크기를 나타내는 지표로 쓰인다. 많을수록 대체로 복잡한 일을 잘하지만 그만큼 무겁고 비싸다. 숫자가 크다고 항상 더 나은 답이 나오는 것은 아니다.

멀티모달

글뿐 아니라 이미지, 음성, 문서 같은 여러 형태를 함께 다루는 능력이다. 사진을 올려 놓고 "이게 뭐야"라고 물을 수 있다면 그 서비스는 멀티모달이다.

파인튜닝과 RAG

둘 다 AI에게 내 자료를 알려 주는 방법이다. 파인튜닝은 모델을 추가로 가르쳐 성향 자체를 바꾸는 쪽이고, RAG는 질문할 때마다 필요한 문서를 찾아 함께 건네주는 쪽이다. 앞은 사람을 교육시키는 것, 뒤는 매뉴얼을 손에 쥐여 주는 것에 가깝다. 지금은 이름만 기억해도 된다.

API와 에이전트

API는 사람이 화면에서 쓰는 대신 프로그램끼리 AI를 부르는 통로다. 에이전트는 한 번 시키면 여러 단계를 스스로 이어서 처리하는 AI다. 답만 내놓는 것이 아니라 검색하고 파일을 열고 정리까지 한다.

한눈에 다시 보기

용어	한 줄 뜻	기억할 점
토큰	AI가 글을 세는 조각 단위	요금과 한도의 기준
컨텍스트 윈도우	한 번에 기억하는 분량	넘치면 앞부터 잊음
프롬프트	AI에게 건네는 요청문	자세할수록 유리
환각	그럴듯하게 지어낸 답	티가 안 나서 위험
지식 컷오프	학습이 끝난 시점	이후 일은 모름
멀티모달	이미지·음성도 처리	사진 질문 가능
에이전트	여러 단계를 스스로 수행	도구를 직접 씀

정리

여기 나온 말들은 결국 세 덩어리다. 얼마나 처리하는가(토큰, 컨텍스트), 어떻게 시키는가(프롬프트), 얼마나 믿을 수 있는가(환각, 지식 컷오프). 이 세 가지 감각만 있으면 AI 관련 글의 절반은 어렵지 않게 읽힌다.

다음 편은 40. LLM은 어떻게 답을 만드나 — 원리를 비유로 이해하기다. 용어를 알았으니 이제 그 안에서 실제로 무슨 일이 벌어지는지 볼 차례다.

※ 이 글의 설명은 2026년 8월 기준이며 서비스 정책과 요금은 자주 변경됩니다.