토큰이란? — 요즘 AI 요금과 한도가 전부 이 단위로 매겨지는 이유

• 토큰은 AI 가 글을 잘게 쪼개 세는 조각입니다. 글자도 단어도 아닙니다
• 요금도 한도도 이 조각의 개수로 매겨집니다. 한글은 영어보다 더 많이 먹습니다
• 줄이는 방법은 정해져 있습니다. 안 쓸 자료를 안 붙이는 것부터입니다

AI 요금표를 보면 100만 토큰당 얼마 같은 문장이 먼저 나옵니다. 한도 이야기에도 20만 토큰, 100만 토큰 같은 숫자가 붙습니다. 그런데 정작 토큰이 몇 글자인지, 내가 쓴 질문이 몇 토큰인지는 아무도 알려주지 않습니다.

결론부터 말하면 토큰은 모델이 글을 처리하려고 미리 쪼개 둔 조각입니다. 글자 단위도 아니고 단어 단위도 아니고, 그 사이 어딘가에 있는 애매한 크기의 덩어리입니다. 이 애매함이 요금표를 헷갈리게 만드는 원인이기도 합니다.

중요한 건 이 조각이 돈과 한도를 재는 자라는 점입니다. 얼마를 낼지, 얼마나 넣을 수 있을지가 전부 이 단위로 결정됩니다. 이 글은 토큰이 무엇인지부터, 한글이 왜 손해를 보는지, 그리고 실제로 줄이는 방법까지 정리합니다.

토큰은 정확히 무엇인가요?

컴퓨터는 글자를 그대로 다루지 못합니다. 숫자만 계산할 수 있으니 글을 먼저 조각으로 나누고, 조각마다 번호를 붙여야 합니다. 그 조각 하나가 토큰이고, 나누는 규칙을 정해 둔 표를 토크나이저라고 부릅니다.

나누는 기준은 자주 등장하는 덩어리입니다. 영어에서 the나 ing처럼 흔한 조각은 통째로 하나가 되고, 드문 단어는 여러 조각으로 쪼개집니다. 그래서 같은 여섯 글자라도 어떤 건 토큰 하나, 어떤 건 네 개가 됩니다.

감을 잡는 데는 대략적인 환산이 편합니다. 영어는 단어 하나가 대체로 토큰 1개 남짓, 영문 기준으로 네 글자쯤이 토큰 하나라고들 말합니다. 한글은 뒤에서 따로 볼 텐데, 글자 하나가 토큰 하나를 넘기는 경우가 많습니다.

띄어쓰기와 문장부호도 자리를 차지합니다. 공백은 대개 뒤에 오는 단어에 붙어서 같이 세어지고, 줄바꿈과 마침표도 각각 조각으로 잡힙니다. 표나 코드를 붙여 넣으면 눈에 보이는 내용보다 토큰이 훨씬 많이 나오는 것도 이 때문입니다.

읽을 때만 쓰이는 단위가 아닙니다. 모델이 답을 쓸 때도 토큰을 하나씩 순서대로 골라 이어 붙입니다. 다음에 올 조각을 확률로 고르고, 고른 조각을 다시 앞에 붙여 그다음을 고르는 식입니다. 답이 왼쪽부터 차례로 흘러나오는 것처럼 보이는 이유도 여기에 있습니다.

그래서 글자 수로 세면 되지 않나 하는 생각은 잘 맞지 않습니다. 같은 1,000자라도 순수 한글 산문이냐, 영어 문서냐, 이모지와 특수문자가 섞인 로그냐에 따라 토큰 수가 두세 배까지 벌어집니다. 정확히 알고 싶다면 각 회사가 공개한 토큰 계산기에 실제 텍스트를 넣어보는 게 가장 빠릅니다.

한글은 왜 영어보다 토큰을 많이 먹나요?

토크나이저를 만들 때 학습에 쓴 글이 대부분 영어였기 때문입니다. 자주 나온 조각일수록 짧게 잡히는 구조라, 영어는 통으로 붙고 한글은 잘게 부서집니다. 언어의 우열이 아니라 어떤 글로 표를 만들었는가의 문제입니다.

한글은 초성·중성·종성이 합쳐진 글자라 바이트로 따지면 영문자보다 무겁기도 합니다. 모델에 따라 다르지만 한글 한 글자가 토큰 1개에서 3개 사이로 잡히는 일이 흔합니다. 조사와 어미가 붙어 형태가 계속 바뀌는 것도 조각 수를 늘리는 요인입니다.

결과는 지갑에서 드러납니다. 같은 내용을 영어와 한국어로 각각 보내면 한국어 쪽이 대체로 1.5~2배 이상 토큰을 씁니다. 같은 요금표를 쓰는데 실제로 내는 돈은 더 많아지는 셈입니다.

한도에서도 똑같이 불리합니다. 20만 토큰짜리 창이라도 한글 문서를 넣으면 영어 문서보다 훨씬 적은 분량밖에 못 넣습니다. 같은 숫자를 봐도 체감 용량이 다르다는 점을 염두에 두는 게 좋습니다.

한글보다 더 불리한 것도 있습니다. 표, 로그, JSON 같은 기호가 빽빽한 텍스트는 괄호와 따옴표가 전부 따로 세어져서 눈에 보이는 정보량에 비해 조각 수가 폭발합니다. 자료를 붙일 때 원본 대신 사람이 읽을 수 있게 정리한 요약을 넣으면 이 손해를 크게 줄일 수 있습니다.

다만 이 격차는 조금씩 줄고 있습니다. 최근 모델들은 다국어 데이터를 늘려서 한글 조각을 예전보다 효율적으로 잡습니다. 그래도 영어가 여전히 가장 저렴한 언어라는 사실 자체는 당분간 바뀌기 어렵습니다.

요금표에 적힌 숫자는 전부 이 조각의 개수입니다.글자 수가 아니라 조각 수로 세기 때문에, 같은 분량도 언어마다 값이 달라집니다.

요금과 한도는 왜 둘 다 이 단위로 매겨지나요?

모델이 실제로 하는 일이 토큰을 읽고 토큰을 만드는 것뿐이기 때문입니다. 계산량이 조각 수에 거의 비례하니, 요금도 조각 수로 매기는 게 가장 정직합니다. 전기 요금을 킬로와트로 재는 것과 같은 이치입니다.

요금표를 보면 값이 두 줄로 나뉘어 있습니다. 입력 토큰과 출력 토큰입니다. 내가 보낸 질문과 붙인 자료가 입력이고, 모델이 써 준 답이 출력입니다. 보통 출력이 입력보다 몇 배 비쌉니다. 답을 만들 때는 조각을 하나씩 순서대로 뽑아내야 해서 계산이 훨씬 무겁기 때문입니다.

그래서 비용 구조가 직관과 어긋날 때가 있습니다. 긴 문서를 넣고 짧은 요약을 받는 작업은 생각보다 싸고, 짧은 지시로 긴 글을 뽑아내는 작업은 생각보다 비쌉니다. 얼마나 넣었나보다 얼마나 받아냈나를 먼저 보는 습관이 도움이 됩니다.

한도 쪽도 같은 단위를 씁니다. 한 번의 요청에 실을 수 있는 전체 분량을 컨텍스트 윈도우라고 하는데, 이것도 토큰으로 셉니다. 게다가 입력과 출력을 합친 한도라서, 길게 넣을수록 답할 수 있는 여유가 줄어듭니다.

여기에 함정이 하나 더 있습니다. 대화를 이어가면 앞의 내용이 매번 다시 실려 갑니다. 열 번째 질문에는 첫 번째부터 아홉 번째까지가 통째로 붙어서 갑니다. 질문 한 줄은 짧은데 요금이 계속 커지는 이유가 이겁니다.

요금표를 볼 때는 단위가 100만 토큰 기준이라는 점도 같이 봐야 합니다. 숫자만 보면 저렴해 보이지만, 문서 하나를 붙일 때마다 수천에서 수만 토큰이 나갑니다. 한 번의 요청보다 하루치 합계로 계산해 보는 편이 실제 감각에 가깝습니다.

블록체인에서 말하는 토큰과 같은 말인가요?

전혀 다른 말입니다. 철자만 같을 뿐 아무 관계가 없습니다. 블록체인 쪽의 토큰은 체인 위에서 발행되는 자산을 뜻합니다. 지갑에 보관하고 거래소에서 사고파는 그 토큰입니다.

AI 쪽의 토큰은 자산이 아니라 글을 세는 단위입니다. 사고팔 수도 없고, 지갑에 담기지도 않습니다. 굳이 비유하자면 통신사의 데이터 사용량에 가깝습니다. 쓴 만큼 정산되고 남으면 사라지는 계량 단위입니다.

헷갈리기 쉬운 자리도 있습니다. AI 서비스가 토큰 충전이라는 말을 쓰면 대개 코인이 아니라 선불로 사 두는 사용량을 가리킵니다. 문맥이 요금이나 한도 이야기라면 십중팔구 이쪽 뜻으로 읽으면 맞습니다.

토큰을 줄이려면 어떻게 해야 하나요?

가장 효과가 큰 건 안 쓸 자료를 처음부터 안 붙이는 것입니다. 혹시 몰라서 통째로 첨부한 문서는 대개 답에 쓰이지 않으면서 요금만 올립니다. 필요한 문단만 잘라 넣는 것만으로 절반 이하로 줄어드는 경우가 많습니다.

두 번째는 대화를 작업 단위로 끊어 여는 것입니다. 앞의 기록이 매번 다시 실려 가니, 주제가 바뀌면 새로 여는 편이 훨씬 쌉니다. 넘어갈 내용이 있으면 결론만 짧게 정리해서 옮기면 됩니다.

세 번째는 반복되는 앞부분을 캐싱하는 것입니다. 매 요청마다 똑같이 들어가는 지침이나 참고 문서가 있다면, 그 부분을 저장해 두고 재사용하는 기능이 있습니다. 같은 조각을 다시 계산하지 않으니 비용이 크게 떨어집니다. 특히 여러 단계를 도는 자동화 작업에서 차이가 큽니다.

네 번째는 출력 길이를 직접 정해 주는 것입니다. 출력이 비싸다는 점을 기억하면, 세 문장으로나 표로 다섯 줄만 같은 조건 한 줄이 생각보다 큰 절약이 됩니다. 길게 받아서 사람이 다시 읽는 시간도 같이 줄어듭니다.

덧붙이면 모델을 작업에 맞춰 고르는 것도 방법입니다. 분류나 추출처럼 단순한 일에는 값싼 모델을 쓰고, 어려운 추론에만 비싼 모델을 쓰면 토큰 수가 같아도 청구서는 확 달라집니다.

마지막으로 쓰기 전에 재 보는 습관을 권합니다. 붙일 문서가 몇 토큰인지 미리 확인해 두면, 한 번에 넣을지 나눠 넣을지 판단이 쉬워집니다. 어림잡아 한글 1,000자를 700~1,000 토큰쯤으로 보고 시작하면 크게 어긋나지 않습니다.

같이 보면 좋은 글

• 컨텍스트 윈도우란? — 이 토큰이 한 번에 몇 개까지 들어가는지
• 프롬프트 캐싱이란? — 같은 토큰을 다시 안 보내는 법
• AI 에이전트 메모리란? — 창 밖으로 나간 내용을 따로 보관하는 쪽
• AI·테크 용어사전 전체 목록

다음 용어는 파인튜닝을 정리하겠습니다. 매번 긴 지침을 토큰으로 실어 보내는 대신 모델 자체에 습관을 들이는 방식인데, 토큰 이야기를 알고 보면 왜 그런 선택지가 생겼는지가 훨씬 잘 읽힙니다.