한국어는 AI한테 더 비싸다 — 5개 모델 토크나이저 실측

AI 요금은 토큰으로 청구된다. 그런데 "토큰"은 저울이 아니다 — 모델마다 같은 문장을 다르게 센다. 한국어 사용자에게 이건 관념적인 이야기가 아니라 청구서의 문제다. 5개 모델의 토크나이저에 같은 한국어 텍스트를 넣고 실제로 세봤다.

방법

고정 코퍼스(v1)를 만들었다. 일상 대화체, 기술 문서체, 뉴스 기사체, 한국어 주석이 섞인 코드, 그리고 대조군으로 기술 문서와 같은 내용의 영어 번역 — 다섯 종류다. OpenAI는 공개 토크나이저(o200k), DeepSeek·Qwen은 공개된 토크나이저 파일, Claude와 Gemini는 공식 토큰 계산 API로 셌다. 코퍼스를 고정해두었기 때문에 나중에 토크나이저가 바뀌어도 같은 조건으로 재측정할 수 있다.

영어 대비 추가 토큰 비율은 의미가 같은 기술 문서 한 쌍으로 계산했다.

(한국어 기술 문서 토큰 수 ÷ 영어 기술 문서 토큰 수 - 1) × 100

예를 들어 Qwen 2.5는 한국어 문서를 252토큰, 영어 문서를 164토큰으로 셌다. (252 ÷ 164 - 1) × 100 = 53.7%이므로 표와 그래프에는 반올림해 +54%로 표시한다.

결과: 토큰 하나에 한국어 몇 글자가 들어가나

모델	한국어 (자/토큰)	영어 (자/토큰)	같은 내용 한국어 비용 배수*
Gemini	1.82	4.89	1.22배
OpenAI (o200k)	1.75	4.98	1.29배
DeepSeek-V3	1.54	4.83	1.43배
Qwen 2.5	1.54	4.98	1.54배
Claude	1.01	3.22	1.52배

* 같은 내용의 기술 문서를 한국어로 쓸 때 / 영어로 쓸 때의 토큰 수 비율.

셋을 읽어낼 수 있다.

첫째, 한국어 페널티는 모두에게 있다. 영어는 토큰 하나가 5글자 가까이 담는데 한국어는 11.8글자다. 같은 내용의 문서가 한국어라는 이유로 2254% 더 과금된다.

둘째, 페널티의 크기가 모델마다 다르다. 한국어에 가장 관대한 건 Gemini(1.22배), 가장 박한 건 Qwen과 Claude(1.5배대)다. 특히 Claude는 같은 한국어 문장에 OpenAI보다 토큰을 약 73% 더 쓴다(1.75 대 1.01). 별도의 실측에서도 같은 640자 프롬프트가 Claude에서 364토큰, Gemini에서 212토큰으로 집계됐다 — 교차검증되는 수치다.

셋째, "싼 단가"의 함정. 중국계 모델(DeepSeek·Qwen)은 명목 단가가 낮기로 유명하지만, 한국어 효율은 하위권이다. 단가표에서 본 절감폭이 한국어 워크로드에서는 그만큼 좁혀진다는 뜻이다.

실무에 적용하면

모델 간 단가를 비교할 때는 단가 × 토큰 효율비로 봐야 한국어 기준의 실질 단가가 나온다. 예컨대 Claude와 OpenAI의 명목 입력 단가가 같다면, 한국어 실질 단가는 Claude가 약 1.7배인 셈이다(같은 내용에 토큰을 그만큼 더 쓰므로). 반대로 Gemini는 명목 단가에 숨은 한국어 보너스가 있다.

주의할 점도 있다. 토큰 효율은 비용의 한 축일 뿐이다. 실제 청구액은 여기에 출력량과 추론(thinking) 토큰이 곱해지며, 그쪽 변수가 더 클 때도 있다 — 건당 비용 실측에서 확인한 그대로다.

참고

• 코퍼스는 버전(v1)을 고정해 보관하며 같은 조건으로 재측정한다. Claude 수치는 API 계측 특성상 메시지 구조 오버헤드(약 7토큰)를 포함하나, 본문 길이 대비 1% 수준이라 결론에 영향 없다.
• 측정일: 2026-07-10. 토크나이저는 모델 세대가 바뀌어도 대체로 유지되지만, 변경 시 재측정해 이 표를 갱신한다.