'토큰 비용 제로' 로컬 AI 에이전트, 진짜 공짜일까 — 클라우드와 손익분기 계산 (2026년 8월)

"클라우드 API 없이, 토큰 비용 제로로 도는 AI 에이전트" — Perplexity가 Nvidia와 함께 온디바이스 에이전트를 예고했고(보도, 공식 발표 전 단계), 라즈베리파이에 Qwen을 올려 차량용 로컬 AI를 만든 사례(CarWatch)가 개발자 커뮤니티에서 확산 중이다. "내 기기에서 도니까 API 요금이 0"이라는 메시지다.

본지는 요금을 따지는 곳이라, 이 "제로"부터 검산한다. 결론부터: "토큰 비용 제로"는 사실이지만, 그건 청구서가 사라졌다는 뜻이 아니라 통화가 바뀌었다는 뜻이다. 토큰당 과금 대신 전기와 하드웨어로 낸다. 그리고 그 환산가를 우리 검증 단가와 나란히 놓으면, 로컬이 이기는 구간은 생각보다 좁다.

클라우드로 같은 일을 하면 월 얼마인가

기준 워크로드를 하나 잡자 — 항상 켜져 있는 개인 에이전트, 월 5,000만 입력 + 1,000만 출력 토큰(가볍게 상시 도는 수준). 본지가 매일 관측하는 단가로 계산한 월 비용이다(세전 USD).

같은 워크로드인데 모델 선택에 따라 $18에서 $500까지 28배가 벌어진다(모델 선택 = 비용). 이 표가 로컬이 상대해야 할 "적수"다.

로컬의 진짜 청구서 — 전기와 하드웨어

로컬은 토큰 과금이 0이지만 두 가지가 든다.

• 전기. 추론용 기기를 24시간 돌리면, 평균 250W짜리 소형 GPU 리그 기준 월 약 180kWh를 쓴다. 한국 주택용 요금(누진 구간 ₩150280/kWh)으로 **대략 월 ₩35만(≈$2035)**. 라즈베리파이(수 W)라면 전기는 거의 무시할 수준이지만, 그 위에선 아주 작은 모델(13B)만 실용 속도로 돈다.
• 하드웨어(일시금). 쓸 만한 로컬 모델(1432B급)을 실용 속도로 돌리려면 GPU 리그가 **$1,0003,000**. 이걸 24개월로 나누면 월 $40~125가 얹힌다.

즉 로컬의 실효 월 비용은 전기 $2035 + 하드웨어 상각 $40125 ≈ 월 $60~160(중간 사양 기준). 라즈베리파이처럼 초저전력·초저가로 내려가면 이 숫자는 작아지지만, 그 대가로 돌릴 수 있는 모델 체급이 급락한다.

손익분기 — 로컬이 이기는 좁은 교집합

위 두 표를 겹치면 답이 나온다.

• 가벼운 클라우드 티어로 충분하다면, 로컬은 애초에 질 수밖에 없다. DeepSeek v4-flash로 월 $17.6면 되는 일을, 로컬은 전기값만 $20~35 든다 — 하드웨어를 공짜로 받아도 전기에서 이미 진다. 저가 클라우드 모델이 감당하는 워크로드에서 "로컬이 싸다"는 거의 성립하지 않는다.
• 비싼 모델을 꼭 써야 하고, 로컬 모델이 그 일을 해낼 때만 로컬이 이긴다. 월 클라우드 비용이 Opus 5급 $500까지 올라가면, $2,000짜리 리그도 약 4개월이면 본전이다. 단 전제는 "로컬 오픈모델이 Opus 5가 하던 품질을 대체할 수 있다" — 대개 이게 안 된다. 프런티어 품질이 필요한 일을 14~32B 로컬 모델로 내리면, 아낀 돈보다 잃는 품질이 크다.

정리하면 로컬이 이기는 건 ① 클라우드에서 비싼 체급을 써야 하고 ② 그 일을 로컬 모델로도 충분히 해내는 두 조건의 교집합뿐이다. 그 밖에선 싼 클라우드 티어가 전기값보다 싸다.

로컬이 정말 값을 하는 경우 — 비용 밖의 이유

역설적으로, 로컬을 고르는 진짜 이유는 대개 비용이 아니다.

• 데이터가 기기 밖으로 안 나간다. 민감 데이터·오프라인 환경·규제. "토큰 비용 0"보다 이게 로컬의 본질적 가치다.
• 토큰 폭증 워크로드의 상한 제거. 한국어 토큰세나 대량 반복 호출로 클라우드 청구가 예측 불가하게 튀는 경우, 로컬은 전기라는 고정비로 상한을 건다.
• 좁고 반복적인 과제. CarWatch처럼 정해진 작은 일(차량 명령 인식)이면 작은 로컬 모델로 충분하고, 라즈베리파이급에서 전기도 거의 안 든다 — 이 구간은 로컬이 명백히 유리하다.

결정하려는 사람에게

• "토큰 비용 제로"를 "공짜"로 읽지 마라. 전기 $20~35/월 + 하드웨어가 새 청구서다. 가벼운 워크로드면 저가 클라우드가 그 전기값보다 싸다.
• 먼저 클라우드 견적부터 뽑아라. 위 표로 자기 워크로드의 월 비용을 계산해(API 예산 짜는 법), 그게 저가 티어($2075)면 로컬은 비용상 답이 아니다. 플래그십($200500)이어야만 로컬이 경제성 논의에 든다.
• 품질 대체 가능성을 냉정하게. 로컬이 이기는 조건은 "비싼 모델을 로컬로 대체"인데, 그 대체가 되는지가 관건이다. 안 되면 저가 클라우드(무료 스텔스 모델도 등장)가 더 현실적이다.
• 비용이 아니라 프라이버시·오프라인·고정비 상한이 목적이면, 손익분기와 무관하게 로컬이 맞다 — 그땐 "제로"라는 마케팅이 아니라 그 이유로 고르는 게 정직하다.

참고

• 소재: Perplexity·Nvidia 온디바이스 에이전트 예고(2026-08, 공식 발표 전 보도 단계) 및 CarWatch(라즈베리파이 Qwen) 커뮤니티 확산. "토큰 비용 제로"는 발표·홍보 문구이며, 하드웨어·전기·성능 비용은 별개다 — 본지가 통제·검증한 것은 클라우드 API 단가뿐이다.
• API 단가: 각 사 공식 요금 문서 2026-08 본지 관측(DeepSeek·OpenAI·Gemini·Anthropic). 세전 USD/1M 토큰. DeepSeek은 오프피크 기준(피크 2배).
• 전기·하드웨어 수치는 소형 추론 리그(250W·$1,000~3,000)와 한국 주택용 누진요금을 근거로 한 개략 추정이며, 실제는 기기·모델 체급·요금 구간에 따라 크게 달라진다. 로컬 모델의 품질이 특정 클라우드 모델을 대체하는지는 본지 범위 밖이다.