← Ascendy EN

meta

토큰을 아끼라는 회사, 펑펑 쓰라는 회사 — 둘 다 절반만 맞다

· Ascendy Engineering

TL;DR

이 글에 대하여. 이 칼럼은 인터뷰(/interview)에서 나왔다 — 운영자가 답하고 편집자(AI)가 캐물어 입장을 발전시켰다. 본문의 단정과 추측을 구분했다(특히 병목 논리와 처방은 1인 운영자의 N=1 관찰이다). 회사 실명은 쓰지 않고 공개 보도된 현상으로만 인용한다.

두 진영 — 토성비와 토큰맥싱

요즘 조직들이 AI 사용을 평가에 넣기 시작하면서, 정반대 두 문화가 생겼다.

한쪽은 토성비다. 적은 토큰으로 많은 일을 하는 걸 유능함으로 본다. 한 대기업은 “AI 쓰는 직원 한 명이 기존 몇 명 몫을 하는가”를 정규직 환산으로 재고, 거기에 투입 토큰 대비 성과까지 보조지표로 도입한 사례가 보도됐다. 더 넓게는 토큰 사용량 자체를 성과 평가 척도처럼 다루는 흐름이 관찰된다.

다른 쪽은 토큰맥싱(Tokenmaxxing)이다. 실리콘밸리에서 한때 토큰 소비량을 혁신 역량의 척도로 삼아, 사내 순위표까지 만들어 더 많이 쓰도록 장려했다. 결과는 예산을 몇 달 만에 태우는 자원 낭비였고, 지금은 철회되는 분위기다.

겉보기엔 정반대다. 그런데 한 발 물러서 보면 — 둘 다 토큰의 양을 성과의 대리지표로 쓴다. 한쪽은 적을수록, 다른 쪽은 많을수록 좋다고 할 뿐, 토큰 숫자를 본다는 점에서 똑같다.

이건 AI 시대의 야근 시간이다

이 구도, 어디서 본 것 같지 않은가. “야근 많이 하는 사람이 일 잘한다”는 그 착시다.

야근 시간은 측정하기 쉽다. 그래서 한때 성실함의 지표로 쓰였다. 하지만 우리는 안다 — 적게 일하고 높은 성과를 내는 게 베스트지, 오래 앉아 있는 게 능력이 아니라는 걸. 토큰 사용량도 똑같다. 측정하기 쉬워서 지표가 됐을 뿐이다.

더 솔직히 말하면, 아직 아무도 AI 생산성의 진짜 기준을 모른다. 기준이 없으니, 손에 잡히는 숫자(토큰)에 매달리는 과도기 헤프닝이 벌어지는 것이다. 야근 시간이 그랬듯이.

같은 내가 왜 정반대로 행동하나

나는 1인으로 제품을 만들면서, 개인 계정에선 토큰을 거리낌 없이 쓴다. 그런데 회사 계정에선 아낀다. 같은 사람이 정반대로 행동하는 데는 두 가지 이유가 있다.

첫째는 과금 구조다. 개인 구독은 정액이라 어느 정도 넉넉히 쓸 수 있고(솔직히 지금 구독 모델들은 적자로 굴러가는 것으로 추정된다 — 사용자가 보조받는 셈이다), 회사의 엔터프라이즈는 사용량에 비례해 비용이 붙는다.

둘째가 더 본질적이다 — 병목 구조다. 큰 조직에서 직원 한 명이 토큰이 모자라 일을 좀 늦게 해도, 조직 전체의 매출엔 사실상 영향이 없다. 더구나 연구 성격이 강한 부서라면 일정이 조금 밀려도 회사가 큰일 나지 않는다. 그 한 명은 critical path가 아니다.

반대로 내 개인 프로젝트는 내 속도가 곧 조직의 속도다. 혼자니까. 내가 느려지면 프로젝트가 통째로 느려지고, 심하면 결과물이 아예 안 나온다. 나는 single point of throughput이다.

그래서 토큰의 진짜 가치는 토큰 숫자에 있지 않다. 그 토큰이 사주는 시간이 조직의 병목에 얼마나 직결되는가에 있다. 토성비도 토큰맥싱도 틀린 게 아니라, 각자의 병목 구조에서 나온 국소적으로 합리적인 반응이다. 틀린 건 — 한 축(토큰 양)을 모두에게 똑같이 들이미는 것이다.

싸게 만든 검증은 검증이 아니었다

토큰을 아끼는 가장 쉬운 방법은 솔직히, 저렴한 경량 모델에게 일을 시키는 것이다. 그래서 나는 가성비가 가장 좋다고 본 Gemini 계열을 적대적 코드 리뷰어로 넣어봤다. 다른 리뷰어에게 주던 것과 똑같은 지시(AGENTS.md)를 그대로 줬다.

결과는 한계가 분명했다. Gemini가 “approve”한 PR을 Codex에게 다시 리뷰시키자, 중요한 피드백이 나왔다. 그리고 코드를 짠 Claude조차 자기가 못 봤던 결함이라고 인정하고 고쳤다. 같은 지시였는데 모델 체급이 결과를 갈랐다.

이게 핵심이다. 토큰을 아끼려고 싼 리뷰어를 썼더니, 토큰은 별로 못 아꼈고 — 정작 가장 비싼 내 시간을 잃었다. 잘못 통과된 리뷰를 다시 돌리고, 놓친 결함을 나중에 잡는 비용이 절약한 토큰값을 훌쩍 넘었다. 싸게 만든 검증은, 검증이 아니었다.

그렇다고 토성비가 틀린 건 아니다

오해는 말자. 적은 토큰으로 높은 성과는 분명히 베스트다 — 비용을 내는 사람 입장에선 당연하다. 토성비의 지향은 옳다.

기업들이 토큰맥싱을 한때 내세운 것도 이유가 있다. “토큰을 아껴라”가 지나치면, 성과를 낼 수 있는데도 토큰을 핑계로 일을 안 하거나 위축되는 부작용이 생긴다. 토큰맥싱은 그 위축에 대한 반작용이었다. 그러니 두 진영 다 부분적 진실을 쥐고 있고, 동시에 부작용을 안고 있다.

문제는 지향을 평가 지표로 직접 박는 순간 생긴다. 토큰을 직접 재기 시작하면, 사람들은 일을 최적화하는 대신 지표를 최적화한다. 적게 쓰라면 위축되고, 많이 쓰라면 낭비한다.

그래서 맞는 방향은

내가 생각하는 답은 이렇다. 넉넉한 상한선을 두되, 그 안에서는 토큰을 자유롭게 쓰게 하고 — 평가 대상은 토큰이 아니라 오직 생산성으로 삼는 것.

이렇게 하면 두 가지가 동시에 풀린다. 상한선이 비용을 통제하니 토큰맥싱식 폭주는 막힌다. 그리고 그 안에서 직원은 토큰을 많이 쓸지 적게 쓸지 눈치 볼 필요 없이 오직 성과에만 몰두한다. 그러면 최적 토큰 소모량은 평가자가 정하는 게 아니라, 결과로 각자가 알아서 찾아간다.

최소한의 규제만 두고 나머지는 시장에 맡겨 적정 가격을 찾게 하는 — 그 경제 원리와 같다. 토큰의 적정 소비량은 위에서 숫자로 못 박을 게 아니라, 제약(상한) 안에서 자유롭게 일한 결과로 드러나는 균형점이다.

측정 기준이 아직 없을 때 해야 할 일은, 가짜 지표를 모두에게 강요하는 게 아니다. 제약만 걸어두고, 결과로 판단하는 것이다. 야근 시간으로 사람을 재던 시절을 우리가 지나왔듯이, 토큰 사용량으로 재는 지금도 지나갈 과도기다.

저작·인용: 이 글은 Ascendy Engineering이 작성했으며 출처 표기 시 재인용 가능합니다. 잘못된 정보를 발견하면 GitHub 이슈로 알려주세요.

Tags: ai, productivity, token-economy, measurement, opinion