9 지능에도 몸과 비용이 있습니다
토큰 흐름 뒤의 서버·에너지·캐시 비용
9.1 답변은 공중에서 만들어지지 않습니다
AI 화면은 가볍습니다. 문장을 입력하면 곧바로 답이 나타납니다. 그러나 그 짧은 순간 뒤에는 데이터센터, 전력, 냉각, 메모리, 네트워크, 반도체 패키지와 긴 소프트웨어 경로가 있습니다. 지능이 소프트웨어처럼 보일수록 그 물리적 몸은 더 쉽게 잊힙니다.
기존 원고는 이 비용을 ‘토큰의 열역학’이라고 불렀습니다. 표현은 비유지만 질문은 현실적입니다. 왜 같은 일을 여러 번 시키면 비용이 급격히 늘고, 긴 문맥이 시스템을 느리게 하며, 작은 인터페이스의 병목이 전체 성능을 제한할까요?
경계의 질문
AI의 능력을 평가할 때 답의 품질만 보고, 그 답을 가능하게 한 에너지와 인프라를 보지 않아도 될까요?
9.2 긴 대화는 기억이 아니라 재구성일 수 있습니다
사람은 대화의 모든 문장을 매번 처음부터 다시 읽지 않습니다. 중요한 의미를 압축해 기억합니다. 많은 AI 시스템은 호출할 때마다 긴 지침과 대화 일부를 다시 처리합니다. 화면에서는 하나의 연속된 관계처럼 보이지만 계산 측면에서는 문맥을 반복해 재구성하는 과정일 수 있습니다.
비용을 줄이는 첫 번째 방법은 답을 무조건 짧게 만드는 것이 아닙니다. 반복해서 보내는 지침을 안정시키고, 재사용할 문맥을 분리하며, 오래된 대화를 검증된 요약과 외부 기록으로 옮기는 일입니다.
이 원칙은 특정 공급자의 가격표가 바뀌어도 남습니다. 같은 상태를 계속 새로 만들지 말라.
9.3 캐시는 기억이 아니라 약속입니다
컴퓨팅에서 캐시는 자주 쓰는 정보를 가까운 곳에 두는 장치입니다. 그러나 캐시는 공짜 기억이 아닙니다. 무엇이 같다고 볼지, 얼마나 오래 유지할지, 바뀐 지침을 언제 폐기할지 정해야 합니다.
AI 작업에서도 접두부와 도구 정의가 자주 바뀌면 캐시의 이점이 사라집니다. 반대로 잘못된 문맥을 오래 재사용하면 오류가 지속될 수 있습니다. 좋은 캐시 전략은 속도만이 아니라 갱신 조건을 포함합니다.
9.4 실패한 재시도가 열을 만듭니다
도구 호출이 실패했을 때 이유를 구분하지 않고 다시 시도하면 같은 오류가 반복됩니다. 권한 부족, 잘못된 입력, 일시적 네트워크 장애는 서로 다른 대응이 필요합니다. 무조건 재시도하는 시스템은 실패를 복구하지 않고 비용으로 증폭합니다.
따라서 에이전트에는 멈춤 규칙이 필요합니다. 같은 오류가 몇 번 반복되면 전략을 바꾸고, 사람이 확인할 수 있도록 상태를 보존하며, 이미 실행한 행동을 되돌릴 수 있어야 합니다.
9.5 계면에서 신호가 사라집니다
디스플레이 소자, 반도체 패키지, 신경망은 서로 다른 시스템입니다. 하지만 경계에서 신호가 약해지거나 반사되고, 지연이 누적되며, 한 부분의 병목이 전체 성능을 제한한다는 공통 질문을 가집니다.
디스플레이에서는 재료와 층의 전기적 성질이 맞지 않으면 전하가 계면에 쌓이고 응답이 늦어질 수 있습니다. 신경망에서는 층을 통과하는 신호와 기울기가 지나치게 커지거나 작아지면 학습이 불안정해집니다. AI 반도체에서는 연산기 자체보다 메모리와 패키지 사이의 데이터 이동이 병목이 되기도 합니다.
이를 모두 ‘같은 방정식’이라고 부르면 과장입니다. 다만 좋은 구성요소를 연결한다고 좋은 시스템이 자동으로 되지는 않는다는 공학적 교훈은 공유합니다.
9.6 비유가 깨지는 지점
토큰은 열에너지의 단위가 아니고, 신경망의 층은 물질 계면과 동일하지 않습니다. 물리학의 식을 비용이나 조직에 그대로 대입할 수 없습니다. 이 장에서 열과 임피던스는 계산의 낭비와 경계의 병목을 보게 하는 사고 도구입니다.
실제 환경 영향을 평가하려면 데이터센터의 전력원, 하드웨어 효율, 사용률, 냉각 방식과 수명주기를 측정해야 합니다. 짧은 답이 항상 친환경적이라는 단순한 결론도 피해야 합니다. 한 번의 정확한 긴 계산이 여러 번의 실패한 짧은 계산보다 나을 수 있습니다.
9.7 효율은 절약이 아니라 설계입니다
좋은 AI 시스템은 질문을 덜 받는 시스템이 아닙니다. 같은 문맥을 불필요하게 다시 만들지 않고, 실패를 분류해 멈추며, 작은 모델과 큰 모델의 역할을 나누고, 결과를 다시 사용할 수 있게 기록하는 시스템입니다.
지능에도 몸이 있습니다. 그 몸을 보지 않으면 우리는 편리함의 비용을 다른 사람과 미래의 환경에 넘기게 됩니다.