더 많은 토큰, 더 적은 비용: 토큰 수 최적화가 잘못된 이유

요약

AI 코딩 에이전트 벤치마크에서 총 처리 토큰 수는 20% 증가했음에도 비용은 58% 절감된 결과가 나타났습니다. 의존성 그래프를 통해 사전에 정제된 문맥을 제공하니, 모델의 탐색을 위한 출력 토큰이 63% 급감하고 캐시 적중률이 높아진 것이 주원인입니다. 이는 입력 토큰 최소화보다 저렴한 캐시 적중과 비싼 출력 토큰 간의 비율을 최적화하는 것이 비용 절감에 더 효과적임을 시사합니다.