클로드코드 토큰 초고속 소진 현상, 사용자 불만 폭발 - 바이라인네트워크

앤트로픽의 클로드코드에서 나타난 캐시 오류가 지속되며 개발자의 토큰 소비 우려가 커지고 있다. 지난달부터 앤트로픽 클로드코드의 캐시가 무효화되면서 토큰 비용이 폭증하는 상황이다. 지난 2월 앤트로픽이 프롬프트 캐시의 유효기간(TTL)을 1시간으로 늘렸다가 3월초 5분으로 다시 줄였다는 버그 보고서가 제출됐다. 사용자인 션 스완슨은 깃허브에 제출한 보고서에서 1월11일부터 4월11일까지 클로드코드 세션 JSONL 파일을 분석한 결과 앤트로픽이 3월초경 프롬프트 캐시 TTL 기본값을 1시간에서 5분으로 조용히 변경한 것으로 보인다며, 5분 TTL로 인해 캐시 생성 비용이 20~32% 증가했으며, 이전에는 할당량 제한에 도달한 적 없었던 구독 사용자의 할당량 사용이 급증했다고 적었다. 클로드코드의 캐시 유지시간이 짧아지면 작업을 처리하기 위한 토큰을 더 많이 사용하게 된다. 프롬프트 캐시는 이전에 사용된 프롬프트를 저장했다가 재사용해 토큰 소비를 줄이는 방법이다. 캐시 활용이 줄면 오랜 시간 작업하는 세션이나 고맥락 작업에서 토큰을 더 많이 소비한다. 앤트로픽의 재러드 섬너는 션 스완슨의 보고서에 단 답변에서 “3월6일 변경 사항으로 클로드 코드 비용이 오히려 더 저렴해질 수 있다”며 “모든 요청에 1시간의 TTL을 적용하면 비용이 오히려 더 비싸질 수 있다”고 반박했다. 그는 “비용표는 5분 티어 쓰기 작업이 1시간 TTL에서 저렴한 캐시 읽기 작업 으로 전환된다고 가정하지만, 이는 캐시된 콘텐츠에 1시간 이내에 다시 액세스하는 경우에만 해당된다”며 “클로드코드의 요청 중 상당 부분은 캐시된 컨텍스트가 한 번만 사용되고 다시 방문되지 않는 일회성 호출로, 이러한 요청에 1시간 TTL을 적용하면 후속 읽기 작업 없이 비용이 더 많이 드는 쓰기 작업이 되는데, 1시간 쓰기 작업은 5분 쓰기 작업보다 비용이 더 많이 들기 때문”이라고 설명했다. 그는 “모든 곳에서 1시간은 저렴한 기준선이 아니고, 5분 TTL을 사용하는 요청의 경우 오히려 비용이 더 많이 들게 된다”며 “클로드 코드 팀은 프롬프트 캐시 최적화에 지속적으로 많은 투자를 하고 있고, 요청 유형별로 서로 다른 TTL 계층이 적용되며, 클라이언트는 요청별로 이를 선택한다”고 덧붙였다. 그는 “3월 6일 변경 사항은 이러한 지속적인 최적화 작업의 일환이며, 회귀 오류가 아니”라며 “전반적으로 모든 요청 유형에 걸쳐 사용자의 총 비용을 절감하는 효과를 가져온다”고 강조했다. 앤트로픽의 클로드코드 개발자인 보리스 체르니는 토큰 비용 증가에 대해 클로드 오푸스 4.6이나 소넷 4.6 모델의 유료 요금제에서 제공되는 100만 토큰 규모 컨텍스트 창이 캐시 미스 발생 시 비용을 증가시킨다고 설명했다. 그는 “클로드코드는 메인 에이전트에 1시간 프롬프트 캐시 창을 사용하므로, 컴퓨터를 1시간 이상 방치한 후 오래된 세션을 계속 사용하면 전체 캐시 미스가 자주 발생한다”며 “이를 개선하기 위해 몇가지 사용자 경험 개선사항을 적용했으며, 기본값을 400k 컨텍스트로 설정하고 원하는 경우 컨텍스트 창을 최대 1M까지 구성하는 옵션을 검토중”이라고 밝혔다. 이어 “많은 스킬을 동시에 사용하거나, 다수의 에이전트나 백그라운드 자동활르 실행하는 경우 토큰 사용량이 급증할 수 있다”며 “많은 사용자가 이런 문제를 겪었으며, 이런 상황을 사용자에게 더 쉽게 알릴 수 있도록 사용자 경험을 개선하고 주요 작업 아닌 작업을 더 지능적으로 차단, 정리, 예약해 예상치 못한 토큰 사용을 방지하는 작업을 진행중”이라고 덧붙였다. 클로드코드의 사용자의 토큰 소진 현상 보고는 한달 넘게 계속되고 있다. 한 사용자는 클로드 프로 맥스 5배의 토큰 할당량을 1시간30분만에 소진했다고 보고했다. 그는 질의응답, 간단한 개발작업 같은 일반적 사용량인데 1시간 30분만에 할당량을 소진했고, 이전에 5시간동안 다중 파일 구현, 그래피파이 파이프라인, 다중 에이전트 생성 등 집중적인 개발작업을 수행해 할당량을 소진했는데, 이렇게 빠른 소진은 예상치 못했다고 지적했다. 또 다른 사용자는 프로 버전으로 클로드코드를 사용할 때 5시간 동안 프롬프트를 2회밖에 받지 못했다고 보고했다. 엔터프라이즈 팀 구독제 사용자는 3월 오푸스를 하루종일 사용해도 훌륭한 결과를 얻을 수 있었지만, 3월마지막주부터 4월까지 세션 사용 2시간도 안돼 사고의 굴레에 빠지는 현상이 반복되고 있다고 지적했다. 이는 최근 AMD AI 책임자인 스텔라 로렌조의 지적과도 같다. 클로드 사용자들은 앤트로픽의 용량 제한과 사용량에 대한 투명성 부족을 지적하면서, 비용을 사용자에게 전가하고 있다고 주장하고 있다. 앤트로픽의 개발자 불만을 잠재울 명확한 해명이 요구되고 있다. 글. 바이라인네트워크 [email protected]