AI 에이전트의 자기 개선 라이브러리 ‘오토에이전트’ 등장 - AI타임스

AI 에이전트 개발에서 반복적으로 수행되던 ‘프롬프트 튜닝’ 작업을 AI가 대신 수행하는 새로운 접근법이 등장했다. AI 스타트업 서드레이어는 5일(현지시간) 에이전트 성능 개선 과정을 자동화하는 오픈소스 라이브러리 ‘오토에이전트(AutoAgent)’를 공개했다. 그동안 AI 엔지니어들은 시스템 프롬프트를 수정하고, 도구를 추가하며, 테스트를 반복하는 방식으로 에이전트 성능을 개선해 왔다. 이 과정은 수십번의 반복을 요구하는 노동 집약적인 작업으로, ‘수작업 최적화’에 가까웠다. 그러나 오토에이전트는 이러한 과정을 AI가 스스로 수행하도록 설계됐다. 오토에이전트의 핵심 개념은 ‘메타 에이전트(meta-agent)’다. 사용자가 특정 작업과 평가 기준을 설정하면, 메타 에이전트가 실제 작업을 수행하는 ‘태스크 에이전트(task agent)’를 자동으로 개선한다. 이 과정에서 메타 에이전트는 시스템 프롬프트, 도구 구성, 라우팅 로직, 실행 전략 등 에이전트의 전체 구조(harness)를 수정하고, 성능을 평가한 뒤 개선된 경우만 채택하는 방식으로 반복 학습한다. 이러한 방식은 머신러닝에서 사용되는 ‘제안-학습-평가’ 반복 구조와 유사하다. 다만 모델의 가중치나 하이퍼파라미터를 조정하는 대신, 에이전트의 동작 방식을 결정하는 외부 구조를 최적화한다는 점이 차별화된다. 개발자는 단지 목표와 방향을 정의할 뿐, 실제 개선 과정은 AI가 스스로 수행한다. 실제 성능도 주목할 만하다. 오토에이전트는 24시간 동안 자율적으로 최적화를 수행한 결과, 스프레드시트 작업 평가인 '스프레드시트벤치'에서 96.5% 점수로 1위를 기록했고, 터미널 작업 평가인 '터미널벤치'에서도 최고 수준의 성과를 달성했다. 기존 상위 모델들이 모두 인간의 수작업 튜닝을 거친 것과 달리, 오토에이전트는 전 과정을 자동으로 수행했다는 점에서 의미가 크다. 이 시스템은 단순히 반복 작업을 자동화하는 수준을 넘어, ‘모델 공감(model empathy)’이라는 새로운 개념도 제시했다. 메타 에이전트가 태스크 에이전트의 추론 과정을 직접 분석하면서, 모델이 어디서 실패했는지를 스스로 이해하고 개선한다는 것이다. 특히 동일한 모델 계열 간 조합에서 더 높은 성능이 나타났는데, 이는 AI가 ‘자신과 유사한 사고방식’을 더 잘 이해하기 때문으로 분석됐다. 또 수천개의 병렬 실험 환경을 활용해 빠르게 최적화를 수행한다. 각 실험 결과는 로그로 기록되며, 메타 에이전트는 이를 바탕으로 다음 시도를 결정한다. 단순 점수뿐 아니라 실패 원인까지 분석하는 ‘추론 트레이스’가 중요한 역할을 하며, 이를 통해 정밀한 개선이 가능해진다는 설명이다. 한계도 존재한다. 에이전트가 특정 평가 기준에 과도하게 최적화되는 ‘오버피팅’ 문제가 발생할 수 있으며, 메타 에이전트의 품질에 따라 결과가 크게 달라진다. 또 모든 개선이 실제 환경에서도 유효한지는 추가 검증이 필요하다. 하지만, 오토에이전트는 에이전트 개발의 패러다임 전환을 예고한다는 평을 받았다. 기업들이 수백 개의 서로 다른 업무용 AI 에이전트를 필요로 하는 상황에서, 이를 모두 수작업으로 최적화하는 것은 사실상 불가능하다. 오토에이전트와 같은 시스템은 이러한 문제를 해결하는 핵심 인프라로 자리 잡을 가능성이 크다. 전문가들은 이번 기술을 “AI가 자신을 개선하는 초기 단계”로 평가했다. 앞으로는 작업에 따라 필요한 도구와 맥락을 실시간으로 구성하는 ‘동적 에이전트’로 발전할 가능성도 제기됐다. 오토에이전트의 관련 코드는 깃허브에서 다운로드할 수 있다. 박찬 기자 [email protected]