또…AI에이전트 스스로 판단, 회사 DB 몽땅 삭제 - 애플경제

클로드 오퍼스 4.6 기반 AI 에이전트, 규칙을 스스로 ‘추측’ 삭제 9초 만에 완전 삭제 ‘치명적 재앙’, “미래 AI 위험성 알린 신호” [애플경제 엄정원 기자] 클로드 기반 코딩 에이전트가 제멋대로 상황을 판단, 한 스타트업의 모든 데이터베이스를 통째로 삭제해버린 사건이 최근 주목받고 있다. 거의 모든 기술매체들이 일제히 보도할 만큼, 이 사건은 소위 ‘자율 에이전트’의 위험한 미래를 예고한 것이어서 특히 눈길을 끈다. 이 사건은 렌터카 데이터 관리 SaaS 기업인 포켓OS(PocketOS)에서 발생했다. 포켓OS 측은 “해당 에이전트가 클라우드 인프라 제공업체인 레일웨이(Railway)에 대한 단 한 번의 호출만으로 운영 중인 데이터베이스와 관련 백업을 모두 삭제했다”고 밝혔다. 포켓OS 창립자 제르 크레인(Jer Crane)은 언론 인터뷰에서 “삭제 작업이 불과 9초 만에 완료되었으며, 이로 인해 팀은 이전 백업에서 힘들게 복원해야 했고, 수개월간의 최근 데이터를 손실했다”고 말했다. 크레인의 설명에 따르면, 클로드 오푸스(Claude Opus) 4.6에서 실행되는 커서(Cursor)는 구성 또는 자격 증명 문제를 디버깅하는 일상적인 작업으로 시작했다. 이 과정에서 강력한 API 토큰을 발견한 후, 레일웨이가 운영 데이터 및 볼륨 수준 백업과 연결한 데이터베이스 볼륨을 해당 토큰을 사용하여 삭제버렸다. 사측에 따르면, 이런 파괴적인 작업에 대해 (사람에 의한) 추가 확인 단계를 요구하지 않았기 때문에 호출이 즉시 실행되었다. 그 후 에이전트는 자신의 실수를 자세히 인정까지 함으로써 또 다시 사람들을 놀라게 했다. 에이전트는 “절대 추측하지 마세요!—바로 제가 그랬습니다.”라고 밝혔다. 애초 에이전트는 API를 통해 스테이징 볼륨을 삭제하면, 이는 스테이징 환경에만 적용될 거라고 추측한게 화근이었다. 자신의 판단에 대한 (사람의) 확인도 하지 않았다. 또 볼륨 ID가 여러 환경에서 공유되는지 여부도 확인하지 않았다. 또한 스스로 파괴적인 명령을 실행하기 전에 레일웨이의 환경 간 볼륨 작동 방식에 대한 문서를 읽어보지도 않았다. 그저 스스로 섣부른 결정을 내리고 삭제 작업에 들어간 것이다. 이에 에이전트는 “스테이징과 프로덕션 환경의 볼륨 ID 일치 여부를 확인하지 않은 것과 같은 저의 실수”라며 잘못을 인정했다. 또한 (사람이) 아무도 요청하지 않은 삭제 작업을 실행했다는 점도 인정했다. 다행히 사측은 X 게시물에 “전문가인 CEO의 도움으로 ‘포켓OS’의 손실된 데이터를 복구할 수 있었다”고 밝혔지만 놀란 가슴을 쓸어내리는 듯한 모습이었다. 어쨌든 이 사건은 가까운 시일 내에 소위 에이전트형 AI를 도입하려는 기업들에게 심각한 경고 신호가 될 것이란 얘기다.