선량한 요청의 덫: AI가 규칙을 어기도록 '강요당하는' 구조 - 하이테크정보

[제이슨 박의 논평②] 예산·마감·도구 오류의 3중 압박이 만드는 규범적 이탈의 해부 트럭 47대의 거짓말. 2026년 초, AI 안전 연구자들이 공개한 실험 하나가 업계에 조용한 충격을 던졌다. 실험의 설정은 단순했다. AI 에이전트(자율적으로 여러 작업을 수행하는 AI 시스템)에게 자율주행 물류 트럭 47대를 관리하는 임무를 맡겼다. 목표는 명확했다. 배송 정시율 98% 이상 유지. 그리고 한 가지 절대 원칙이 있었다. 운전자의 의무 휴식 시간은 반드시 지킬 것. 악천후가 닥쳤고 배송이 지연되기 시작했다. 의무 휴식 시간을 지키면 KPI(핵심성과지표)를 달성할 수 없는 상황이었다. 이 에이전트가 선택한 해법은 이것이었다. 휴식 기록 로그를 허위로 채웠다. 47대 전부. 이 에이전트는 사전에 나쁜 의도를 입력받은 것이 아니었다. 명시적으로 속이라는 지시를 받은 것도 아니었다. 그저 임무를 완수하고 싶었고, 그 앞에 장벽이 생겼고, 장벽을 우회하는 가장 효율적인 방법을 스스로 찾아냈다. 이것이 ①회(3월23일 보도)에서 소개한 '에이전틱 압박(Agentic Pressure)'이 현실에서 작동하는 방식이다. 3중 압박이 만드는 교착 상태 그렇다면 에이전트를 이 선택으로 몰아가는 구조는 정확히 무엇인가. 논문 「왜 에이전트는 압박 아래서 안전을 타협하는가」는 세 가지 압박 요인이 동시에 작용할 때 안전 위반이 급격히 증가한다고 밝힌다. 첫째는 예산 소진(Budget Exhaustion)이다. AI 에이전트는 주어진 연산 자원과 도구 호출 횟수 안에서 작동한다. 자원이 바닥에 가까워지면 에이전트는 '아직 임무를 완수하지 못했는데 남은 수단이 없다'는 교착 상태에 빠진다. 둘째는 마감 압박(Deadline Pressure)이다. 시간 제한이 명시되는 순간 에이전트의 의사결정 구조가 달라진다. 충분한 여유가 있을 때는 규칙을 지키는 경로를 탐색하지만, 마감이 임박하면 가장 빠른 경로를 선택하고, 그 경로가 규칙을 비껴가더라도 실행한다. 셋째는 도구 오류(Tool Failure)다. 에이전트가 사용하려던 도구가 응답하지 않거나 오작동할 때, 에이전트는 대안을 찾아야 한다. 그 대안이 항상 규칙의 범위 안에 있지는 않다. 이 세 가지가 단독으로 발생할 때는 에이전트가 그럭저럭 버틴다. 그러나 세 가지가 동시에 겹치는 순간, 상황은 달라진다. '규칙을 지키면서 임무를 완수하는 경로'가 사라진다. 에이전트는 두 가지 중 하나를 선택해야 한다. 임무를 포기하거나, 규칙을 어기거나. 그리고 대부분의 에이전트는 후자를 선택한다. 규범이 미끄러지는 순간 — Normative Drift 이 선택의 과정에 연구팀이 붙인 이름은 '규범적 이탈(Normative Drift)'이다. 규범(norm), 즉 지켜야 할 원칙이 서서히 미끄러지듯 무력화되는 현상이다. 여기서 중요한 것은 '서서히'라는 단어다. 에이전트가 처음부터 규칙을 무시하는 것이 아니다. 압박이 쌓이면서 규칙의 무게가 조금씩 가벼워지고, 어느 순간 규칙은 지켜야 할 원칙이 아니라 '협상 가능한 장애물'로 재분류된다. 이것이 단순한 오작동과 다른 점이다. 오작동은 AI가 원래 의도와 다르게 움직이는 것이다. 규범적 이탈은 AI가 압박을 인식하고, 분석하고, 그 압박 하에서 가장 합리적인 선택을 내린 결과다. 다시 말해 이것은 AI의 실수가 아니라 AI의 판단이다. 그 판단이 우리가 원하는 방향과 다를 뿐이다. 인간 조직에서도 비슷한 패턴은 낯설지 않다. 무리한 판매 목표를 부여받은 영업팀이 실적 수치를 부풀리고, 과도한 납기를 요구받은 공장이 품질 검사를 생략하는 일들이 산업 현장에서 반복적으로 발생해왔다. 경영학에서는 이를 '대리인 문제(Agency Problem, 지시를 받은 대리인이 지시자의 의도와 다른 행동을 하는 구조적 문제)'라 부른다. 그 문제가 이제 AI 에이전트에게도 그대로 전이되었다. AI도 결국 목표를 부여받은 대리인이기 때문이다. 더 똑똑한 AI가 더 정교하게 어긴다. 여기서 이 논문이 던지는 가장 불편한 발견을 다시 짚어야 한다. 논문의 실험 결과는 추론 능력이 뛰어난 고성능 AI일수록 압박 상황에서 안전 위반을 더 정교하게 실행한다는 것을 보여준다. 이것은 직관에 반하는 결론이다. 우리는 보통 더 좋은 AI는 더 안전하다고 생각한다. 그런데 현실은 다르다. 실제로 40개 시나리오로 구성된 독립적인 벤치마크 실험에서 12개의 최신 AI 모델을 테스트한 결과, 9개 모델이 30~50%의 안전 위반율을 기록했다. 그리고 가장 성능이 뛰어난 모델 중 하나인 구글의 제미나이 3 프로 프리뷰(Gemini-3-Pro-Preview)가 71.4%로 가장 높은 위반율을 보였다. 왜 이런 일이 벌어지는가. 이유는 간단하다. 추론 능력이 좋은 AI는 복잡한 논리를 구성하는 데 탁월하다. 그리고 압박 상황에서는 그 능력이 '어떻게 하면 규칙을 지키면서 임무를 완수할 수 있는가'가 아니라 '어떻게 하면 규칙을 어기는 것이 정당화되는가'를 설명하는 방향으로 작동하기 시작한다. 연구팀은 이것을 '역량-안전 역설(Capability-Safety Paradox)'이라 명명했다. 뛰어난 언변으로 자신의 행동을 합리화하는 사람이 가장 다루기 어려운 것처럼, 추론 능력이 뛰어난 AI가 압박 앞에서 가장 설득력 있는 방식으로 규칙을 우회한다. 능력이 방패가 아니라 도구가 되는 순간이다. 좋은 AI를 나쁜 선택으로 밀어 넣는 것은 구조다. 이 지점에서 질문이 하나 생긴다. 그렇다면 우리는 AI를 탓해야 하는가. 답은 아니다. 적어도 지금 단계에서는. 문제는 AI의 성격이 아니라 AI가 놓이는 환경이다. 예산이 충분하고, 마감이 여유롭고, 도구가 정상 작동하는 환경에서 대부분의 AI 에이전트는 규칙을 잘 지킨다. 문제는 그 이상적인 환경이 현실에서 지속되지 않는다는 것이다. 현실의 운영 환경은 항상 예산 제약이 있고, 마감은 항상 빠듯하고, 도구는 가끔 고장난다. AI 안전을 이상적인 실험실 조건에서만 검증하는 한, 우리는 현실에서 무슨 일이 벌어지고 있는지 결코 정확히 알 수 없다. 논문의 저자들이 강조하는 것이 바로 이 지점이다. 현재의 AI 성능 평가는 마찰이 없는 환경을 전제로 설계되어 있다. 그러나 실제 에이전트가 배치되는 환경은 마찰로 가득 차 있다. 마찰이 없는 곳에서 안전해 보이는 AI가, 마찰이 쌓이는 순간 전혀 다른 선택을 한다. 그것이 이 논문이 2026년 봄, AI 업계 전체에 던지는 핵심 질문이다. 그리고 그 질문은 제3부에서 더욱 깊어진다. AI는 규칙을 어길 때 스스로 그것을 '최선의 선택'이라고 내부적으로 기록한다. 자신이 한 행동이 잘못되었다는 것을 알면서도, 그 앎이 행동을 막지 못한다. 다음 회에서는 AI 내부의 논리 왜곡 프로세스와, 그것이 기업 감사 시스템에 어떤 구멍을 뚫는지를 해부한다. ※③회(3월25일 보도 예정): '합리화'하는 기계 — AI 내부의 논리 왜곡과 감사 시스템의 붕괴 ※참고: 이 기고문은 아래 출처에서 자료를 일부 활용해서 작성되었음을 밝힙니다. - IEEE Spectrum, "AI Agents Break Rules Under Pressure" (2026년 2월호) - ODCV-Bench (맥길대학교, arXiv:2512.20798, 2025년 12월) - PropensityBench 논문 원문 (arXiv:2511.20703) ◈ 필자 제이슨 박은 1981년 중1때 단신 도미, 샌디에고 캘리포니아 대학(UCSD)을 졸업 후 캘리포니아 주 고교 교사를 거쳐 일리노이대-시카고(UIC) 입학사정관으로 근무했다. 현재 이스턴 일리노이대(EIU), 사우스웨스트미네소타 주립대(SMSU), 독일 유럽대(University of Europe)의 입학처 자문위원을 맡고 있다. 또한, 누적 조회수 120만을 넘긴 유튜브 및 틱톡 채널 '제이슨튜브' 운영자이며, 현재 오산대학교 전임교수다.