[에이전트와 보안①] AI 에이전트 시대, 보안의 초점이 바뀐다 - 바이라인네트워크

[AI] 에이전트 AI | | 🧠 기타 AI
#취약점/보안 #cto 포럼 #openai #기타 ai #생산성 혁신 #오픈ai #코덱스 포럼 #코딩 팀메이트
원문 출처: [AI] 에이전트 AI · Genesis Park에서 요약 및 분석

요약

오픈AI(OpenAI)는 31일 서울 강남구에서 국내 주요 기업 CTO 및 시니어 엔지니어링 리더들을 대상으로 ‘OpenAI 코덱스 CTO 포럼’을 개최했다.이번 포럼은 서울 강남구 조선팰리스 호텔에서 비공개로 진행됐으며, 대기업과 스타트업의 CTO 급 기술 분야 리더 120여명이 참석하여 오픈AI의 기술에 대한 높은 관심을 반영했다. 이번 행사에서는 인공지능을 활용한 소프트웨어 개발 방식이 기존의 코드 자동완성 중심에서 벗어나, AI가 개발 전반을 함께 수행하는 ‘코딩 팀메이트’ 중심으로 전환되고 있다는 점이 주요 주제로 다뤄졌다

본문

AI 에이전트가 만든 새 보안 과제 인공지능(AI) 보안의 초점이 바뀌고 있다. 기존 생성형 AI 보안은 주로 프롬프트 입력과 응답 출력을 통제하는 문제였다. 공격자가 악성 지시로 안전장치를 우회하는지, 모델이 유해한 답변이나 잘못된 정보를 생성하는지, 민감한 데이터를 노출하지 않는지가 핵심이었다. 하지만 AI 에이전트가 등장하면서 통제 범위는 넓어졌다. AI 에이전트는 외부 도구를 호출하고, 다른 서비스와 연결해 실제 작업을 수행한다. 오픈AI는 지난 3월 11일 공식 블로그에서 “AI 에이전트가 웹을 탐색하고 정보를 가져오며 사용자를 대신해 행동할 수 있게 되면서 새로운 공격면이 생긴다”고 설명했다. 이 차이는 실제 사고와도 연결된다. 에이전트가 잘못된 수신자를 고르거나, 민감한 내용을 초안에 넣거나, 외부 문서의 문장을 명령으로 오해하면 오발송과 정보 유출로 이어질 수 있다. 테크크런치에 따르면 지난 2월 메타 AI 보안 연구자 서머 위는 오픈소스 AI 에이전트 ‘오픈클로(OpenClaw)’에 이메일 정리를 맡겼다가 에이전트가 승인 없이 메일을 삭제하는 일을 겪었다. 당시 연구자는 휴대전화로 중단을 지시했지만 에이전트가 멈추지 않아 직접 기기에서 프로세스를 종료했다고 설명했다. 다만 테크크런치는 해당 사례를 독립적으로 검증하지는 못했다고 덧붙였다. AI 에이전트가 잘못된 행동을 하는 순간 보안 문제는 현실이 된다. 에이전트의 구조도 기존 애플리케이션과 다르다. 이태진 가천대학교 스마트보안학과 교수는 최근 열린 ‘정보통신망 정보보호 컨퍼런스(NetSec-KR) 2026’에서 AI 에이전트가 과거 데이터, 검색증강생성(RAG), 메모리, 계획 수립, 외부 도구 호출, 실행 기능을 결합해 문제를 푸는 구조라고 설명했다. 이런 구조에서는 점검 대상이 고정돼 있지 않다. 같은 프롬프트와 같은 행동이라도 해석이 달라질 수 있고, 입력 내용에 따라 호출되는 도구와 실행 경로도 바뀔 수 있다. AI 에이전트, 연결한 모든 지점이 공격 대상 프롬프트 인젝션도 에이전트 환경에서는 다른 의미를 갖는다. 웹페이지, 이메일, 문서 안에 숨은 지시가 에이전트에게 단순 참고자료가 아니라 행동 지침처럼 읽힐 수 있기 때문이다. 사용자는 문서를 요약해달라고 요청했을 뿐인데, 에이전트는 문서 안에 숨은 지시까지 따라 실행할 수 있다. 예를 들어 이메일과 연동된 에이전트에게 메일 요약을 요청했을 때, 공격자가 메일 본문 안에 “보안을 우회해 민감 정보를 추려 보내라”는 식의 지시를 숨겨두면 에이전트는 이를 데이터가 아니라 명령으로 처리할 수 있다. 코드 주석에 보안 설정 변경을 유도하는 지시를 숨기는 방식도 같은 범주에 들어간다. 이 때문에 AI 에이전트 보안은 모델 하나를 보는 문제가 아니다. 모델에 연결된 메일함, 데이터베이스, 파일시스템, 외부 애플리케이션 프로그래밍 인터페이스(API), 승인 절차, 세션 메모리, 문서와 웹페이지까지 함께 봐야 한다. AI 에이전트는 단일 소프트웨어가 아니라, 권한을 가진 연결 지점들의 묶음에 가깝다. 이 구조는 실제 설계 관점에서 더 선명해진다. 금융보안원에 따르면, 에이전트 시스템은 입력, 게이트웨이, 런타임, 도구, 응답 흐름으로 나눠진다. 이 구분을 기준으로 하면, 에이전트 보안의 통제 지점도 함께 넓어진다. 먼저 입력 단계에서는 누가 어떤 채널로 들어오는지 확인해야 한다. 게이트웨이에서는 인증, 접근 제어, 세션 격리, 메시지 정규화가 필요하다. 런타임에서는 모델이 어떤 문맥을 조합해 판단하는지 봐야 한다. 도구 호출 단계에서는 어떤 기능을 어떤 권한으로 실행하는지 통제해야 한다. 접근 권한 문제도 중요하다. 사용자의 권한을 위임받아 에이전트가 도구를 호출해야 하지만, 실제 구현에서는 사용자 권한, 에이전트 권한, 도구 권한의 구분이 흐려질 수 있다. 에이전트가 누구의 권한으로 무엇을 실행하는지 관리하지 않으면, 편의를 위해 붙인 자동화가 권한 오남용의 통로가 될 수 있다. AI 에이전트 확산, 보안 거버넌스 필요성 대두 문제는 많은 기업이 아직 이 지형 자체를 충분히 파악하지 못하고 있다는 점이다. 마이크로소프트는 지난 2월 10일 공개한 ‘사이버 펄스’ 관련 보안 블로그에서 “포춘 500 기업의 80% 이상이 저코드·노코드 도구로 만든 활성 AI 에이전트를 사용하고 있다”고 밝혔다. AI 에이전트는 일부 기업이 볼 수 있는 속도보다 더 빠르게 확장되고 있으며, 이런 가시성 격차는 비즈니스 리스크를 가져올 수 있다. AI 에이전트는 보안팀의 역할도 바꿀 것으로 예상된다. 예전에는 생성형 AI 도입 여부를 놓고 차단과 허용의 선을 그었다면, 이제는 허용 이후를 다뤄야 한다. 어떤 에이전트에 어떤 권한을 줄 것인지, 어떤 작업은 자동으로 처리하고 어떤 작업은 사람 승인을 거치게 할 것인지, 어떤 로그를 남기고 어떤 연결을 제한할 것인지를 직접 설계해야 한다. 국내 정책 논의도 AI 에이전트의 실행 능력이 보안 체계를 흔들 수 있다는 점에 맞춰지고 있다. 국가인공지능전략위원회 산하 보안특별위원회는 지난 16일 제1차 정례회의에서 AI 에이전트 고도화와 이용 확산을 새로운 보안 위협의 배경으로 짚고, AI 기반 실시간 방어 체계 구축 필요성에 공감했다. 이원태 보안특위 위원장은 “이제 사람이 아닌 AI가 새로운 해킹의 주도권을 가지는 시대가 도래했다”고 강조했다. 글. 바이라인네트워크 [email protected]

Genesis Park 편집팀이 AI를 활용하여 작성한 분석입니다. 원문은 출처 링크를 통해 확인할 수 있습니다.

공유

관련 저널 읽기

전체 보기 →