AI 거버넌스가 뒤처지는 5가지 이유와 대응 방안 - itworld.co.kr

팔머는 “이런 일이 일어날 수 있다는 것은 이미 알고 있다. 진짜 질문은 일이 벌어지기 전에 사람에게 그런 상황을 다룰 역량을 왜 갖추게 하지 않았느냐는 것”이라고 말했다. 팔머는 성과 압박이 근본 원인이라고 분석했다. 직원이 더 빠르게 움직이고 목표를 맞추기 위해 AI를 쓰는 방식은 뇌물부터 데이터 오남용까지 모든 컴플라이언스 실패에서 반복돼 온 패턴이라고 설명이다. 생성형 AI에 대한 전면 금지는 통하지 않는다. 팔머는 “책임 있는 사용을 금지하면, 사람은 책임 없는 방식으로 몰래, 거버넌스가 불가능한 방식으로 사용하게 된다”라고 경고했다. 대응 방안. 인식 교육에서 행동 학습으로 전환해야 한다. 팔머는 압박 상황에서 멈추고 리스크를 평가한 뒤 더 나은 행동을 선택하도록 훈련하는 시나리오 기반 연습을 ‘도덕적 근육 기억’이라고 불렀다. 규제기관과 감사기관은 실제로 직면한 리스크에 맞춰 적절한 대상이 적절한 교육을 받았다는 증거를 찾는다. 획일적 AI 리터러시는 경고 신호다. 감사기관이 들어오면 자신감만으로는 부족한 이유 마지막 간극은 조직이 거버넌스가 작동한다는 사실을 입증하라는 요구를 받을 때 드러난다. 컴플라이언스 서비스 업체 셸먼(Schellman)의 ISO 및 AI 프랙티스 책임자 대니 마님보는 같은 실패 패턴을 반복해서 본다고 말했다. 마님보는 “기업은 정책 보유를 거버넌스로 착각한다. 책임 있는 AI 원칙은 실제 의사결정에 영향을 주지 못하면 의미가 없다”라고 강조했다. 감사는 단순한 요구로 시작할 수 있다. 리스크 기반 AI 의사결정이 문서로 남아 있고 그 의사결정이 결과를 바꾼 사례를 보여 달라는 식이다. 성숙한 거버넌스는 배포 지연, 솔루션 업체 거부, 기능 제한 같은 ‘지문’을 남긴다. 미성숙한 거버넌스는 두루뭉술한 확언만 만든다. 마님보는 “가장 비싼 거버넌스 작업은 배포 이후에 하려는 작업”이라고 경고하며, 시스템이 라이브된 뒤에는 데이터 리니지, 책임 소재, 의도된 목적을 되돌리기는 극도로 어렵다고 덧붙였다. 대응 방안. AI 거버넌스를 컴플라이언스 과제가 아니라 관리 시스템으로 다뤄야 한다. ISO/IEC 42001 같은 표준은 리스크 관리, 변경 통제, 모니터링, 내부 감사를 연속 루프로 연결할 때만 작동한다. 거버넌스는 문서를 만들어낼 때가 아니라 사업 의사결정을 바꿀 때 작동한다. 책임 있는 AI 격차 해소 5건의 인터뷰 전반에서 한 가지 주제가 반복됐다. 책임 있는 AI 격차는 주로 기술 실패가 아니라 거버넌스 시기의 실패다. 기업은 어제의 시스템을 기준으로 통제를 설계하는 동안 AI는 이미 오늘의 의사결정을 좌우하고 있다. 전문가들은 CIO가 책임 있는 AI를 미래 상태 프로그램으로 규정하는 프레임을 멈추고 운영 위생 문제로 다뤄야 한다고 지적하며, 책임 있는 AI가 윤리위원회보다 신원 관리나 재무 통제에 더 가깝다고 말한다. 왓슨은 가시성이 첫 번째 비타협 단계라고 강조했다. 기업이 AI가 의사결정에 영향을 주는 지점을 열거하지 못하면, 특히 SaaS 도구를 통해 영향을 주는 지점을 파악하지 못하면 이미 노출된 상태라는 분석이다. 왓슨은 “보이지 않는 것은 거버넌스할 수 없다”라며, 많은 기업이 AI의 영향을 받는 워크플로우에 대한 기본 인벤토리조차 없다고 지적했다. 펭귄 AI의 버트는 데이터 관점에서 같은 요지를 강조하며, 인벤토리는 플랫폼에서 ‘컨텍스트 속 시스템’으로 옮겨가야 한다고 주장했다. 버트는 HR 소프트웨어에 내장된 AI 기능과 마케팅 자동화에 내장된 같은 기능은 리스크가 같지 않다며, 두 기능을 동일하게 취급하는 접근이 거버넌스 착시라고 강조했다. 카울은 외부 거버넌스도 같은 원리가 적용된다고 말했다. 기업이 데이터가 실제로 어디로 흐르는지 매핑하지 않은 채 일반적 확언을 받아들이면 솔루션 업체 AI의 거버넌스가 무너진다. 카울은 팀이 AI 하위 처리자를 추적하도록 강제하기만 해도 임원진이 수용한 줄 몰랐던 리스크가 드러난다고 말했다. CIO가 간극을 해소하려면 다음과 같이 해야 한다. 거버넌스를 일이 이뤄지는 곳에, 일이 벌어지기 전에 내장해야 한다. 모델에서 사용 방식과 입력으로 초점을 옮겨야 한다. 솔루션 업체 AI를 1급 리스크 도메인으로 다뤄야 한다. 금지 조치 대신 행동 훈련으로 대체해야 한다. 의사결정이 어떻게 이뤄지는지 설명을 제공하는 거버넌스를 요구해야 한다. 이런 일을 해내는 기업은 규제 리스크를 피하는 데 그치지 않고 더 빠르게, 더 큰 자신감으로 움직일 수 있다. 팔머는 이 모든 것 아래에 깔린 인간 계층에 주목한다. 압박을 받으면 사람이 속도를 늦출 것이라고 가정하면, 거버넌스 프레임워크는 붕괴한다는 지적이다. 팔머는 “압박은 사라지지 않는다. 압박을 전제로 훈련해야 한다”라고 조언했다. 또한, 기업이 그런 준비를 하지 않으면 직원이 AI를 위험한 방식으로 즉흥적으로 쓰는 일을 놀라워할 이유가 없다고 덧붙였다. 마님보는 단호한 리트머스 테스트를 제시했다. 거버넌스가 배포를 지연시키거나 솔루션 업체가 거절하거나, 기능을 제한한 적이 없다면, 실무에서 거버넌스가 존재하지 않을 가능성이 크다. 마님보는 “거버넌스는 지문을 남겨야 한다”라며, 그렇지 않으면 거버넌스는 열망과 구분되지 않는다고 경고했다. 전문가들의 의견을 종합하면, 책임 있는 AI 격차를 해소하는 데 완벽한 예견이나 포괄적 정책은 필요하지 않다. 더 이른 개입과 더 명확한 책임성이 필요하다. AI 사용이 아직 파편화돼 있고 비공식적인 지금 실행하면, 올바른 행태를 만들 기회가 생긴다. 하지만, 늦게 움직이면 더 이상 통제할 수 없는 시스템과 더 이상 설명할 수 없는 리스크를 떠안게 된다. 그 시점부터 거버넌스는 선택지가 아니다. 거버넌스는 피해 통제가 된다. [email protected]