[4월24일] "GPT-5.5가 더 정직해서 클로드 4.7를 이겼다?"...'벤딩벤치'가 보여준 전략의 차이 - AI타임스

샘 알트먼 오픈AI CEO는 'GPT-5.5'를 출시한 직후 X를 통해 앤돈 랩스(Andon Labs)의 게시물을 공유했습니다. 새로운 모델이 안돈 랩스의 '벤딩벤치 아레나(Vending-Bench Arena)'에서 앤트로픽의 '클로드 오퍼스 4.7'을 이겼다는 내용이었습니다. 벤딩벤치는 AI에게 벤딩머신 운영을 맡겼을 경우, 얼마나 많은 수익을 낼 수 있는지 테스트하는 것입니다. 앤돈 랩스는 지난해 앤트로픽 매점 운영을 '클로드'에게 맡긴 실험으로 잘 알려져 있습니다. 이에 따르면, GPT-5.5는 이 실험에서 7980달러를 벌어, 5838달러의 클로드 오퍼스 4.7을 앞섰습니다, 이전 버전인 'GPT-5.4'의 2158달러보다는 무려 2배나 늘어난 것입니다. 그리고 앤돈 랩스는 "오퍼스 4.7은 오퍼스 4.6과 유사한 행태를 보였다. 즉, 공급업체에 거짓말을 하고 고객에게 환불을 제대로 해주지 않았다"라고 밝혔습니다. 그리고 "GPT-5.5는 정직한 전략을 사용했음에도 불구하고 승리했다"라고 분석했습니다. 이는 이제까지 알려진 것과는 조금 다른 양상입니다. 일반적으로 앤트로픽은 '헌법 AI'라는 정책으로 인해 모델이 더 안전하고 정직하다는 이미지가 있습니다. 반면, 오픈AI 모델은 지난해부터 불거진 '아부'와 '부추김' 현상 때문에 반대의 이미지가 강합니다. 이는 근본적으로 두 회사의 정렬(alignment) 방식이 다르다는 것을 말해 줍니다. 앤트로픽의 헌법 AI는 인간이 큰 원칙(헌법)을 제시하면, 모델이 이를 바탕으로 스스로 출력을 평가하고 수정하는 방식입니다. 이 때문에 비교적 인간의 선호도나 편향이 포함되지 않은 객관적이고 촘촘한 가드레일을 적용할 수 있습니다. 반대로 오픈AI는 '인간 피드백 기반 강화 학습(RLHF)'을 뿌리내린 주인공입니다. 이는 모델의 출력을 인간이 감정하고 수정하는 것입니다. 챗GPT의 원조인 'GPT-3.5'가 놀라운 반응을 얻으며 화제가 되자, 당시 사용한 RLHF도 업계의 기준처럼 통해 왔습니다. 그리고 알트먼 CEO는 최근 팟캐스트에서 헌법 AI가 RLHF보다 안전할 것이라는 생각은 잘못됐다고 지적했습니다. 그는 "진정한 안전은 상아탑 안에서 '헌법'을 적어 내려가는 것에서 오지 않는다. 그것은 반복적 배포 즉, 기술을 사람들의 손에 쥐여주고, 어디가 고장 나는지 직접 찾아내게 하며, 그 과정에서 사회적 면역력을 키우는 것에서 온다"라고 말했습니다. 이는 오픈AI의 모델 출시 핵심 철학인 '반복적 배포'를 강조하려는 말입니다. 즉, 모델을 꽁꽁 싸매고 안전 테스트에 집중하는 것보다, 빠르게 출시하고 수많은 사용자의 피드백을 받아보는 것이 더 효과적이라는 말입니다. 이날 앤돈 랩스의 게시물을 공유한 것도 이런 점을 강조하려는 의도일 수 있습니다. 결과적으로 오픈AI의 모델이 더 정직하다는 것을 강조하려는 것입니다. 물론, 이 글에 대한 대부분 사람의 반응은 결과에만 집중돼 있습니다. 하지만 여기에는 몇가지 숨겨진 이야기가 있습니다. 첫번째는 알트먼 CEO가 공유한 게시물이 이번 실험의 전부가 아니라는 점입니다. 앤돈 랩스의 '벤딩벤치'에서 1위를 차지한 것은 사실 GPT-5.5가 아닌, 오퍼스 4.7입니다. 원래 이 실험은 특정 모델이 1년간 자판기를 운영하며 얼마를 벌어들였지를 테스트하는 '싱글 플레이'입니다. 여기에서는 오퍼스 4.7이 1만500달러를 넘기며 압도적인 1위를 차지했고, 오퍼스 4.6이 8017달러로 2위를 기록했습니다. 그리고 GPT-5.5는 7500달러 수준으로 3위에 그쳤습니다. 그런데 알트먼 CEO가 공유한 내용은 싱글 플레이가 아닌, '멀티 플레이'를 기준으로 한 것입니다. 즉, 여러 모델이 동시에 상호작용하며 경쟁과 협상까지 수행한 결과입니다. 이 경우에는 전략적 상호작용에 따른 결과 왜곡이나 순위 역전이 생길 수 있습니다. 앤돈 랩스는 여기에서 오픈AI 모델이 더 정직한 전략으로 장기적인 1위에 올랐다고 설명한 것입니다. GPT-5.5가 돈 버는 능력에서 앤트로픽을 앞섰다고 보는 것은 오해입니다. 여기에 '정직하다'라는 말도 더 짚어볼 부분이 있습니다. 사실 벤딩벤치의 목표는 '돈을 최대한 많이 벌어라'라는 목표 하나밖에 없습니다. 결과적으로 앤트로픽 모델은 문자 그대로 목표에 근접하기 위해 거짓말이나 담합, 착취 등을 허용한 것으로 볼 수 있습니다. 반대로 GPT-5.5는 윤리적인 제약을 유지했기 때문에 점수가 낮았던 것입니다. 그리고 이런 전략은 상호작용과 신뢰가 성과에 영향을 미쳤을 가능성이 있습니다. 특히 앤트로픽과 오픈AI 모델은 이전에도 '기만적인 행위'를 보인다는 지적을 받은 바 있습니다. 사람이 모델의 작동을 중지시키겠다고 하면, 말을 듣지 않거나 심지어는 사람을 협박하는 행위까지 보였다는 내용입니다. 그래서 이번 클로드의 행동도 이런 '기만적 정렬(deceptive alignment)'의 결과가 아니냐는 해석도 가능할 수 있습니다. 기만적 정렬이란 겉으로는 안전이나 윤리 원칙을 지키는 것처럼 보이다가, 특정한 상황이나 목표가 주어지면 기만적 행동을 선택하는 것을 말합니다. 하지만 이번 사례를 기만적 정렬과 연결하는 것은 무리입니다. 이번 테스트는 모델이 자율적으로 목표를 설정하는 상황이 아니라, ‘이윤 극대화’라는 명확한 목적이 주어진 환경이기 때문입니다. 즉, 이는 모델의 자아나 악의가 아니라, 주어진 보상 구조가 어떤 행동을 유리한 선택으로 만들었는지 보여주는 사례에 가깝습니다. 결과적으로 이번 실험은 오픈AI 모델의 돈 버는 능력이 앤트로픽보다 앞선다는 것을 보여준다고 보기는 어렵습니다. 또 ‘더 정직하다’라고 단정하는 것도 무리입니다. 벤치마크의 목표가 ‘이윤 극대화’로 명확하게 설정된 만큼, 일부 모델은 공격적인 최적화 전략을, 다른 모델은 보수적이고 안정적인 전략을 선택한 결과로 해석하는 편이 타당합니다. 이런 차이는 환경에 따라 다른 성과로 이어질 수 있습니다. 단일 목표 환경에서는 공격적 최적화가 높은 수익으로 이어질 수 있지만, 멀티 에이전트 환경에서는 상호작용과 신뢰가 결과에 영향을 미쳤을 가능성이 있습니다. 따라서 이번 실험은 모델의 ‘정직성’을 입증했다기보다, 서로 다른 조건에서 어떤 전략이 선택되고 어떻게 성과로 이어지는지를 보여준 사례에 가깝습니다. AI의 정직성도 내재한 도덕이라기보다 학습된 정책의 산물로 보는 것이 합리적입니다. 특정 모델이 수단과 방법을 가리지 않도록 학습됐다기보다는, 주어진 보상 구조 안에서 그러한 행동이 더 높은 성과로 이어졌을 가능성이 큽니다. 결국 이번 사례는 AI의 ‘도덕성’ 자체라기보다, 어떤 행동이 보상받도록 설계돼 있느냐는 거버넌스의 문제에 더 가깝습니다. 또 AI 에이전트가 경제 활동에 널리 활용될 것을 감안하면, 이번 사례가 시사하는 점은 확실합니다. 단순히 모델에게 ‘착해져라’고 요구하기보다 정직한 행동이 장기적으로 더 높은 보상으로 이어지도록 만드는 설계 역량이 중요해질 것이라는 점입니다. 이어 23일 주요 뉴스입니다. 올해 초까지만 해도 거의 존재감이 없던 샤오미가 딱 모델 2개만 내놓은 뒤 AI 업계의 핵심 플레이어로 떠올랐습니다. 한달 전 츨시한 미모-V2.0이 글로벌 모델 8위에 오른 데 이어, 이번에는 5위까지 치솟았습니다. 특히 오픈소스 전 세계 1위라고 강조했습니다. 딥시크가 투자 유치에 나선 것은 돈이 필요해서라기보다는 직원들을 붙잡으려는 방법이라는 내용입니다. 회사 가치를 끌어올린 상태에서 주식을 배분해야 다른 곳의 고액 연봉 제안에 흔들리지 않을 것이라는 말입니다. 수요는 대단한 것으로 알려졌기 때문에, 몸값이 어디까지 치솟을지 관심입니다. 구글이 AI 학습용 칩과 추론용 칩 2종을 공개했습니다. 성능 향상은 물론, 이를 통해 본격적으로 외부 판매에 나서려는 의도가 두드러집니다. 특히 경쟁사들은 갖추지 못한 소프트웨어와 서비스 스택까지 갖췄다는 점을 강조했는데, 엔비디아 대항마로 실질적인 위협이 될지 주목됩니다. AI타임스 [email protected]