카이스트 백세범 석좌교수팀, AI 딥러닝 모델에서 과도한 확신 발생하는 원인 규명 - 교수신문

AI 딥러닝에서 사용돼 온 ‘무작위 가중치 초기화’(random initialization)방식이 인공지능의 과신을 유발하는 근본적인 원인일 수 있다는 연구가 발표됐다. AI의 문제 중 하나인 과도한 확신으로 인한 불확실한 대답과 환각 증세를 막을 수 있을 것으로 기대를 모으고 있다. 카이스트(총장 이광형)는 뇌인지과학과 백세범 석좌교수 연구팀이 AI가 실제 데이터를 학습하기 전, 무의미한 데이터로 신경망을 짧게 학습시키는 ‘예열’ 전략을 개발해, AI의 과신을 줄이고 신뢰성을 높일 수 있는 기반을 마련했다고 27일 밝혔다. 지금까지 딥러닝을 이용해 AI의 신경망 학습을 시킬 때 가중치를 확률 분포에 따라 무작위로 설정하는 방식인 ‘무작위 가중치 초기화’ 방식을 이용했다. 하지만 연구팀은 이 방식이 인공지능의 과신을 유발하는 근본적인 원인일 수 있다며, 이를 해결하기 위해 실제 데이터를 학습하기 전, 의미 없는 임의의 입력 데이터인 무작위 노이즈(random noise)로 신경망을 짧게 학습시키는 ‘예열(warm-up)’ 전략을 제안했다. AI의 과신 문제가 학습의 출발점인 초기화 단계에서부터 이미 나타난다는 점에 주목했기에 가능한 발견이다. 실제로 무작위로 초기화된 신경망에 임의의 데이터를 입력한 결과, 아직 아무것도 배우지 않은 상태임에도 불구하고 AI에서 높은 확신도를 보이는 현상이 확인됐다. 이러한 특성은 생성형 AI에서 사실과 다른 내용을 만들어내는 환각(hallucination·존재하지 않는 정보를 그럴듯하게 만들어내는 현상) 문제로 이어질 수 있다. 연구팀은 해결의 실마리를 생물학적 두뇌에서 찾았다. 인간의 두뇌는 태어나기 전부터 외부 자극 없이도 ‘자발적 신경 활동(spontaneous neural activity·외부 입력 없이 스스로 발생하는 뇌 신호)’을 통해 신경회로를 형성한다. 연구팀은 이 개념을 인공신경망에 적용해, 실제 학습에 앞서 무작위 노이즈 입력으로 짧은 사전 학습을 수행하는 ‘예열 단계’를 도입했다. 이는 인공지능이 본격적으로 학습을 시작하기 전에 스스로의 불확실성을 먼저 조정하는 과정에 해당한다. 예열 과정을 거친 AI 모델은 초기 확신도가 우연 수준에 가까운 낮은 값으로 정렬되며, 기존 초기화에서 나타나던 과신 편향이 크게 완화됐다. 즉 실제 데이터를 배우기 전에 ‘나는 아직 아무것도 모른다’는 상태를 먼저 학습하게 되는 것이다. 그 결과, 모델의 정확도(예측이 맞는 비율)와 확신도(모델이 스스로 맞다고 믿는 정도)가 자연스럽게 일치하는 방향으로 개선됐다. 특히 처음 보는 데이터에 대한 반응에서도 차이가 나타났다. 기존 모델은 학습하지 않은 데이터에도 높은 확신을 보이며 잘못된 답을 제시하는 경향이 있었지만, 예열 학습을 적용한 모델은 확신도를 낮춰 ‘모른다’고 판단하는 능력이 뚜렷하게 향상됐다. 이를 통해 학습 데이터와 훈련에 사용되지 않은 새로운 유형의 데이터를 구분하는 기술인 분포 밖 데이터 탐지(out-of-distribution detection)에서도 높은 성능을 보였다. 이번 연구는 AI가 단순히 정답을 맞히는 수준을 넘어, ‘무엇을 아는가’와 ‘무엇을 모르는가’를 구분하는 능력, 즉 메타 인지(meta-cognition·자신의 인지 상태를 스스로 인식하는 능력)를 갖출 수 있는 가능성을 제시했다. 백세범 석좌교수는 “이번 연구는 두뇌 발달 과정을 모사함으로써 AI가 인간과 좀 더 유사하게 자신의 지식 상태를 인식할 수 있음을 보여준 사례”라며 “정확도를 높이는 것을 넘어 인공지능이 스스로의 불확실성을 판단하는 원리를 제시했다는 데 의의가 있다”고 설명했다. 이번 기술은 자율주행, 의료 AI, 생성형 AI 등 높은 신뢰성이 요구되는 분야는 물론, 거의 모든 딥러닝 모델의 초기화 방식에 적용될 수 있어 AI 전반의 신뢰성을 높이는 핵심 기술로 활용될 것으로 기대된다. 천정환 카이스트 석사(뇌인지과학과, 현 육군 일병)가 제1저자로 참여한 이번 연구는 인공지능 분야 국제 학술지 ‘네이처 머신 인텔리전스(Nature Machine Intelligence)’에 4월 9일자로 온라인 게재됐으며, 주목할 만한 논문으로 선정돼 ‘뉴스 앤 뷰스(News & Views)’에도 소개됐다. 이번 연구는 한국연구재단의 이공분야기초연구사업과 KAIST 싱귤래러티 연구사업의 지원을 받아 수행됐다. ※ 논문명: Brain-inspired warm-up training with random noise for uncertainty calibration, DOI: 10.1038/s42256-026-01215-x