“비지도 한계 넘어선 차세대 시각 AI 기술 개발”...서울대 김경수 교수팀, 라벨링 없이 객체 경계 추출·81배 속도 향상 - 인공지능신문

서울대 AIBL 연구실, 생성형 확산 모델 기반 객체 윤곽 추출 기술 ‘TRACE’ 개발…‘ICLR 2026’ 구두 발표 채택 자율주행, 의료 영상 분석 등에 필수적인 시각 인공지능(AI)이 사람의 개입 없이도 스스로 사물의 윤곽을 정밀하게 파악할 수 있는 첨단 원천 기술이 국내 연구진에 의해 개발됐다. 서울대학교 협동과정 인공지능전공(IPAI) 소속 AIBL 연구실(지도교수 김경수)은 박재식·최종현 교수팀과 공동 연구를 통해, 텍스트-이미지 생성형 확산 모델(Diffusion Model)의 내부 작동 원리를 활용해 별도의 데이터 라벨링(정답 표기) 작업 없이 객체의 정교한 경계(Instance Edge)를 추출해 내는 기술인 'TRACE(TRAnsforming diffusion Cues to instance Edges)'를 제안했다. 일반적으로 AI가 사진 속 사물(자동차, 보행자 등)을 정확히 분리해 내는 '객체 분할(Segmentation)' 기술을 고도화 하려면, 마스크(Mask)나 박스(Box) 등 픽셀 단위의 정답 데이터가 필수적이나 이는 막대한 비용과 확장성 문제를 동반한다. 반면 정답 데이터가 필요 없는 기존 비지도 학습(Unsupervised) 방식을 사용할 경우, 인접한 여러 물체를 하나로 뭉뚱그려 병합하거나 단일 사물을 파편화해 인식하는 치명적인 한계가 존재했다. 서울대 AIBL 연구실은 이러한 문제를 해결하기 위해, 본래 '이미지 생성' 목적으로 학습된 확산 모델이 노이즈를 제거하는 초기 과정에서 객체의 구조(Instance-level structure)를 스스로 파악하고 있다는 사실을 발견했다. 연구팀은 확산 모델 내부의 '셀프 어텐션 맵(Self-Attention Map)'을 정밀 분석하여, 사물의 뼈대가 가장 뚜렷하게 드러나는 '객체 발현 시점(IEP, Instance Emergence Point)'을 포착해 냈다. 이후 동일 객체 내부는 묶고 경계는 뚜렷하게 구분하는 '어텐션 경계 발산(ABDiv, Attention Boundary Divergence)' 점수화 기법을 적용해 정밀한 윤곽선을 추출하는 파이프라인을 구축했다. TRACE 기술은 크게 세 가지 측면에서 기존 기술 대비 차별성을 확보했다. 첫째, 수작업 데이터 라벨링을 완전히 제거했다. 확산 모델 내부에 내재된 사전 지식(Hidden Prior)만으로 객체 경계를 도출함으로써 데이터 구축 비용 문제를 근본적으로 해결했다. 둘째, 추론 속도를 획기적으로 개선했다. 연구팀은 추출된 경계 정보를 경량 디코더 모델로 전달하는 증류(Distillation) 기법을 적용해 복잡한 확산 과정을 생략하고 단일 연산만으로 결과를 생성하도록 했다. 그 결과 기존 대비 최대 81배 빠른 속도를 달성했다. 셋째, 성능 측면에서도 기존 방법을 뛰어넘었다. 대표 벤치마크인 COCO 2017에서 평균 정밀도(AP)가 5.1 향상됐으며, 태그 정보만 주어진 환경(Tag-supervised)에서도 인스턴스 라벨을 직접 학습한 포인트 지도 학습(Point-supervised) 모델의 성능을 상회(+1.7 PQ)하는 탁월한 분할 성능을 입증했다. 연구팀은 "이번에 개발된 TRACE는 막대한 비용이 드는 수작업 데이터 라벨링(Annotation) 의존도를 획기적으로 낮추면서도 높은 정확도와 속도를 동시에 달성한 실용적이고 확장 가능한 대안"이라며, "향후 자율주행, 로보틱스, 의료 영상 분석 등 정밀한 사물 인식이 요구되는 다양한 산업 분야의 AI 기술 발전을 크게 앞당길 수 있을 것으로 기대한다"고 설명했다. 이번 연구는 서울대학교 김경수 교수와 박재식 교수가 공동 교신저자를 맡았으며, 조상현 OGQ AI수석연구원과 이지석 연구원(서울대 석박통합과정)이 공동 1저자로 연구를 주도했다. 또한 최종현 교수와 이우열 연구원(서울대 석박통합과정)도 공동 연구진으로 참여해 완성도를 높였다. 이번 연구 결과는 오는 23일부터 27일까지 브라질 리우데자네이루에서 열리는 머신러닝 분야 국제 학술대회인 ‘국제표현학습학회(ICLR 2026)’에서 'TRACE: 당신의 확산 모델은 사실상 인스턴스 엣지 검출기(TRACE: Your Diffusion Model is Secretly an Instance Edge Detector-다운)'란 제목으로 발표될 예정이다. 특히, 해당 논문은 상위 1.13% 논문에만 주어지는 구두 발표(Oral Presentation) 논문으로 최종 채택되며 기술의 독창성과 우수성을 세계적으로 인정받았다. 한편, 연구팀은 이번 연구의 재현성과 확산을 위해, 핵심 구현 코드와 사전 학습된 모델 등 자료는 깃허브(다운)를 통해 공개했다. 이를 통해 다른 연구자나 개발자들도 해당 기술을 직접 실행해 보거나 응용 연구에 활용할 수 있으며, 연구 결과의 검증과 후속 연구 확장에도 기여할 수 있도록 했다. 더 자세한 내용 및 연구 관련 사항은 서울대학교 AIBL 연구실 사이트(김경수 교수팀-보기)를 참고하면 된다.