구글 워터마크 깨졌다…AI 콘텐츠 식별 위기 - 디지털투데이
[AI] ai watermark
|
|
🔬 연구
#ai
#ai 콘텐츠
#구글
#식별 위기
#워터마크
#ai 디자인
#기타 ai
#머신러닝/연구
요약
연구진들이 구글이 개발한 AI 생성 콘텐츠 식별 기술인 워터마크(SynthID)를 공격해 무력화하는 데 성공했다고 밝혔다. 공격에 노출된 워터마크는 99.9%의 확률로 탐지되지 않아 AI 콘텐츠의 진위 여부를 가리는 데 심각한 위협이 되고 있다.
왜 중요한가
개발자 관점
검토중입니다
연구자 관점
검토중입니다
비즈니스 관점
검토중입니다
본문
리버스-신스ID 프로젝트가 신스ID를 무력화할 수 있다. [사진: 리버스 신스ID] [디지털투데이 AI리포터] 구글의 AI 제미나이가 생성한 콘텐츠에 삽입되는 전자 워터마크 기술 신스ID(SynthID)를 무력화할 수 있다는 연구 결과가 나왔다. 13일(현지시간) IT매체 온라인 매체 기가진에 따르면, 연구 프로젝트 리버스-신스ID(reverse-SynthID)는 신호 처리와 스펙트럼 분석을 통해 신스ID 워터마크 구조를 분석하고 제거 가능성을 제시했다. 연구진은 구글의 인코더·디코더에 접근하지 않고도 이미지 해상도별로 고유한 반송 주파수 구조가 존재한다는 점을 밝혀냈다. 이 같은 분석은 신스ID의 작동 방식 이해로 이어진다. 신스ID는 사람이 인식할 수 없는 전자 워터마크를 이미지에 삽입해 AI 생성 콘텐츠의 악용을 방지하는 기술로, 이후 텍스트와 영상까지 적용 범위가 확대됐다. 또한 AI 생성 여부를 판별할 수 있는 신스ID 디텍터(SynthID Detector)도 함께 제공되고 있다. 연구진은 동일한 모델로 생성된 이미지 간 워터마크 주파수 패턴이 일관성을 유지한다는 점을 확인했으며, 이를 기반으로 약 90% 정확도의 탐지기와 워터마크를 약화시키는 멀티 해상도 스펙트럼 바이패스(multi-resolution spectral bypass) 기법을 개발했다. 해당 방식은 워터마크 신호의 위상 규칙성을 약 91% 낮춰 탐지를 어렵게 만드는 것으로 나타났다. 다만 연구진은 이러한 기술이 연구와 교육 목적에 한정된 것임을 강조하며, AI 생성 콘텐츠를 인간이 만든 것처럼 위장하는 데 사용하는 것은 지양해야 한다고 밝혔다.