Ask HN: Where are all the AI disasters?

요약

OpenAI의 상업화에 반대하며 퇴사한 핵심 연구진들이 세운 Anthropic은 'Claude의 헌법'을 공개하고 생물학 무기 제조나 대규모 감시 등 7가지 절대 금지 행동을 규정하는 등 기술 통제에 앞장서고 있습니다. 특히 2억 달러 규모의 미국 국방부 계약을 포기하면서까지 완전 자율 무기 시스템과 민간인 감시에 AI 제공을 거부한 바 있습니다. 이러한 결정으로 정부의 제재를 받았음에도 오히려 글로벌 신뢰도가 급상승하는 결과를 낳았으며, 헌법적 AI(Constitutional AI) 기술을 통해 AI 스스로 원칙을 평가하고 수정하는 구체적인 안전 장치를 구현하고 있습니다.