불변 엔지니어링: AI 에이전트가 손상되었거나 지루한 이유

제가 사용해 본 모든 훌륭한 AI 제품에는 아직 공식화되지 않은 디자인 원칙이 있습니다.

나는 이것을 불변 엔지니어링이라고 부릅니다. AI 시스템이 무엇인지, 변경이 허용되지 않는지 결정하는 것입니다.

당연한 일처럼 들리겠지만, 내가 본 대부분의 팀은 상담원을 너무 많이 제한하여 지루하거나 거의 유용하지 않은 것을 만들거나(PowerPoint용 Copilot) 너무 적게 제한하여 깨진 것을 만들었습니다(1달러 티켓을 제공하는 항공사 챗봇).

어려운 부분은 불변성을 구현하는 것이 아니라 선택하는 것입니다.

분명히 말하면 불변 엔지니어링은 오늘날 에이전트 샌드박싱 및 코드 실행에 대한 경계 정의에서 이미 상당한 인지도를 차지하고 있습니다.

내 생각에는 동일한 규율이 ​​보안 외에도 적용된다는 점을 인식하는 것이 누락된 것 같습니다.

비결정성은 코드 실행의 안전성뿐만 아니라 모든 AI 제품의 품질과 유용성에 영향을 미칩니다.

고객 지원을 위해 AI를 활용하세요.

차를 긁고 보험회사에 전화하세요.

상담원에게는 보험 증권 번호, 발생한 날짜, 피해에 대한 설명이 필요합니다.

항상 그 순서, 항상 그 질문.

이를 자동화하는 보험 청구 대리인은 동일한 정보를 동일한 순서로 수집해야 합니다.

그 흐름은 아마도 80% 고정되어 있을 것입니다.

무료인 유일한 것은 질문을 명확하게 하는 것과 같이 단계 사이의 변화구를 처리하는 방법입니다.

따라서 순서가 지정된 질문 목록을 단일 프롬프트에 채우는 것은 위험합니다. 왜냐하면 LLM(일반적으로 신속하게 응답할 수 있는 소규모 모델)이 순서를 뒤섞거나 질문을 완전히 건너뛸 수 있기 때문입니다.

에이전트의 하네스가 LLM이 아닌 시퀀스를 소유하기를 원할 것입니다.

흐름을 상태 머신으로 정의하고 에이전트 하네스가 매 턴마다 프롬프트에 현재 질문만 삽입하도록 합니다.

LLM의 업무는 실제로 잘하는 일, 즉 지저분한 인간 입력에서 구조화된 답변을 추출하는 일로 축소됩니다.

고객이 사건 날짜에 대해 '지난 화요일, 아마 수요일'이라고 말했나요?

Parse that.

그러나 LLM은 다음에 무엇을 질문할지 결정하지 않습니다.

"이 다섯 가지 질문을 순서대로 물어보세요"라는 프롬프트가 제안입니다.

질문 2에 답한 후 질문 3만 표시하는 하네스는 불변입니다.

LLM은 보지 못한 단계를 건너뛸 수 없습니다.

반면에 Wi-Fi가 계속해서 끊어지기 때문에 기술 지원팀에 전화하는 것을 고려해 보세요.

이에 대한 스크립트가 없습니다.

상담원은 느슨한 케이블부터 펌웨어 버그, 해당 지역의 정전에 이르기까지 무엇이 잘못되었는지 파악해야 합니다.

에이전트의 문제 해결 접근 방식은 Claude Code와 비슷해 보입니다. 즉, 지식 기반을 검색하고, 무엇을 시도할지 추론하고, 작동하는 것에 따라 적응합니다.

가능한 대화 공간이 훨씬 더 조합적이기 때문에 여기서 상태 머신을 미리 정의할 수 없습니다.

그러나 "더 유연" != "불변 없음." 불변성은 단지 위로 이동합니다.

에이전트가 말하는 내용을 잠그는 대신 에이전트가 작동하는 방식을 잠급니다.

조언을 제공하기 전에 상담원에게 문서를 검색하도록 요구하세요.

이 불변성이 없으면 수정 사항을 환각하고 문제를 제기한 다음 실제 답변을 검색하는 에이전트를 얻을 수 있습니다.

클레임 에이전트와 달리 문제 해결 에이전트의 불변성은 내용 기반이 아니라 구조적입니다.

상담원을 위한 디자인 도구도 이 패턴을 따릅니다.

Claude Code에는 파일 읽기, 코드 검색, 텍스트 편집 등 기술적으로 모든 작업을 수행할 수 있는 Bash가 있는 것으로 유명합니다.

그러나 Bash 도구 설명은 모델에 해당 도구를 사용하지 말라고 명시적으로 지시합니다.

대신 6가지 작업 범주에는 파일 찾기용 Glob( find 아님), 콘텐츠 검색용 Grep, 파일 보기용 Read(cat 아님), 수정용 Edit( sed 아님) 등의 전용 도구가 있습니다.

Bash는 git 및 npm과 같은 터미널 작업으로 범위가 지정됩니다.

Claude Code는 ~20개의 도구를 순서에 관계없이 결합할 수 있지만(변형) Bash를 사용하여 읽기 또는 편집의 목적으로 설계된 작업을 수행할 수는 없습니다(고정).

구조와 구조가 있습니다.

이러한 모든 결정을 통해 놀라운 절충안이 실행됩니다.

예를 들어 감마(프레젠테이션 작성 앱)는 AI가 슬라이드 요소를 임의의 좌표에 배치하는 것을 절대 허용하지 않습니다.

사전 정의된 카드 레이아웃에서 선택하고 렌더링 엔진이 간격을 처리합니다.

내용과 내러티브는 다양합니다.

공간 디자인은 변하지 않습니다.

모든 데크는 세련되어 보이지만 모든 데크는 감마 데크처럼 보입니다.

대신 LLM이 레이아웃 불변 없이 원시 PowerPoint를 처리하게 하면 수정하는 데 약간의 반복이 필요한 많은 간격 사고가 있더라도 더 창의적인 슬라이드를 얻을 수 있습니다.

클로드 코드와 함께 자율 게임 공장을 짓는 것도 같은 벽에 부딪혔다.

브랜드 색상, 글꼴, 최종 화면이 변하지 않아 각 게임이 일관되게 보였습니다.

게임 메커니즘, 입자 효과 및 시각적 구성은 LLM이 생성하는 데 완전히 무료였으므로 각 게임에는 여전히 고유한 느낌이 있었습니다.

| 불변 | 변형 | | |---|---|---| | 청구 대리인 | 질문 순서필수 항목에스컬레이션 규칙 | 구문설명 처리 지저분한 입력 구문 분석 | | 문제 해결 에이전트 | 에스컬레이션 규칙에 대해 조언하기 전에 문서 검색 | 문제 해결 방법시도할 사항적응 | | 클로드 코드 | 도구 경계(Bash는 읽기/편집 작업을 수행할 수 없음) | 어떤 도구를 사용할지 어떤 순서로 결합할지 | | 감마 | 카드 레이아웃요소 간격렌더링 엔진 | 콘텐츠내러티브시각적 구성 | 내 경험에 따르면 단일 LLM과 단일 프롬프트로 시작한 다음 간격을 찾으면서 반복적으로 제약 조건을 추가하는 것이 거의 항상 더 좋습니다.

나는 다른 LLM을 사용하여 내 제품과 사용자 상호 작용을 시뮬레이션하는 것을 좋아합니다(더 나은 모델은 더 나은 고객 시뮬레이션을 의미합니다).

이는 극단적인 경우를 빠르게 표면화합니다. 에이전트는 필수 필드를 건너뛰고, 정책을 만들고, 존재하지 않는 가격을 제공합니다.

각각은 불변값이 누락된 위치를 알려줍니다.

시간이 지남에 따라 제약 조건이 누적되고 다중 에이전트 워크플로, 전문 도구, 경직된 파이프라인 등 다른 방향으로 너무 멀리 가는 경우가 많습니다.

그러나 이러한 시스템은 취약하고 회귀하기 쉬우므로 단순화합니다.

잘못된 모델을 만드는 데 비용이 많이 들고 정답을 지정할 수 있는 경우 이를 불변으로 만드세요.

출력이 흥미롭고 실수를 수정하는 데 비용이 적게 들거나 모델이 자체 수정이 가능한 경우에는 변형을 그대로 두십시오.

따라서 불변 감사를 시도해 보세요.

시스템에서 현재 수정된 사항이나 무료인 사항을 검토하고 해당 경계를 어느 방향으로든 확장하면 출력이 향상되는지 물어보십시오.

새롭고 더 지능적인 모델 출시는 한때 잠겨 있어야 했던 기능이 이제는 안전하게 열릴 수 있기 때문에 불변 지도를 정기적으로 다시 방문하도록 유도해야 합니다.

하지만 모델 개선을 규율의 종료로 착각하지 마십시오.

고정교대와 자유교대 사이의 경계, 하지만 결코 사라지지 않습니다.

이 게시물이 마음에 드셨나요?

더 많은 AI 엔지니어링 게시물을 구독하세요.