작업 실행 전에 로컬 LLM에 읽기 전용 기관 메모리 제공

요약

저자는 상태(State)가 없는 로컬 LLM이 이미 실패한 접근 방식을 반복하는 문제를 해결하기 위해, Qdrant와 Postgres를 통해 과거 작업 결과와 진행 중인 지시 사항을 시스템 프롬프트에 주입하는 '기관 메모리(Enrichment)' 파이프라인을 구축했습니다. 이 방식은 쿼리 검색을 통해 로컬 모델이 하드웨어 제약 등의 구체적 맥락을 인지하고 읽기 전용 제약 조건 내에서 작업하도록 유도하여, 유효하지 않은 RAID 명령어 반복 같은 오류를 효과적으로 예방했습니다. 저자는 현재 실행 메모리가 증가함에 따라 컨텍스트 창이 오염되는 것을 막기 위해 시맨틱 서치의 스코어 임계값과 결과 개수를 제한하는 등 최적화 전략을 모색하고 있습니다.