LangChain 스킬 공개, Claude Code 통과율 25% → 95%로 끌어올린 방법

GeekNews (AI) | | 🔬 연구
#claude #claude code #langchain #langsmith #review #에이전트 성능 #코딩 에이전트
원문 출처: GeekNews (AI) · Genesis Park에서 요약 및 분석

요약

LangChain이 공개한 스킬 덕분에 Claude Code의 성공률은 25%에서 95%로, LangSmith 관련 태스크는 17%에서 92%로 급격히 향상되었습니다. 이 스킬 세트는 LangChain 11종과 LangSmith 3종으로 구성되며, LangSmith CLI를 통해 터미널에서 트레이스 관리 등이 가능해졌습니다. 평가 결과 스킬 사용 시 성공률이 크게 상승했으며, 스킬 호출 갯수는 12개 정도가 가장 정확도가 높습니다.

본문

LangChain이 코딩 에이전트 성능을 극적으로 향상시키는 "스킬(Skills)" 세트를 공개. 특히 Claude Code 같은 모델이 LangChain/LangGraph/LangSmith 관련 태스크를 수행할 때, 스킬 없이 25% 정도만 성공하던 것이 스킬 장착 후 95% 까지 올라갔고, LangSmith 관련 태스크는 17% → 92%로 크게 개선됨. 공개된 스킬 종류 LangChain 스킬 11종: 에이전트 기본 루프, LangGraph의 Human-in-the-Loop, Deep Agents 등 LangSmith 스킬 3종: 트레이싱, 데이터셋 구축, 에이전트 평가 → LangSmith CLI도 함께 공개 (터미널에서 트레이스 조회·데이터셋 관리·실험 실행 가능) 평가 결과 & 교훈 스킬 사용 시 Claude Code 완료율 82% vs 미사용 9% 스킬 호출 정확도: 너무 많으면 (20개) 오작동 ↑ → 12개 정도로 줄이면 정확도 ↑ AGENTS.md나 CLAUDE.md에 “언제 어떤 스킬 쓸지” 명확히 안내해야 효과 극대화 미래 전망 LangSmith 스킬을 활용하면 에이전트가 자기 실행 로그 분석 → 문제 요약 → 테스트 데이터셋+평가자 자동 생성 이라는 자기개선 루프를 돌릴 수 있게 됨. 앞으로는 “에이전트가 에이전트를 개선하는” 터미널 기반 사이클이 주류가 될 가능성 제시.

Genesis Park 편집팀이 AI를 활용하여 작성한 분석입니다. 원문은 출처 링크를 통해 확인할 수 있습니다.

공유

관련 저널 읽기

전체 보기 →