🤖 11. 툴콜링 2.0 실전정리

Anthropic의 최신 툴콜링 업데이트를 기준으로, 기존 에이전트 설계를 어디서 어떻게 바꿔야 하는지 실무 관점에서 정리했다. 핵심은 JSON 호출 반복에서 코드 기반 오케스트레이션으로 무게중심이 이동했다는 점이다.

한 장으로 보는 구조 변화

flowchart LR
A[기존: Tool Call 반복] --> B[LLM이 매 단계 JSON 생성]
B --> C[서버가 함수 실행]
C --> D[결과를 다시 LLM에 입력]
D --> E[라운드트립 증가 + 토큰 낭비]

F[신규: Programmatic Tool Calling] --> G[LLM이 코드 작성]
G --> H[코드 실행 샌드박스에서 툴 연계]
H --> I[루프/조건/배치 처리]
I --> J[라운드트립 감소 + 컨텍스트 절약]

🧠 칠판 치트시트

• 핵심 전환: JSON 중심 호출 → 코드 중심 실행 제어
• 기대효과: 토큰 절감, 완주율 개선, 파이프라인 안정화
• 설계원칙: 필요한 정보만 컨텍스트에 남긴다

1) 기존 Tool Calling의 병목

동작 방식(기본)

1. 모델이 tool name + params(JSON) 생성
2. 런타임이 함수/API 실행
3. 결과를 모델로 재주입
4. 최종 답변 생성

병목 포인트

• 비결정성: 단계마다 파라미터 재생성, 출력 흔들림
• 토큰 낭비: 다음 단계에 불필요한 메타데이터/HTML 누적
• 확장성 한계: 툴 수·단계 수가 늘수록 라운드트립 폭증

2) Programmatic Tool Calling

개념

모델이 단일 JSON을 연속 생성하는 대신, 여러 툴을 연결하는 실행 코드를 작성한다. 코드 내부에서 루프/조건/배치 처리를 직접 수행한다.

왜 중요한가

• 중간 노이즈를 코드 내부에서 처리 가능
• LLM 왕복 호출 횟수 감소
• 호출 흐름이 더 결정적이고 추적 가능

적용 체크

• code execution 샌드박스 도입
• 툴별 호출 권한(allowed_caller) 설정
• 런타임에서 code/tool use 이벤트 파싱 경로 추가

3) Dynamic Filtering (web fetch)

문제

웹 fetch가 긴 HTML을 그대로 넣어 컨텍스트를 빠르게 소모한다.

해결

중간 필터 계층에서 작업 목표와 관련된 본문만 추출해 전달한다.

실무 효과

• 토큰 사용량 절감
• 노이즈 감소로 답변 정확도 개선
• 대규모 리서치 파이프라인 안정화

4) Tool Search + Deferred Loading

문제

시작부터 수십~수백 개 툴 스키마를 전부 넣으면 컨텍스트가 비효율적으로 소모된다.

해결

• 기본 노출: tool_search 1개
• 필요 시점에만 관련 툴 스키마 동적 로딩
• MCP 서버 단위/액션 단위로 deferred loading 제어

실무 기준

• 툴 10개 이상이면 우선 적용 검토
• 항상 필요한 툴만 always-visible
• 나머지는 검색 기반 지연 로딩

5) Tool Use Example (입력 예시)

복잡 스키마에서는 “유효 JSON”이 “정답 입력”이 아니다. 날짜 포맷, SLA 규칙, 필드 상관관계가 틀리기 쉽다.

적용 방식

• 도구 정의에 input_examples 배열 추가
• 예시를 통해 필드 조합/포맷/우선순위를 학습시키기

언제 필수인가

• 중첩 JSON이 깊은 도구
• optional 파라미터가 많은 도구
• 도메인 규칙(형식/정책)이 엄격한 도구

6) ClaudeCode 반영 순서 (실행안)

1. 기존 툴콜링 트레이스 수집 (토큰/라운드트립/실패율)
2. code execution 샌드박스 연결
3. web fetch dynamic filtering 적용
4. tool_search + deferred loading 적용
5. 복잡 툴에 input_examples 주입
6. A/B 비교 측정 (기존 vs 신규)

7) 검증 지표 (반드시 숫자로)

• 요청당 총 토큰
• 평균 라운드트립 횟수
• 복잡 파라미터 정합성 성공률
• 장기 태스크 완주율
• 평균 응답 시간

8) 영상 기준 핵심 포인트 요약

• Tool Calling 2.0의 본질은 실행 제어권을 강화하는 것
• 컨텍스트 최적화는 비용 문제가 아니라 정확도/완주율 문제
• 복잡 에이전트일수록 네 가지를 묶어 적용해야 효과가 큼
  • Programmatic Tool Calling
  • Dynamic Filtering
  • Tool Search (Deferred)
  • Tool Use Example

참고

• 원영상: Anthropic killed Tool calling

※ 이 문서는 생성형 AI를 활용해 작성되었습니다.