🐍11. Logfire 관측·비용·운영 대시보드

운영 단계에서 가장 비싼 문제는 “왜 이 답이 나왔는지 모르는 상태”입니다. Logfire 관측을 붙이면 모델 호출, 도구 실행, 지연, 비용 흐름을 추적할 수 있어 장애 대응 속도가 올라갑니다.

AI 활용 안내: 이 문서는 생성형 AI를 활용해 작성했으며, Pydantic AI 공식 문서를 1차 출처로 검토해 정리했습니다.

공식문서 흐름 점검 (개요 보완)

• 흐름: Agent 추적(Logfire) 기본 계측 → 지연/오류/토큰 사용량 관측 → OTel/대체 백엔드 연동 → 운영 대시보드 경보 기준 수립.
• 이번 편에서 빠지면 안 되는 포인트:
  • 디버깅 지표와 운영 KPI(비용/지연)를 같은 화면에서 보는 이유를 설명한다.
  • OTel 백엔드 전환 시 데이터 포맷/속성 매핑 포인트를 포함한다.
  • 월말 회고가 아니라 일간/주간 알림 임계치를 개요에 넣는다.
• 공식 문서 체크 링크:
  • https://ai.pydantic.dev/logfire/index.md
  • https://ai.pydantic.dev/agent/index.md
  • https://logfire.pydantic.dev/

무엇을 먼저 관측할까

초기에는 아래 4개면 충분합니다.

• 요청당 지연 시간
• Tool 호출 횟수/실패율
• 토큰/비용 추이
• 오류 유형 분포

공식 문서:

• Logfire integration: https://ai.pydantic.dev/logfire/
• Pydantic Logfire docs: https://logfire.pydantic.dev/

flowchart LR
  A[Agent 실행] --> B[Logfire 수집]
  B --> C[지연/비용/오류 대시보드]
  C --> D[이상 탐지]
  D --> E[원인 구간 추적]
  E --> F[개선 배포]

미니 사례 A: 응답 지연 원인을 모델 탓으로만 보던 경우

트레이스를 붙여보니 병목은 모델이 아니라 외부 Tool API였습니다. 타임아웃 정책과 캐시를 수정해 체감 속도가 개선됐습니다.

미니 사례 B: 비용 급등을 월말에야 발견한 경우

실시간 비용 대시보드가 없어서 늦게 인지했습니다. 일별/기능별 비용 추적을 추가하니 과금 급등 구간을 조기에 발견했습니다.

실무 적용 순서

1. 에이전트 관측 계측 활성화
2. KPI 4개 대시보드 구성
3. 임계치 알림 설정
4. 주간 회고에서 비용·지연 상위 원인 1개씩 개선

성공 판정:

• 장애 시 원인 추적 시간이 줄었다
• 비용 급등을 조기에 감지한다
• 운영 회고가 로그 기반으로 이뤄진다

다음 글

• 🐍12. 프로덕션 배포 체크리스트
• 🐍10. Durable Execution: 장기 작업 신뢰성
• 🐍 PydanticAI 허브