🧩 07. 평가: Evals로 품질 닫기

평가: Evals로 품질 닫기

평가는 “좋아 보이는 답”을 고르는 과정이 아닙니다. 목표는 같은 입력에서 같은 수준의 품질을 유지하는지, 그리고 바꾼 뒤에 *퇴행(regression)*이 생기지 않는지 확인하는 것입니다.

평가가 필요한 이유

• 어떤 날은 잘 되고 어떤 날은 안 되는 문제가 생긴다
• 기능을 추가했는데 기존 기능이 조용히 깨진다
• 사람이 보기엔 괜찮아도 규칙은 어기는 경우가 있다

시작 방법

1) 작은 평가셋부터

처음부터 크고 복잡하게 만들지 않습니다.

• 10~20개 정도
• 잘 되는 케이스
• 실패 케이스
• 발동되면 안 되는 케이스

2) 두 종류의 체크를 쓴다

• deterministic check: 확정 규칙
• rubric check: 사람/모델이 보는 정성 기준

둘 중 하나만 쓰면 빈틈이 생깁니다.

3) 결과를 스키마로 남긴다

점수와 판단 이유를 일정한 형식으로 저장해야 비교가 됩니다.

초보자가 기억할 것

평가는 멋진 대시보드보다 회귀를 빨리 잡는 습관이 더 중요합니다.

흔한 실수

• 평가셋이 너무 큼
• 실패 케이스가 쌓이지 않음
• 기준이 매번 바뀜
• 결과가 자유문장이라 비교가 어려움

체크리스트

• 작은 평가셋이 있다
• 규칙 체크와 정성 체크를 나눴다
• 실패 케이스를 즉시 추가할 수 있다
• 버전 간 비교가 가능하다

다음 읽기

• 실패복구