🧩 18. 운영: Skills+Shell+Compaction 실전

에이전트를 길게 운영해보면 금방 드러나는 사실이 있습니다. 시스템 프롬프트를 아무리 길게 써도, 실제 실행 환경이 흔들리면 품질은 오래 유지되지 않습니다. 반대로 절차(Skills), 실행(Shell), 맥락 유지(Compaction) 세 축이 맞물리면 운영은 훨씬 안정됩니다.

OpenAI skills-shell-tips가 말하는 핵심도 여기에 있습니다. 단발성 데모를 넘어서려면 “말 잘하는 에이전트”보다 “반복 실행이 가능한 에이전트”를 설계해야 한다는 점입니다.

안내: 이 문서는 생성형 AI를 활용해 초안을 작성했고, 공개된 공식 자료를 교차 확인해 실무 운영 관점으로 보강했습니다.

이 글의 근거 자료

• Skills + Shell tips (OpenAI)
  • https://developers.openai.com/blog/skills-shell-tips
• Skills 가이드
  • https://platform.openai.com/docs/guides/tools-skills
• Shell 가이드
  • https://platform.openai.com/docs/guides/tools-shell
• Context management / compaction
  • https://platform.openai.com/docs/guides/context-management

핵심 요약

• Skills는 절차 표준화, Shell은 실제 실행, Compaction은 장기 실행 안정화 역할을 맡습니다.
• 세 축 중 하나라도 빠지면 운영 편차가 빠르게 커집니다.
• 장기 실행에서는 “정답 한 번”보다 “재현 가능한 반복”이 더 중요합니다.

flowchart LR
A[요청] --> B[Skills: 절차 로드]
B --> C[Shell: 실행/산출물 생성]
C --> D[Artifacts 저장]
D --> E[Compaction: 긴 실행 유지]
E --> F[재현 가능한 운영]

🧠 칠판 치트시트

• Skills는 SOP, Shell은 실행기, Compaction은 장기 메모리 정리기
• 템플릿은 Skill 안으로, 산출물은 경로 규칙으로
• 장기 실행일수록 컨텍스트 정리가 성능을 좌우한다
• 네트워크 권한은 기본 차단, 필요한 도메인만 허용
• 출력물이 파일로 남아야 인수인계가 쉬워진다

Skills: 절차를 버전 관리 가능한 형태로 고정하기

같은 작업을 매번 새로 지시하면 드리프트가 커집니다. 그래서 반복 업무는 skill 단위로 고정하는 편이 유리합니다.

특히 description은 “소개 문구”가 아니라 라우팅 로직처럼 써야 합니다.

• 언제 쓰는지
• 언제 쓰지 않는지
• 성공 기준(DoD)이 무엇인지

이 세 가지가 선명하면 과발동/미발동이 줄어들고, 팀 전체 실행 품질이 안정됩니다.

Shell: 실제 실행을 재현 가능한 형태로 남기기

Shell은 단순 명령 실행 도구가 아니라, 운영 증거를 남기는 장치입니다.

실무에서 효과적인 패턴:

• 의존성 설치
• 데이터 수집/가공
• 결과 파일 저장

핵심은 “채팅 답변”이 아니라 “검토 가능한 아티팩트”입니다. 결과물이 파일로 남아야 검수/재사용/인수인계가 쉬워집니다.

Compaction: 긴 실행에서 성능을 지키는 안전장치

장기 실행에서 흔한 문제는 컨텍스트가 길어지면서 중요 정보가 묻히는 현상입니다. compaction은 이 누적 문제를 줄여줍니다.

운영 관점에서 보면 compaction은 성능 최적화 기능이면서 동시에 품질 안정화 장치입니다. 장시간 작업에서 지시 일관성을 유지하는 데 큰 역할을 합니다.

현장에서 자주 터지는 패턴과 대응

패턴 A) 스킬은 있는데 실행 결과가 매번 다름

원인: skill description이 모호하거나 DoD가 없음
대응: use/don’t use/성공 기준을 description에 명시

패턴 B) 실행은 빠른데 결과 인수인계가 어려움

원인: 결과가 채팅에만 있고 파일 산출물이 없음
대응: 산출물 저장 경로와 파일명 규칙 고정

패턴 C) 장기 작업에서 후반 품질 급락

원인: 컨텍스트 누적/오염
대응: compaction 기본 적용 + 중간 요약 포인트 설계

미니 사례 3가지

사례 A) 주간 브리핑 자동화 팀

초기엔 지시문이 길었지만 절차가 고정되지 않아 편차가 컸습니다. skill로 절차를 분리한 뒤, 작성 톤과 산출 포맷이 안정됐습니다.

사례 B) 데이터 리포트 팀

채팅 답변 중심 운영 때문에 재검토가 어려웠습니다. shell 실행 결과를 파일로 남기기 시작한 뒤, 리뷰와 수정 속도가 빨라졌습니다.

사례 C) 장기 배치 작업 팀

긴 실행 후반에 품질이 흔들렸지만, compaction과 중간 체크포인트를 붙인 뒤 안정적으로 완료되는 비율이 올라갔습니다.

보안/권한 운영 기본값

Skills와 Shell을 함께 쓸 때는 편의성보다 권한 설계가 먼저입니다.

권장 기본값:

• 네트워크는 기본 차단
• 필요한 도메인만 allowlist 허용
• 인증정보는 분리 저장(직접 프롬프트 삽입 금지)

특히 외부 네트워크 + 강한 실행 권한 조합은 작은 실수도 크게 번질 수 있어, 요청 단위 최소 권한이 중요합니다.

25분 도입 루틴

• 10분: 반복 업무 1개를 skill로 분리(use/don’t use/DoD 포함)
• 5분: shell 산출물 경로/파일명 규칙 확정
• 5분: 장기 실행에 compaction 기본 적용
• 5분: allowlist/권한 체크리스트 작성

적용 체크리스트

• skill description에 use/don’t use/성공 기준이 있다
• shell 실행 결과를 파일 아티팩트로 남긴다
• 장기 실행에 compaction을 기본 적용했다
• 네트워크 allowlist를 요청 단위로 관리한다
• 실패 사례를 skill 개선 항목으로 환류한다

다음 읽기

• 🧩 17. 운영: Prompt Personalities 실전
• 🧩 16. 운영: Eval Skills 실전
• 🧩 14. 운영: 하네스 엔지니어링 실전