많은 사람이 AI를 쓸 때 “질문 문장”부터 고칩니다. 하지만 에이전트형 작업(여러 단계 실행)으로 갈수록 성능을 좌우하는 건 문장보다 컨텍스트 설계입니다.
AI 활용 안내: 이 문서는 생성형 AI 보조를 받아 작성되었습니다.
한 줄 결론
프롬프트는 방향 지시이고, 컨텍스트는 작업 환경입니다. 방향이 맞아도 환경이 엉키면 결과는 흔들립니다.
프롬프트 중심 접근이 막히는 4가지 이유
1) 작업이 단발성에서 루프형으로 바뀜
에이전트는 한 번 답하고 끝나지 않습니다.
- 계획
- 도구 호출
- 결과 관측
- 다음 행동 결정
이 과정이 반복되면서 “이전 턴에서 무엇을 합의했는가”가 중요해집니다. 즉, 문장 한 줄보다 누적 맥락 관리가 성능을 좌우합니다.
2) 문맥 길이가 늘수록 정보 배치 문제가 커짐
긴 컨텍스트를 다룰 수 있어도, 핵심 정보 위치에 따라 회수율이 달라집니다. 특히 중간 구간 정보가 묻히는 현상은 실무에서도 자주 관찰됩니다.
3) 정보량 증가 ≠ 품질 상승
자료를 많이 넣는다고 자동으로 좋아지지 않습니다. 오히려 충돌 지시·불필요 배경·중복 근거가 늘어 품질이 떨어질 수 있습니다.
4) 출력 계약 미정으로 재작업 증가
결과물 형식(길이, 섹션, 톤)을 선명하게 정하지 않으면, 내용은 맞아도 실무에서 바로 못 쓰는 결과가 나옵니다.
flowchart LR A[Prompt 중심: 질문 문장 최적화] --> B[단발성 작업에서 효과] C[Context 중심: 목표·자료·도구·기록 설계] --> D[다단계 작업에서 안정] B -.작업 규모 증가.-> E[재현성 하락] D --> F[품질/속도/비용 동시 개선]
같은 요청, 다른 컨텍스트
케이스 A: 보고서 작성
- Prompt 중심: “AI 시장 보고서 써줘.”
- Context 중심:
- 독자: 경영진
- 목적: 의사결정
- 포함: 시장/리스크/액션
- 제외: 기술 상세
- 근거: 공식 링크 3개
- 산출물: 1페이지
차이: 문장은 비슷해도, Context 중심은 회의에서 바로 쓰기 쉽습니다.
케이스 B: 고객 메일 작성
- Prompt 중심: “정중하게 메일 써줘.”
- Context 중심:
- 역할: 마케팅 팀장
- 목적: 일정 재조율
- 배경: 지난 합의 2줄
- 금지: 공격적 표현/과한 약속
- 산출물: 제목 2안 + 본문 1안
차이: 문장 품질보다 실무 적합성이 크게 개선됩니다.
실무 디버깅 프레임 (3문장)
결과가 아쉬울 때, 문장을 고치기 전에 아래 3개를 먼저 점검하세요.
- 목표가 1개로 고정되어 있는가?
- 근거 자료가 최신·신뢰 가능한가?
- 출력 계약이 명확한가?
25분 실습: Prompt vs Context A/B 테스트
도구
- 메모 앱
- 동일 작업 1개(보고서/메일/기획 중 택1)
입력 자료
- 기존 요청문
- 참고 링크 2~3개
실행
- 기존 요청문으로 실행 (A)
- 아래 템플릿으로 재작성 후 실행 (B)
[목표] 이번 턴에서 끝내야 할 결과 1줄
[근거] 사용할 자료 2~3개
[제약] 금지/제외 조건 3개
[출력] 길이·형식·섹션- A/B 결과를 아래 기준으로 비교
- 정확성
- 재작업량
- 실행 가능성
성공 판정
- B가 A보다 수정 횟수가 적은가
- B 결과가 즉시 전달 가능한가
- 다음에도 재현 가능한가
많이 하는 오해 3가지
- 오해 1: “좋은 프롬프트 하나만 만들면 끝”
- 현실: 작업이 길어지면 맥락 관리가 핵심
- 오해 2: “길게 쓰면 무조건 좋다”
- 현실: 핵심 대비 잡음 비율이 중요
- 오해 3: “모델 성능이 전부다”
- 현실: 같은 모델도 컨텍스트 설계에 따라 결과 차이 큼
참고 자료
- Anthropic, Effective context engineering for AI agents
https://www.anthropic.com/engineering/effective-context-engineering-for-ai-agents - Yao et al., ReAct
https://arxiv.org/abs/2210.03629 - Schick et al., Toolformer
https://arxiv.org/abs/2302.04761 - Liu et al., Lost in the Middle
https://arxiv.org/abs/2307.03172
🧠 칠판 치트시트
- 프롬프트는 점, 컨텍스트는 선이다
- 선이 끊기면 작업은 흔들린다
- 질문 최적화보다 작업 환경 최적화가 오래 간다