에반은 버셀이 공개한 실험을 바탕으로, AI에게 일을 시키는 두 방식인 스킬과 agent.md를 비교한다. 결과는 예상과 달랐다. 필요할 때 꺼내 보는 스킬보다, 프로젝트 폴더에 항상 펼쳐 둔 agent.md가 더 높은 점수를 냈고, 에반은 그 이유와 바로 적용하는 법까지 풀어낸다.

flowchart LR
A[새 기능을 AI가 옛날 지식으로 처리함] --> B[버셀이 스킬과 agent.md를 비교 실험함]
B --> C[항상 보이는 agent.md가 선택 부담을 없앰]
C --> D[핵심만 압축한 문서를 프로젝트에 두는 방식이 더 잘 먹힘]

핵심 요약

  • 버셀은 AI에게 일을 시키는 두 방식으로 스킬과 agent.md를 비교했고, 결과는 agent.md 100점, 스킬 79점이었다.
  • 실험은 맨몸 상태, 스킬을 알아서 쓰게 두기, 스킬을 꼭 쓰라고 강하게 지시하기, agent.md를 두는 방식까지 네 가지 상황으로 진행됐다.
  • 스킬을 알아서 쓰게 둔 경우는 맨몸 상태와 똑같이 53점이었고, 이유는 AI가 매뉴얼을 꺼내 보지 않았기 때문이라고 설명한다.
  • agent.md가 이긴 이유는 눈앞에 항상 펼쳐져 있어서 볼지 말지 선택할 필요가 없고, 일하는 모든 순간에 같이 있으며, 순서를 고민할 필요도 없기 때문이라고 정리한다.
  • 버셀은 긴 문서를 그대로 두지 않고 40 분량을 8로 줄여 80%를 덜어냈고, 핵심 목차만 남겨도 점수는 그대로 100점이었다.

왜 지금 중요한가

에반이 짚는 문제는 단순히 파일 포맷 취향이 아니다. AI가 새 기능을 모른 채 옛날 기억으로 일해 버리는 상황에서, 더 정교한 도구보다 선택을 덜 시키는 구조가 더 잘 먹혔다는 얘기다. 개발자나 PM 입장에서는 도구를 더 복잡하게 붙이는 것보다, 프로젝트 문맥을 어떻게 항상 보이게 둘지가 더 중요한 설계 포인트가 된다.

주요 내용

실험의 출발점은 AI의 오래된 기억이다

에반은 AI를 “몇 달 전에 공부를 끝낸 학생”에 비유한다. 시험 보기 전까지는 책을 외웠지만, 그 뒤에 문서가 바뀌면 새 기능은 본 적이 없다는 설명이다. 예시로는 넥스트JS 16버전을 들며, AI가 새로운 기능을 모르면서도 옛날 방식대로 코드를 짜 버리는 문제가 있다고 말한다.

버셀이 마주친 질문도 여기서 나온다. 새 기능을 AI에게 어떻게 알려줄지, 그리고 옛날 지식 대신 새 문서를 보고 일하게 만들 수 있을지가 실험의 출발점이다.

스킬과 agent.md는 전달 방식부터 다르다

스킬은 AI에게 주는 전문 매뉴얼 묶음으로 설명된다. 비유로는 회사 책장에 꽂힌 두꺼운 전문 매뉴얼이다. 필요할 때만 꺼내 보는 방식이라 평소에는 자리도 안 차지하고 효율적으로 보인다.

반면 agent.md는 프로젝트 폴더에 있는 텍스트 파일 하나다. 신입 직원 책상 위에 항상 펼쳐진 메모지처럼, 일을 시작할 때마다 안 봐도 그냥 눈에 들어오게 두는 방식으로 설명한다. 겉으로 보면 전자가 더 똑똑해 보이지만, 실험 결과는 반대로 나왔다.

점수는 53, 53, 79, 100으로 갈렸다

버셀은 네 가지 상황을 만들었다. 아무 도움 없이 막히기, 스킬을 주고 알아서 쓰게 두기, 스킬을 꼭 쓰라고 강하게 지시하기, 그리고 agent.md를 눈앞에 두는 방식이다. 문제도 일부러 AI가 한 번도 본 적 없는 새 기능들로만 구성했다고 한다.

점수는 분명하다. 맨몸 상태는 53점, 스킬을 알아서 쓰게 둔 경우도 53점, 스킬을 꼭 보라고 시킨 경우는 79점, agent.md는 100점이었다. 에반은 특히 스킬을 줬는데도 점수가 1점도 안 오른 대목을 강조한다. 매뉴얼이 있어도 AI가 꺼내 보지 않으면 없는 것과 같다는 얘기다.

agent.md가 이긴 이유는 선택을 안 시키기 때문이다

에반은 스킬이 진 이유를 먼저 설명한다. AI가 매뉴얼 존재를 알아도 열 번 중 거의 여섯 번은 안 펼쳐봤고, 결국 자기 기억으로 일을 해 버린다는 것이다. 본인도 스킬을 만들어 놔도 AI가 안 불러서, 이제는 자동 호출을 거의 안 믿고 직접 “야, 지금 이 스킬 써”라고 부른다고 말한다.

반대로 agent.md는 눈앞에 펼쳐져 있으니 볼지 말지 결정할 필요가 없다. 항상 매 순간 같이 있고, 매뉴얼을 먼저 볼지 코드를 먼저 볼지 순서 고민도 줄어든다. 그래서 에반은 핵심 교훈을 “AI한테 선택을 안 시킨 거예요”라고 정리한다.

길게 쓰지 말고 압축해서 프로젝트 위에 둔다

버셀은 여기서 한 단계 더 나아가 문서를 확 줄였다. 원래 40 정도 되는 분량을 8까지 줄여 80%를 덜어냈고, 전체 내용을 다 넣는 대신 목차만 남겼다고 말한다. 그랬는데도 점수는 그대로 100점이었다.

적용 방법도 구체적이다. 넥스트 프로젝트에서는 npx next-code-mod@latest agent.md 한 줄로 프로젝트 버전 확인, 그 버전에 맞는 문서 다운로드, 문서 목차 압축 후 agent.md 반영까지 자동으로 처리된다고 설명한다. 직접 만들 경우에는 프로젝트 맨 위에 agent.md 파일을 두고, 규칙·색깔·폰트·폴더 구조 같은 핵심만 짧게 적고, 맨 위에 “외운 지식 말고 이 문서를 먼저 보고 판단해”라는 한 줄을 넣으라고 권한다.

원문 발화 하이라이트

  • [00:13] “에이전트.md가 MD가 100점을 맞았어요. 스킬은 79점에서 얹쳤고요.”
  • [03:06] “이것도 53점이에요. 네, 잘못 들으신 거 아닙니다. 똑같이 53점.”
  • [03:26] “에이전트 단 MD 방식 100점이에요. 다 맞았어요. 단 하나도 안 틀렸습니다.”
  • [06:13] “에이전트닷 MD가 이긴 비결은 의외로 단순해요. AI한테 선택을 안 시킨 거예요.”
  • [07:08] “8까지 줄였어요. 무려 80%를 덜어낸 거예요.”
  • [09:34] “외운 지식 말고 이 문서를 먼저 보고 판단해. 이게 진짜 중요해요.”

바로 실행해 보기

  • 프로젝트에서 AI가 자꾸 옛날 방식으로 답하는 작업 하나를 골라, 관련 규칙과 최신 문서 목차만 짧게 정리한 agent.md를 맨 위에 둬 본다.
  • 긴 가이드 문서를 그대로 넣지 말고, 영상에서 말한 것처럼 핵심 목차와 규칙만 남기는 방식으로 얼마나 줄일 수 있는지 먼저 압축해 본다.
  • agent.md 맨 위에 “외운 지식 말고 이 문서를 먼저 보고 판단해” 같은 한 줄을 넣고, 같은 작업을 다시 시켜 AI가 문서를 먼저 참고하는지 확인해 본다.

참고

영상 메타

수집 품질

  • 자막 세그먼트: 319개
  • 자막 문자수: 5756자
  • 챕터 추출: 16개
  • 콘텐츠 생성: Subagent 기반

AI 생성 도구를 활용해 초안을 구성했고, 원영상 발화와 공개 자료를 교차 확인해 정리했습니다.