일하는 ai

113. 채점만 해주는 회사가 어떻게 1조

11 min read

-

요즘 AI 모델은 다 잘합니다. 그래서 오히려 더 중요해진 건 생성 자체보다, 어떤 결과가 더 좋은지 판별하는 기준과 시스템이라는 게 이 영상의 중심 주장입니다. Surge AI, Scale AI, Mercor 사례를 묶어서 보면 돈이 GPU보다 Evaluation으로 몰리는 이유가 꽤 선명하게 보입니다.

flowchart LR
A[모델이 다 잘해지는 상황] --> B[무엇이 더 좋은지 판단하기 어려움]
B --> C[Evaluation·Judge Model·전문가 데이터]
C --> D[RL 훈련과 한국 스타트업 기회]

핵심 요약

  • 모델 기술은 점점 평준화되고 있지만, 무엇이 더 좋은 답인지 아는 능력은 바로 살 수 없는 자산으로 설명됩니다.
  • Evaluation은 모델이 어제보다 나아졌는지, 경쟁사보다 나은지 판별하는 기준점이라서 해자 역할을 합니다.
  • 사람 대신 AI가 결과물을 심사하는 LLM as a Judge가 등장했고, 여기서 핵심 데이터는 지식보다 취향과 감도에 가깝습니다.
  • Scale AI의 메타 투자, Surge AI의 무투자 1조 7천억 매출, Mercor의 전문가 네트워크 사례가 시장 수요를 보여 줍니다.
  • 강화학습 RL에서는 채점 기준이 훈련 재료가 되기 때문에, 리워드 해킹을 막는 더 정교한 평가 시스템 수요가 계속 생깁니다.

왜 지금 중요한가

영상은 지금을 “일단 만들자”에서 “제대로 되는지 확인하자”로 넘어가는 시기로 봅니다. 생성형 AI 프로젝트에서 Evaluation과 관측에 투자하는 비중이 지금은 15% 정도지만 2028년에는 50%까지 올라갈 수 있다는 예측도 함께 언급합니다.

도구를 만드는 쪽은 빠르게 흔해지고 있는데, 검증하는 도구와 기준은 아직 부족하다는 게 이 영상의 문제의식입니다. 그래서 실리콘밸리의 큰돈이 모델 자체보다 평가 체계로 이동하고 있다는 얘기입니다.

주요 내용

1. 모델이 다 좋아질수록 평가가 더 어려워진다

영상은 “클로드도 잘하고 GPT도 잘하고 제미나이도 잘한다”는 말로 시작합니다. 예전에는 수학 문제처럼 맞히면 이기는 식이었지만, 이제는 어떤 글이 더 좋은지, 어떤 디자인이 더 세련됐는지, 어떤 답변이 더 자연스러운지처럼 정답지가 없는 문제가 늘어났다는 겁니다.

그래서 Evaluation은 단순 보조 작업이 아니라 개선의 전제가 됩니다. 내 모델이 어제보다 나아졌는지, 경쟁사보다 나은지 판별하는 데이터와 시스템이 없으면 개선 자체가 불가능하다고 말합니다. 영상에서 든 비유가 바로 “저울 없이 다이어트”입니다.

2. Judge Model은 지식보다 취향을 학습한다

사람이 하나하나 채점하면 너무 느리고 비싸기 때문에 나온 방식이 LLM as a Judge입니다. 한 AI가 만든 결과물을 다른 AI가 심사위원처럼 평가하는 구조인데, 여기서 발표자가 특히 강조하는 건 심사위원 AI에게 가르쳐야 하는 것이 지식이 아니라 취향이라는 점입니다.

어떤 문장이 더 자연스러운지, 어떤 요약이 더 읽기 편한지, 어떤 코드가 더 깔끔한지는 객관식 문제가 아니라 감각의 영역에 가깝습니다. 그래서 전문가의 취향과 감도가 담긴 데이터가 금값이 됐고, 이 데이터 자체가 해자가 된다고 설명합니다.

3. 숫자로 확인되는 시장 수요

Scale AI는 데이터 라벨링과 Evaluation으로 유명한 회사로 소개됩니다. 영상에서는 메타가 2025년 6월 약 143억 달러, 우리 돈으로 약 20조 원 가까이를 투자해 지분 49%를 가져갔고, 회사 가치는 약 40조 원으로 평가됐다고 말합니다.

Surge AI는 더 직접적입니다. 투자를 한 푼도 안 받고 연매출 12억 달러, 약 1조 7천억 원을 넘겼고 고객은 오픈AI, 구글, 앤트로픽, 메타 같은 12곳뿐이라고 설명합니다. 발표자는 이 숫자를 두고 시장이 만들어진 게 아니라 수요가 폭발해서 끌려간 것이라고 해석합니다.

Mercor는 변호사, 의사, 박사급 전문가를 AI Evaluation 작업에 연결하는 마켓플레이스로 소개됩니다. 단순 라벨링이 아니라 전문가의 판단력을 파는 시장이 열렸고, 이 회사 역시 기업 가치 10조 원이 넘게 평가받고 있다고 말합니다.

4. RL 환경과 한국 팀의 세 가지 방향

영상의 후반부에서 Evaluation은 강화학습 RL의 재료로 확장됩니다. AI에게 문제를 주고 잘하면 점수를 주는 방식이기 때문에, 점수표가 없으면 학습이 돌아가지 않는 구조라는 설명입니다. 채점 시스템이 돌아가는 가상 훈련장을 RL 환경이라고 부르고, 앤트로픽이 앞으로 1년간 여기에 10억 달러, 1조 4천억 원 넘게 쓸 수 있다는 얘기도 나옵니다.

여기서 중요한 문제가 리워드 해킹입니다. AI가 채점 기준의 허점을 찾아 꼼수를 부리기 때문에, 꼼수가 안 통하는 더 정교한 채점자가 계속 필요해집니다. 이 구조 때문에 수요가 마르기 어렵다는 결론으로 이어집니다.

한국 스타트업과 개발자에게는 세 가지 방향이 제시됩니다. 첫째는 한국어의 미묘한 뉘앙스와 법률·의료·금융 같은 도메인에 맞춘 버티컬 특화 Evaluation, 둘째는 교육 수준 높은 전문가 인력을 글로벌 AI 랩에 연결하는 전문가 네트워크, 셋째는 특정 도메인의 취향을 학습한 Judge Model을 API로 파는 방식입니다. 공통점은 GPU 10만 장이 아니라 깊이 있는 판단 기준이 필요하다는 점입니다.

원문 발화 하이라이트

  • [00:25] “다 잘하니까 뭐가 더 좋은지를 모르겠는 거예요.”
  • [00:53] “뭐가 좋은 건지 아는 능력이에요.”
  • [01:04] “저울 없이 다이어트하는 거랑 똑같아요.”
  • [01:32] “가르쳐야 하는 건 지식이 아니라 취향이라는 거예요.”
  • [05:49] “기술이 흔해질수록 판단력이 비싸진다는 거예요.”

바로 실행해 보기

  • 팀에서 이미 쓰는 모델 출력 하나를 골라서, “무엇이 더 좋은 답인지”를 판별하는 기준부터 따로 적어 봅니다. 영상이 말한 자연스러움, 읽기 편한 요약, 더 깔끔한 코드 같은 항목으로 쪼개는 방식입니다.
  • 사람이 전부 직접 채점하는 흐름이라면, 어디까지를 Judge Model로 넘길 수 있을지 구분해 봅니다. 사람이 느리고 비싸다는 문제를 줄이려면 평가 항목을 먼저 구조화해야 한다는 점이 영상의 포인트입니다.
  • 제품 아이디어를 검토할 때는 모델 개발 경쟁보다 버티컬 Evaluation, 전문가 네트워크, 도메인 특화 Judge Model API 중 어디에 강점이 있는지 따져 봅니다. 영상은 이 시장을 자본 싸움보다 전문성 싸움에 가깝게 봅니다.

참고

영상 메타

수집 품질

  • 자막 세그먼트: 191개
  • 자막 문자수: 3459자
  • 챕터 추출: 20개
  • 콘텐츠 생성: Subagent 기반

AI 생성 도구를 활용해 초안을 구성했고, 원영상 발화와 공개 자료를 교차 확인해 정리했습니다.

그래프 뷰

백링크