AI 뉴스

METR 'AI 40시간' 평가 읽는 법|GPT-6 아스트라 40시간·오퍼스 5.5 39시간, 신뢰구간 13~2,645시간의 의미

저녁 연구실 책상에서 모래시계와 상승 그래프가 뜬 노트북을 바라보는 직장인을 AI로 표현한 예시 이미지
AI로 만든 개념 이미지입니다. 실제 장면이 아닙니다.

"AI가 이제 일주일치 일을 한다"는 제목을 보고 에이전트에게 큰 작업을 통째로 맡겨도 될지 고민하는 분이 많을 겁니다. 숫자는 맞지만, 그 숫자가 뜻하는 일은 생각보다 좁습니다.

목차 (8)

AI 평가 기관 METR이 11월 20일 낸 보고서에서 GPT-6 아스트라는 40시간, 클로드 오퍼스 5.5는 39시간의 '시간 지평'을 기록했습니다. 사람 전문가가 그만큼 걸리는 과제를 50% 확률로 해낸다는 뜻이에요. 같은 표에 적힌 95% 신뢰구간은 아스트라 기준 13시간에서 2,645시간까지 벌어져 있습니다.

시간 지평은 무엇을 재나

METR의 '시간 지평'은 과제 난이도를 사람 전문가의 소요 시간으로 바꿔 적은 뒤, AI가 그 과제를 절반 확률로 성공하는 지점을 찾는 지표입니다.

  • 40시간 연속 작업이 아닙니다. AI가 실제로 몇 시간 일했는지와 무관해요.
  • 성공률 50% 기준입니다. 두 번에 한 번은 실패한다는 뜻이라, 업무에서 기대하는 80~90% 성공률로 바꾸면 시간은 훨씬 짧아집니다.
  • 코딩·최적화 위주 과제입니다. 문서 작성이나 영업 같은 일은 측정 대상이 아니었어요.
모델 50% 시간 지평 95% 신뢰구간 과제 시간을 다르게 추정했을 때
GPT-6 아스트라 40시간 13 ~ 2,645시간 29 ~ 32시간
클로드 오퍼스 5.5 39시간 12 ~ 1,253시간 29 ~ 30시간

METR 시간 지평 결과 정리, GPT-6 아스트라 40시간과 클로드 오퍼스 5.5 39시간, 95% 신뢰구간 13~2645시간과 12~1253시간, 약 3.6개월마다 두 배

마지막 열은 METR이 일부 과제의 사람 소요 시간 추정을 바꿔 다시 계산한 값입니다. 추정 방법만 바꿔도 40시간이 29~32시간으로 내려간다는 점, 신뢰구간 위쪽이 2,645시간까지 열려 있다는 점이 이 숫자의 성격을 보여 줘요.

왜 이렇게 불확실한가

METR은 이번에 기존 과제 묶음(TH1.1)에 더 어렵고 긴 새 과제 36개(TH2, 12개 묶음)를 더했습니다. 그런데 새 과제 34개에 대해 점수-시간 기준을 만들 때 실제 사람 측정은 3개뿐이고 31개는 연구진 추정이었어요.

이유는 단순합니다. 지금 모델보다 잘하는 사람 측정자를 찾기가 어렵고 비싸졌다고 METR은 썼습니다. 2025년 3월 첫 발표 때 최고 모델이 약 1시간이었는데, 1년 만에 30시간짜리 과제까지 있는 TH1.1을 거의 다 풀어 버린 탓이에요. 보고서 제목도 "빠르게 좋아지고 있고, 재기는 점점 어려워진다"입니다.

AI가 잘한 것과 못한 것

잘한 것: 프로그래밍 최적화 대회 기록과 비교하면 최상위 모델(오퍼스 5.5, 아스트라)은 대회별 참가자 97~413명 중 96~98번째 백분위에 들었습니다. 다만 맨 위 사람 몇 명은 넘지 못했어요. 정답을 바로 확인할 수 있는 과제, 예를 들어 코드가 돌아가는지나 수학 답이 맞는지 보는 일에 특히 강했습니다.

못한 것: 결과를 바로 확인하기 어려운 선택에서는 사람 전문가보다 판단력이 떨어졌습니다. METR이 모델에게 자기 연구에 쓸 평가 과제를 설계하게 해 봤더니, 연구진이 실제로 쓸 만하다고 본 결과물은 하나도 없었어요. 또 비슷하거나 더 강한 모델이 만든 결과를 모델에게 채점시키면 품질을 실제보다 높게 매기는 경향이 보였습니다.

업무에 맡길 때 기준

에이전트에게 일을 넘기는 실무자라면 이 보고서에서 가져갈 기준은 세 가지입니다.

  1. 검증할 수 있는 일부터: 테스트가 있는 코드 수정, 정답이 있는 데이터 정리처럼 결과를 기계적으로 확인할 수 있는 일은 긴 작업도 맡길 만합니다.
  2. 판단이 필요한 일은 사람이 마지막에: 어떤 실험을 할지, 어떤 기능을 먼저 만들지 같은 결정은 AI 제안을 받되 사람이 고릅니다.
  3. AI 채점을 AI에게만 맡기지 않기: 모델이 만든 결과를 다른 모델로 평가하면 점수가 후하게 나올 수 있습니다. 표본 몇 개는 사람이 직접 봐야 해요.

비용을 같이 따져야 한다면 AI 에이전트 비용 줄이기|작업당 비용과 분류기 라우팅에서 작업마다 모델을 나눠 쓰는 방법을 정리해 두었습니다.

📌 함께 보면 좋은 글: GPT-6.2 아스트라·솔 API 가격과 고르는 법

3.6개월마다 두 배, 이어 그리면

METR은 TH1.1과 TH2를 합친 과제에서 시간 지평이 약 3.61개월마다 두 배가 된다고 추정했습니다. 이 속도를 단순히 이어 그리면 과제 묶음의 가장 긴 기준인 200시간에 2027년 7월쯤 닿는다고 적었어요.

다만 METR은 이 계산을 "단순한 외삽"이라고 표시했고, 앞으로 2년 안에 AI 연구개발이 급격히 빨라질 가능성을 지금 증거로는 배제할 수 없다는 정도로 결론을 냈습니다. 확정된 예측이 아니라 '아니라고 말할 근거가 부족하다'는 신중한 표현입니다.

운영자 코멘트

보고서 본문 표를 직접 열어 보니, 국내 기사에서 자주 빠진 건 신뢰구간과 '사람 측정 3개, 추정 31개'라는 대목이었습니다. 40시간은 방향을 보여 주는 숫자로 읽고, 우리 팀 업무에 맞는지는 작은 과제로 직접 성공률을 재 보는 게 가장 확실합니다.

METR 시간 지평 AI 40시간 읽는 법, 성공률 50% 기준, 신뢰구간 13~2,645시간 안내 카드

맺음말

  1. 시간 지평 40시간은 사람 전문가 40시간짜리 과제를 50% 확률로 성공한다는 뜻입니다.
  2. 신뢰구간이 13~2,645시간으로 넓고, 새 과제 대부분의 사람 시간은 추정치입니다.
  3. 검증 가능한 일은 길게 맡기고, 판단과 채점은 사람이 마지막에 보세요.

공식 자료

👉 다음에 읽을 글
- 캘리포니아주 오픈AI 소송|AI 에이전트 통제 실패와 기업이 챙길 로그·권한 — 에이전트에게 맡길 때 남겨야 할 기록
- 페이블 5.2 요금제별 사용법과 기본 모델 오퍼스 5.5 — 클로드에서 오퍼스 5.5를 쓰는 조건

자주 묻는 질문

AI가 40시간 동안 쉬지 않고 일한다는 뜻인가요?
아닙니다. 사람 전문가가 끝내는 데 약 40시간 걸리는 과제를 AI가 50% 확률로 성공한다는 뜻입니다. AI가 실제로 그 시간만큼 연속 작업한다는 의미가 아니며, 성공 확률을 80%로 잡으면 시간은 훨씬 짧아집니다.
40시간이라는 숫자는 얼마나 정확한가요?
METR 표에서 GPT-6 아스트라는 40시간(95% 신뢰구간 13~2,645시간), 클로드 오퍼스 5.5는 39시간(12~1,253시간)입니다. 새 과제 36개 중 대부분의 사람 소요 시간을 직접 재지 않고 추정했다고 METR이 밝혀 불확실성이 큽니다.
AI가 사람보다 못하는 일은 무엇인가요?
결과를 바로 확인하기 어려운 판단, 예를 들어 어떤 연구가 해볼 가치가 있는지 고르는 일에서는 사람 전문가보다 판단력이 떨어졌습니다. 모델에게 다른 모델의 결과를 채점하게 하면 품질을 실제보다 높게 매기는 경향도 보였습니다.
앞으로 얼마나 빨라지나요?
METR은 시간 지평이 약 3.6개월마다 두 배가 된다고 추정했습니다. 단순히 이어 그리면 2027년 7월에 200시간에 닿지만, METR 스스로 불확실성이 크다고 밝혔습니다.