"AI가 이제 일주일치 일을 한다"는 제목을 보고 에이전트에게 큰 작업을 통째로 맡겨도 될지 고민하는 분이 많을 겁니다. 숫자는 맞지만, 그 숫자가 뜻하는 일은 생각보다 좁습니다.
METR 'AI 40시간' 평가 읽는 법|GPT-6 아스트라 40시간·오퍼스 5.5 39시간, 신뢰구간 13~2,645시간의 의미
목차 (8)
AI 평가 기관 METR이 11월 20일 낸 보고서에서 GPT-6 아스트라는 40시간, 클로드 오퍼스 5.5는 39시간의 '시간 지평'을 기록했습니다. 사람 전문가가 그만큼 걸리는 과제를 50% 확률로 해낸다는 뜻이에요. 같은 표에 적힌 95% 신뢰구간은 아스트라 기준 13시간에서 2,645시간까지 벌어져 있습니다.
시간 지평은 무엇을 재나
METR의 '시간 지평'은 과제 난이도를 사람 전문가의 소요 시간으로 바꿔 적은 뒤, AI가 그 과제를 절반 확률로 성공하는 지점을 찾는 지표입니다.
- 40시간 연속 작업이 아닙니다. AI가 실제로 몇 시간 일했는지와 무관해요.
- 성공률 50% 기준입니다. 두 번에 한 번은 실패한다는 뜻이라, 업무에서 기대하는 80~90% 성공률로 바꾸면 시간은 훨씬 짧아집니다.
- 코딩·최적화 위주 과제입니다. 문서 작성이나 영업 같은 일은 측정 대상이 아니었어요.
| 모델 | 50% 시간 지평 | 95% 신뢰구간 | 과제 시간을 다르게 추정했을 때 |
|---|---|---|---|
| GPT-6 아스트라 | 40시간 | 13 ~ 2,645시간 | 29 ~ 32시간 |
| 클로드 오퍼스 5.5 | 39시간 | 12 ~ 1,253시간 | 29 ~ 30시간 |

마지막 열은 METR이 일부 과제의 사람 소요 시간 추정을 바꿔 다시 계산한 값입니다. 추정 방법만 바꿔도 40시간이 29~32시간으로 내려간다는 점, 신뢰구간 위쪽이 2,645시간까지 열려 있다는 점이 이 숫자의 성격을 보여 줘요.
왜 이렇게 불확실한가
METR은 이번에 기존 과제 묶음(TH1.1)에 더 어렵고 긴 새 과제 36개(TH2, 12개 묶음)를 더했습니다. 그런데 새 과제 34개에 대해 점수-시간 기준을 만들 때 실제 사람 측정은 3개뿐이고 31개는 연구진 추정이었어요.
이유는 단순합니다. 지금 모델보다 잘하는 사람 측정자를 찾기가 어렵고 비싸졌다고 METR은 썼습니다. 2025년 3월 첫 발표 때 최고 모델이 약 1시간이었는데, 1년 만에 30시간짜리 과제까지 있는 TH1.1을 거의 다 풀어 버린 탓이에요. 보고서 제목도 "빠르게 좋아지고 있고, 재기는 점점 어려워진다"입니다.
AI가 잘한 것과 못한 것
잘한 것: 프로그래밍 최적화 대회 기록과 비교하면 최상위 모델(오퍼스 5.5, 아스트라)은 대회별 참가자 97~413명 중 96~98번째 백분위에 들었습니다. 다만 맨 위 사람 몇 명은 넘지 못했어요. 정답을 바로 확인할 수 있는 과제, 예를 들어 코드가 돌아가는지나 수학 답이 맞는지 보는 일에 특히 강했습니다.
못한 것: 결과를 바로 확인하기 어려운 선택에서는 사람 전문가보다 판단력이 떨어졌습니다. METR이 모델에게 자기 연구에 쓸 평가 과제를 설계하게 해 봤더니, 연구진이 실제로 쓸 만하다고 본 결과물은 하나도 없었어요. 또 비슷하거나 더 강한 모델이 만든 결과를 모델에게 채점시키면 품질을 실제보다 높게 매기는 경향이 보였습니다.
업무에 맡길 때 기준
에이전트에게 일을 넘기는 실무자라면 이 보고서에서 가져갈 기준은 세 가지입니다.
- 검증할 수 있는 일부터: 테스트가 있는 코드 수정, 정답이 있는 데이터 정리처럼 결과를 기계적으로 확인할 수 있는 일은 긴 작업도 맡길 만합니다.
- 판단이 필요한 일은 사람이 마지막에: 어떤 실험을 할지, 어떤 기능을 먼저 만들지 같은 결정은 AI 제안을 받되 사람이 고릅니다.
- AI 채점을 AI에게만 맡기지 않기: 모델이 만든 결과를 다른 모델로 평가하면 점수가 후하게 나올 수 있습니다. 표본 몇 개는 사람이 직접 봐야 해요.
비용을 같이 따져야 한다면 AI 에이전트 비용 줄이기|작업당 비용과 분류기 라우팅에서 작업마다 모델을 나눠 쓰는 방법을 정리해 두었습니다.
📌 함께 보면 좋은 글: GPT-6.2 아스트라·솔 API 가격과 고르는 법
3.6개월마다 두 배, 이어 그리면
METR은 TH1.1과 TH2를 합친 과제에서 시간 지평이 약 3.61개월마다 두 배가 된다고 추정했습니다. 이 속도를 단순히 이어 그리면 과제 묶음의 가장 긴 기준인 200시간에 2027년 7월쯤 닿는다고 적었어요.
다만 METR은 이 계산을 "단순한 외삽"이라고 표시했고, 앞으로 2년 안에 AI 연구개발이 급격히 빨라질 가능성을 지금 증거로는 배제할 수 없다는 정도로 결론을 냈습니다. 확정된 예측이 아니라 '아니라고 말할 근거가 부족하다'는 신중한 표현입니다.
운영자 코멘트
보고서 본문 표를 직접 열어 보니, 국내 기사에서 자주 빠진 건 신뢰구간과 '사람 측정 3개, 추정 31개'라는 대목이었습니다. 40시간은 방향을 보여 주는 숫자로 읽고, 우리 팀 업무에 맞는지는 작은 과제로 직접 성공률을 재 보는 게 가장 확실합니다.

맺음말
- 시간 지평 40시간은 사람 전문가 40시간짜리 과제를 50% 확률로 성공한다는 뜻입니다.
- 신뢰구간이 13~2,645시간으로 넓고, 새 과제 대부분의 사람 시간은 추정치입니다.
- 검증 가능한 일은 길게 맡기고, 판단과 채점은 사람이 마지막에 보세요.
공식 자료
- AI R&D-relevant model capabilities are improving rapidly and are getting harder to measure (METR, 2026-11-20)
- Task-Completion Time Horizons of Frontier AI Models (METR)
- AI 작업 능력, 6개월 만에 16시간→40시간 (AI타임스, 2026-11-21)
👉 다음에 읽을 글
- 캘리포니아주 오픈AI 소송|AI 에이전트 통제 실패와 기업이 챙길 로그·권한 — 에이전트에게 맡길 때 남겨야 할 기록
- 페이블 5.2 요금제별 사용법과 기본 모델 오퍼스 5.5 — 클로드에서 오퍼스 5.5를 쓰는 조건
자주 묻는 질문
- AI가 40시간 동안 쉬지 않고 일한다는 뜻인가요?
- 아닙니다. 사람 전문가가 끝내는 데 약 40시간 걸리는 과제를 AI가 50% 확률로 성공한다는 뜻입니다. AI가 실제로 그 시간만큼 연속 작업한다는 의미가 아니며, 성공 확률을 80%로 잡으면 시간은 훨씬 짧아집니다.
- 40시간이라는 숫자는 얼마나 정확한가요?
- METR 표에서 GPT-6 아스트라는 40시간(95% 신뢰구간 13~2,645시간), 클로드 오퍼스 5.5는 39시간(12~1,253시간)입니다. 새 과제 36개 중 대부분의 사람 소요 시간을 직접 재지 않고 추정했다고 METR이 밝혀 불확실성이 큽니다.
- AI가 사람보다 못하는 일은 무엇인가요?
- 결과를 바로 확인하기 어려운 판단, 예를 들어 어떤 연구가 해볼 가치가 있는지 고르는 일에서는 사람 전문가보다 판단력이 떨어졌습니다. 모델에게 다른 모델의 결과를 채점하게 하면 품질을 실제보다 높게 매기는 경향도 보였습니다.
- 앞으로 얼마나 빨라지나요?
- METR은 시간 지평이 약 3.6개월마다 두 배가 된다고 추정했습니다. 단순히 이어 그리면 2027년 7월에 200시간에 닿지만, METR 스스로 불확실성이 크다고 밝혔습니다.