"고객 문의를 부서별로 나누는 데 GPT를 쓰는데, 느리고 비싸요." 이런 고민에 맞춘 API가 나왔습니다. 결론부터 말하면, OpenAI는 10월 22일 분류·라우팅 같은 '정해진 답' 판단 전용 Decisions API를 정식 출시했고, 같은 gpt-6-luna를 Responses API로 쓸 때보다 최대 10배 빠르며 출력 토큰 요금이 없습니다.
✅ 이 글에서 얻을 수 있는 것
1. Decisions API가 맞는 작업과 맞지 않는 작업
2. predicate·choice·score 질문 유형과 응답 읽는 법
3. 파이썬 예제와 비용 계산
핵심 정리
| 항목 | 내용 |
|---|---|
| 정식 출시 | 2026년 10월 22일 |
| 엔드포인트 | POST /v1/decisions |
| 모델 | gpt-6-luna (현재 유일) |
| 속도 | Responses API 대비 최대 10배 빠름 |
| 입력 | 텍스트, 이미지(URL·base64), JSON(input_json), 대화 기록·도구 호출 결과 |
| 질문 수 | 요청당 최대 400개 (베타 200개에서 확대) |
| 가격 | 입력 $0.10 / 100만 토큰, 캐시 입력 $0.01, 출력 요금 없음 |
| 데이터 | 미국·EU 지역 처리, 조건 충족 시 ZDR·HIPAA |
| 신규 | GPT-Live 연동, 프롬프트 캐싱, Private Link, 사용량 리포트 |
질문 유형 3가지
| 유형 | 이럴 때 | 돌려주는 값 |
|---|---|---|
predicate |
상품 사진에 파손이 있는가 | probability (0~1) |
choice |
문의를 어느 부서로 보낼까 | choice + 보기별 probabilities + confidence |
score |
장애 심각도는 몇 등급인가 (2~10단계) | 등급 인덱스의 확률 가중 평균 score |
score는 평균이라 등급 사이 값이 나올 수 있습니다. 가이드 예시에서는 3단계 확률이 0.1, 0.7, 0.2일 때 score가 1.1입니다. 순서가 없는 분류는 choice를 쓰세요.
파이썬 예제: 문의 부서 배정 (choice)
OpenAI 개발자 가이드의 예제를 바탕으로 했습니다.
from openai import OpenAI
client = OpenAI()
decision = client.decisions.create(
model="gpt-6-luna",
input="I was charged twice for my order.",
questions=[
{
"type": "choice",
"name": "department",
"instructions": "Which department should handle this complaint?",
"choices": [
{"value": "billing", "description": "Payments, invoices, and refunds."},
{"value": "technical", "description": "Problems using the product."},
{"value": "shipping", "description": "Delivery and tracking."},
{"value": "other", "description": "Requests outside these categories."},
],
}
],
)
answer = decision.answers[0]
if answer.type == "refusal":
print(f"Refused: {answer.name}")
elif answer.type == "choice":
print(answer.choice, answer.confidence) # 예: billing 0.93
- 보기에
other같은 예비 선택지를 꼭 넣으세요. 어느 범주에도 맞지 않는 입력을 사람 검토 대기열로 보낼 수 있습니다. - 응답은
answers배열이며, 질문마다 붙인name이 그대로 돌아옵니다. refusal유형이 올 수 있으니 분기 처리를 넣어 두세요.
심각도 점수 (score) 요청 형태
{
"model": "gpt-6-luna",
"input": "Export fails in Safari but works in Chrome.",
"questions": [{
"type": "score",
"name": "severity",
"instructions": "How severe is this issue?",
"levels": [
{"label": "Cosmetic", "description": "Appearance only; no lost functionality."},
{"label": "Workaround available", "description": "A task fails, but another way works."},
{"label": "Fully blocked", "description": "A task fails with no workaround."}
]
}]
}
등급은 낮은 것부터 높은 순서로 쓰고, 인접 등급의 기준이 확실히 구분되게 정의하는 것이 정확도의 핵심입니다.
📌 함께 보면 좋은 가이드: Claude Haiku 5.5 API 가격·마이그레이션 — 저가 모델로 분류 작업을 돌릴 때 비교해 볼 선택지입니다.
비용 계산 예시
출력 요금이 없어서 입력 토큰만 계산하면 됩니다.
| 상황 | 계산 | 비용 |
|---|---|---|
| 문의 1건 평균 500토큰 × 하루 1만 건 | 500만 토큰 × $0.10 / 100만 | 하루 약 $0.50 |
| 같은 작업 한 달(30일) | 1억 5,000만 토큰 | 약 $15 |
| 공통 안내문 2,000토큰을 캐시 | 캐시 읽기 $0.01 / 100만 | 반복 부분 비용 90% 절감 |
캐시는 공유 입력의 앞부분이 1,024토큰 이상이고 요청마다 완전히 같을 때 적용됩니다. 질문 내용은 이 기준에 포함되지 않습니다. 실제 캐시 여부는 usage.input_tokens_details.cached_tokens로 확인하세요.
실제 사용 사례 (OpenAI 발표)
- Datadog: 에이전트가 만든 셸 명령의 위험도를 실행 전에 점수화, 다른 프런티어 모델 대비 p95 지연 40배 빠름
- Sierra: 실시간 상담에서 다음 행동 선택, p95 280ms 미만, 호출당 비용 90% 절감
- Ramp: AI 비용을 실제 업무에 배분, gpt-6-luna 대비 4배 빠르고 30% 저렴
- Speak: GPT-Live 연동으로 다음 행동까지 시간 1.4초 → 0.13초
- Box: 보험 증명서 30건 분류에서 Responses API와 같은 정확도로 약 5배 빠른 경로 선택
맺음말
- Decisions API는 분류·라우팅·다음 행동 선택처럼 답이 정해진 판단을 빠르고 싸게 처리하는 전용 API입니다.
- predicate·choice·score 중 하나를 고르고, 출력 요금 없이 입력 100만 토큰당 $0.10만 냅니다.
- 자유 형식 JSON 생성이 필요하면 여전히 Responses API의 Structured Outputs가 맞습니다.
공식 자료
- Build more responsive apps with the Decisions API (OpenAI, 2026-10-22)
- Decisions 개발자 가이드 (OpenAI API 문서, 2026-10-24 확인)
👉 다음에 읽을 글
- Sign in with ChatGPT 정리 — 사용자 구독으로 앱의 AI 비용을 처리하는 방법입니다.
- OpenAI 모델 구글 클라우드 도입 — 기업이 OpenAI 모델을 쓰는 경로 비교입니다.
