AI 보안

오픈AI 적대적 증류 방어|GPT-6.2 추론 흔적 탈취 성공률 54%→0.2%, API 개발자가 알아 둘 변화 3가지

밤의 개발자 책상 위 자물쇠와 사슬이 걸린 노트, 뇌 모양 그림이 띄워진 노트북을 AI로 표현한 예시 이미지
AI로 만든 개념 이미지입니다. 실제 장면이 아닙니다.

남의 모델 답을 모아 내 모델을 가르치는 일, 어디까지가 괜찮을까요? 증류가 왜 국가안보 문제로까지 번졌는지부터 짚어 보겠습니다. 오픈AI가 11월 20일 이 문제에 대한 대응을 길게 공개했습니다. 중심에 있는 건 모델이 답을 만들며 거친 추론 흔적(chain-of-thought)을 빼 가지 못하게 막는 일이고, 그 결과 API 동작도 일부 바뀌었습니다.

목차 (7)

숫자로 보면

항목 내용
추론 흔적 탈취 공격 평균 성공률 GPT-6 아스트라(기존 안전장치) 54.0% → GPT-6.2 아스트라(새 안전장치) 0.2%
평가 방식 내부 자동 레드팀이 앞선 질문에서 만든 보호된 추론을 되찾을 수 있는지 시험
계정 조치 규모 주간 수천~수만 개 계정, 올여름 빈도 크게 증가
적용 모델 GPT-6.2 아스트라, GPT-6.2 솔

공격 성공률은 오픈AI가 자체 평가로 낸 수치라, 외부에서 같은 조건으로 재현한 결과는 아닙니다.

오픈AI 자체 평가 추론 흔적 탈취 공격 평균 성공률, GPT-6 아스트라 기존 안전장치 54.0%, GPT-6.2 아스트라 새 안전장치 0.2%

왜 추론 흔적인가

오픈AI는 사이버 보안 작업으로 실험을 했습니다. 같은 사전 학습 모델에서 출발해, 한쪽은 아스트라급 모델의 정확한 추론 흔적으로, 다른 쪽은 사용자에게 보이는 추론 요약으로 학습시켰어요. 미세 조정 뒤에는 정확한 흔적으로 배운 쪽이 대체로 앞섰고, 강화 학습 뒤에도 가장 큰 추론 예산에서는 그 차이가 남았습니다.

문제는 허용된 방어용 작업에서 나온 흔적이라도, 쌓이면 공격에 쓸 수 있는 기술까지 옮겨 간다는 점입니다. 보안이나 생물학처럼 양쪽으로 쓰일 수 있는 분야에서 특히 그렇다고 오픈AI는 설명합니다.

두 겹으로 막는다

오픈AI 적대적 증류 방어 두 단계, 요청 단계는 모델 거절 학습·입출력 분류기·API 제한, 캠페인 단계는 계정 신호 분석과 차단, 업계 공유

요청 하나하나에서 모델은 추론을 빼내려는 요청을 알아보고 거절하도록 학습됐습니다. 입력 분류기는 빼내려는 시도를, 출력 분류기는 답과 도구 호출 인자에 추론이 새는지를 봅니다. 최종 답에는 없어도 도구에 넘기는 값에 추론이 섞일 수 있어서 이 부분까지 검사한다고 해요.

캠페인 단위로는 여러 계정의 요청 패턴을 묶어 조직적인 추출 시도를 찾고, 위반이 확인되면 계정 네트워크 전체를 정리합니다. 오픈AI는 2월 의회 브리핑에서 딥시크가 미국 최신 모델 증류를 시도한 정황을 보고했다고도 밝혔습니다.

📌 함께 보면 좋은 가이드: 클로드 증류 공격 방어 강화|preserved thinking과 API 개발자가 바꿀 것

API 개발자가 알아 둘 변화 3가지

이번 글에서 실제 개발에 닿는 부분은 여기입니다.

  1. 보호된 추론이 대화 기록에 묶입니다. GPT-6.2 아스트라·솔은 새 메시지가 붙을 때 앞선 추론을 이어 쓸 수 있지만, 앞 메시지를 고쳐 쓰면 그 뒤에 생긴 추론은 API가 버립니다. 비용을 줄이려고 지난 대화를 요약해 바꿔 넣는 구조라면, 그 지점부터 모델이 추론을 처음부터 다시 쌓는다고 보면 됩니다.
  2. 이전 세대 모델은 6.2의 보호된 추론을 읽지 못합니다. 한 대화 안에서 6.2로 시작해 구형 모델로 넘기는 라우팅을 쓴다면, 넘어간 뒤에는 앞선 추론을 이어받지 못한다고 가정하고 설계하는 게 안전합니다.
  3. 암호화된 추론을 다른 대화로 옮기는 길이 막혔습니다. 9월 공개 때 지적된, 암호화 추론을 다른 대화로 옮겨 풀어 달라고 하던 공격에 맞춰 사용자·워크스페이스·조직·모델 계열 경계를 강화했고, 다른 사용자의 암호화 추론이 노출될 수 있던 경로도 닫았다고 합니다.

모델 교체 계획이 있다면 GPT-6.2 아스트라·솔 가격과 고르는 법도 함께 보세요.

운영자 코멘트

11월 21일 공개 글 전문을 확인해 보니 '증류 금지' 선언보다 기술적으로 무엇을 막았는지에 무게가 실려 있었습니다. 일반 API 사용자가 증류를 하지 않더라도, 대화 기록을 고쳐 쓰는 컨텍스트 관리 방식은 이번 변경의 영향을 받을 수 있어요. 요약·삭제로 컨텍스트를 줄이는 에이전트를 운영한다면 6.2로 바꾼 뒤 응답 품질과 토큰 사용량을 한 번 비교해 보길 권합니다.

맺음말

  1. 오픈AI는 추론 흔적 보호에 집중해, 자체 평가 기준 탈취 공격 성공률을 54.0%에서 0.2%로 낮췄다고 밝혔습니다.
  2. 방어는 요청 단계(거절 학습·분류기·API 제한)와 캠페인 단계(계정 신호 분석·차단) 두 겹입니다.
  3. API에서는 앞 메시지를 고치면 이후 추론이 버려지고, 구형 모델은 6.2의 보호된 추론을 읽지 못합니다.

공식 자료

👉 다음에 읽을 글
- 클로드 증류 공격 방어 강화 — 앤트로픽은 같은 문제를 어떻게 막았는지 비교해 보세요.
- GPT-6.2 아스트라·솔 출시와 API 비용 계산 — 6.2로 바꿀 때 비용부터 확인하세요.

자주 묻는 질문

적대적 증류(adversarial distillation)가 뭔가요?
허락 없이 다른 회사 최신 모델의 출력을 모아 자기 모델을 학습시키는 것입니다. 증류 자체는 흔한 기법이지만, 원래 모델에 걸린 안전장치 없이 능력만 옮겨 갈 수 있어 오픈AI는 보안 위험으로 봅니다.
왜 '추론 흔적'을 특히 지키나요?
오픈AI 내부 실험에서 정확한 추론 흔적으로 학습한 학생 모델이 요약본으로 학습한 모델보다 대체로 성능이 높았습니다. 추론 과정에는 최종 답에 없는 정보가 담겨 있어 학습 데이터로 가치가 크다는 설명입니다.
일반 API 사용자에게 바뀌는 점이 있나요?
GPT-6.2 아스트라·솔에서는 보호된 추론이 그것을 만든 대화 기록에 묶입니다. 앞선 메시지를 고쳐 쓰면 그 뒤의 추론은 버려지고, 이전 세대 모델은 6.2의 보호된 추론을 읽을 수 없습니다.
오픈AI는 실제로 계정을 막고 있나요?
오픈AI는 올해 여러 건의 무단 증류 시도를 확인했고, 주간 단위 조치가 수천에서 수만 개 계정 규모였으며 여름 들어 빈도가 크게 늘었다고 밝혔습니다.