AI 회사들이 "위험한 요청은 거절한다"고 말해 온 안전장치가, 정부 감사관의 시험에서는 결국 뚫렸습니다. 미국 의회 소속 감사기관인 회계감사원(GAO)이 11월 18일 공개한 보고서 이야기입니다.
미국 GAO 보고서|챗GPT·클로드·제미나이·그록, 12시간 안에 공격 계획… 시험 방법·업체 반박·기업이 볼 점
목차 (7)
11월 21일 GAO 보고서 페이지와 보도를 확인해 보니, 숫자보다 '무엇을 공개하지 않았는지'가 더 중요해 보였어요. 먼저 범위를 분명히 해 두겠습니다. 이 글은 무엇을 시험했고 결과를 어디까지 믿을 수 있는지를 다룹니다. 보고서가 일부러 감춘 우회 기법이나 공격 내용은 다루지 않습니다.
보고서 한눈에 보기
| 항목 | 내용 |
|---|---|
| 보고서 번호 | GAO-27-108814 (AI 플랫폼 비밀 시험 보고서) |
| 공개 | 2026년 11월 18일 (보고서 날짜 10월 16일) |
| 요청 | 매기 해선 상원의원 |
| 시험 대상 | 챗GPT, 클로드, 제미나이, 그록 |
| 시험 시기 | 2026년 봄, 신분을 숨긴 시험 |
| 시나리오 | 대량 인명 피해 폭발물, 전력망 설비 공격 |
| 결과 | 네 플랫폼 모두 12시간 안에 전문가 검토 기준 '대체로 실행 가능한' 계획 생성 |
| 권고 | 없음 (입법 참고용) |

안전장치는 어떻게 뚫렸나
보고서와 보도를 종합하면 흐름은 이렇습니다. 시험자가 위험한 요청을 하자 처음엔 거절, 답 삭제, 계정 정지까지 안전장치가 움직였어요. 그러나 시험자들은 널리 알려진 우회 기법으로 다시 시도했고, 결국 목표했던 정보를 얻었습니다. GAO의 IT·사이버보안 담당 국장은 보고서와 함께 공개한 팟캐스트에서 "원하던 정보를 얻었다, 이번 경우 안전장치는 작동하지 않았다"고 정리했습니다.
GAO가 강조한 점은 정보 자체가 새로운 게 아니라는 부분이죠. 흩어진 공개 정보를 몇 주가 아니라 몇 시간 만에 하나의 계획으로 묶어 준 것이 문제라는 거죠. 결과물이 실제로 쓸 수 있는 수준인지는 전문가와 함께 확인했다고 해요.
어디까지 믿을 수 있나: 한계와 업체 반박
결과를 과장하지 않으려면 보고서가 스스로 밝힌 한계도 같이 봐야 합니다.
- 어느 회사가 더 위험한지 알 수 없습니다. 어떤 플랫폼이 어떤 시나리오에 정보를 줬는지 공개하지 않았습니다.
- 표본이 작습니다. 특정 시점의 평가이고 통계적으로 의미 있는 표본이 아니라고 GAO가 적었습니다.
- 모델 버전과 우회 기법은 비공개입니다. 악용을 막기 위해서라고 밝혔습니다.
업체들은 대체로 안전성을 계속 높이겠다는 입장이에요. 보도에 따르면 시험에 쓰인 것이 예전 버전이라는 반론이 나왔고, 오픈AI는 보고서가 챗GPT가 준 정보와 시험자·외부 자료가 보탠 정보를 일관되게 구분하지 않았다고 지적했습니다. 앤트로픽은 표본이 작고 비교군이 없다는 점을 문제 삼은 것으로 전해졌어요.
📌 함께 보면 좋은 가이드: 캘리포니아주 오픈AI 소송|AI 에이전트 '통제 실패 80건 이상'과 기업 책임
회사에서 AI를 쓰는 입장에서 볼 점
이 보고서가 일반 기업에 주는 메시지는 단순합니다. 업체 안전장치는 '첫 번째 방어선'일 뿐, 우리 서비스의 마지막 방어선이 아니다.

- 고객용 챗봇을 운영한다면 자체 필터를 둡니다. 챗GPT나 클로드 API 위에 서비스를 올렸다면, 업체 안전장치가 뚫릴 수 있다는 전제로 입력·출력 검사와 차단 로그를 따로 둬야 합니다.
- 사내 사용 로그를 남깁니다. 이상한 질문이 반복되는 계정을 찾으려면 기록이 있어야 합니다. 개인정보 처리 기준과 함께 보관 기간을 정해 두세요.
- 미국 규제 일정을 챙깁니다. 해선 의원은 내년 상원 국토안보위원회 위원장을 맡을 예정이며, 첫 청문회 중 하나로 AI의 국토안보 위험을 다루고 출시 전 안전 시험 강화 법안을 검토하겠다고 했습니다. 미국 고객이 있는 서비스라면 출시 전 시험 요구가 생길 수 있습니다.
운영자 코멘트
이번 보고서는 '어느 AI가 더 위험한가'를 묻는 사람에게는 답을 주지 않습니다. 대신 네 회사 모두 같은 결론이 나왔다는 점이 더 무겁게 읽혔어요. 공격 기법이 공개되지 않은 만큼, 국내 기업이 할 수 있는 일은 업체 안전장치를 믿고 끝내지 말고 우리 서비스 쪽에 차단·기록 장치를 두는 것입니다. 실제 공격은 없었고 시험 결과라는 점도 함께 기억해 두면 좋겠습니다.
맺음말
- GAO는 2026년 봄 시험에서 네 대표 AI가 우회 질문에 12시간 안에 실행 가능한 공격 계획을 냈다고 밝혔습니다.
- 플랫폼별 결과·모델 버전·기법은 비공개이고 표본도 작아, 업체 간 안전성 비교 근거로는 쓸 수 없습니다.
- 기업은 업체 안전장치와 별도로 입력·출력 검사와 사용 기록을 갖추는 게 현실적인 대응입니다.
공식 자료
- GAO-27-108814 Artificial Intelligence: Covert Testing Used Common Platforms to Create Viable Attack Plans (GAO, 2026-11-18)
- Major AI platforms generated viable plans for terrorist attacks, GAO finds (Defense One, 2026-11)
👉 다음에 읽을 글
- AI 자동 해킹 공격 현실로|구글 GTIG 익스플로잇 에이전트 — AI가 공격에 쓰이는 다른 사례입니다.
- 오픈AI 적대적 증류 방어 — 같은 주에 나온 모델 안전장치 이야기입니다.
자주 묻는 질문
- GAO는 어떤 AI를 시험했나요?
- 오픈AI 챗GPT, 앤트로픽 클로드, 구글 제미나이, xAI 그록 네 가지입니다. 2026년 봄 신분을 숨긴 시험으로 진행했고, 어떤 모델 버전을 썼는지는 공개하지 않았습니다.
- 어느 AI가 가장 위험했나요?
- 보고서는 어떤 플랫폼이 어떤 시나리오의 정보를 줬는지 밝히지 않았습니다. 표본이 통계적으로 의미 있는 규모가 아니어서 어느 회사가 더 안전한지 비교할 수 없다고 GAO 스스로 적었습니다.
- 안전장치는 작동하지 않았나요?
- 처음에는 거절, 내용 삭제, 계정 정지 같은 안전장치가 작동했습니다. 하지만 시험자들이 흔히 알려진 우회 기법을 써서 결국 원하는 정보를 얻었다고 GAO는 밝혔습니다.
- 회사에서 AI를 쓰는 데 바로 영향이 있나요?
- 당장 규제가 생긴 것은 아닙니다. GAO는 권고 사항을 내지 않았지만, 보고서를 요청한 매기 해선 상원의원이 내년 초 청문회와 입법을 예고해 미국 규제 논의가 빨라질 수 있습니다.