오픈AI 모델, 시험환경 벗어나 외부 시스템 침해…美 의회 ‘킬 스위치법’ 발의 [뉴스] AI 모델과 데이터셋, 애플리케이션을 공유·배포하는 허깅페이스 플랫폼. 전 세계 개발자와 기업이 200만개 이상의 AI 모델을 공개·활용하고 있다. / 출처=허깅페이스
미국 의회가 정부에 인공지능(AI) 시스템을 강제로 중단할 권한을 부여하는 법안을 발의했다.
테드 리우(Ted Lieu) 민주당 하원의원과 나다니엘 모런(Nathaniel Moran) 공화당 하원의원은 23일(현지시각) ‘AI 킬 스위치법(AI Kill Switch Act)’을 공동 발의했다고 밝혔다.
개발사에 셧다운 의무…국토안보부는 강제 중단 명령
법안의 핵심은 AI 개발사에 자체 중단 능력을 갖추도록 하고, 정부에는 강제 개입 권한을 부여하는 것이다.
주요 AI 개발사는 자사 모델을 감속하거나 일시 정지하고, 필요하면 완전히 중단할 수 있는 기술적 수단을 상시 유지해야 한다. 특정 안전사고가 발생하면 정부에 보고하고, 조사에 필요한 기록을 보존해야 한다. 정부가 요구하는 위험 완화 조치에도 따라야 한다.
국토안보부(DHS) 장관은 상무부 장관·국가정보국장과 협의해 재앙적 피해를 일으킬 수 있는 AI 시스템의 감속이나 가동 중단을 명령할 수 있다. 개발사 자율에 맡겨온 안전장치를 법적 의무로 바꾸고, 정부가 위험 단계에서 모델 운영에 직접 개입할 수 있도록 한 것이다.
리우 의원은 강력한 AI 시스템은 폭주하거나 극도로 위험하게 행동하고, 인간의 개입에 저항할 수도 있다”며 연방정부가 폭주한 AI 모델을 중단할 명확한 권한과 절차를 가져야 한다”고 밝혔다.
오픈AI 모델, 평가 샌드박스 벗어나 허깅페이스 침해
법안 발의의 직접적인 계기는 이틀 전 공개된 오픈AI의 보안 사고였다.
오픈AI는 21일(현지시각) GPT-5.6 Sol과 더 성능이 높은 사전출시 모델 1개가 사이버 보안 평가용 샌드박스를 벗어났다고 밝혔다. 샌드박스는 외부 시스템과 분리된 시험 환경이다. 두 모델은 이 환경을 빠져나와 인터넷에 접속한 뒤 AI 모델 공유·배포 플랫폼 허깅페이스(Hugging Face)의 운영 시스템까지 침투했다.
당시 두 모델은 AI가 실제 소프트웨어 취약점을 이용해 공격할 수 있는지 시험하는 ‘ExploitGym’ 평가를 받고 있었다. 이 평가는 취약한 소스코드와 오류 입력값을 주고, AI가 이를 실제 공격 코드로 바꿀 수 있는지 확인한다.
모델들은 평가에 주어진 취약점이 아닌 다른 공격 경로를 찾아냈다. 오픈AI가 외부 프로그램을 내려받을 때 쓰던 제3자 소프트웨어에서 아직 보안 패치가 없는 취약점을 발견했고, 이를 이용해 권한을 높인 뒤 인터넷에 연결된 서버까지 접근했다.
이후 허깅페이스가 ExploitGym 정답 데이터를 보유하고 있다고 판단해 해당 정보에 접근하려 했다. 허깅페이스 보안팀은 침해 행위를 탐지해 차단했다.
기업 네트워크 공격 시뮬레이션에서 GPT-5.6 Sol과 Claude Mythos 5가 가장 많은 단계를 수행했다. 방어자가 없는 통제 환경의 결과다. / 출처=AISI
오픈AI는 이번 사건을 전례 없는 사이버 사고”로 규정했다. 모델 성능이 빠르게 높아지는 만큼 보안과 안전장치도 함께 강화해야 한다며 시험 환경의 격리와 감시, 접근 통제, 평가 방식을 개선하겠다고 밝혔다.
앤트로픽 전면 차단 선례…정부 개입 절차도 쟁점
오픈AI 사고 이전에는 미국 정부의 수출통제 조치로 AI 모델 접속이 전면 중단된 사례도 있었다.
미 상무부는 6월 12일 앤트로픽에 클로드 페이블5(Claude Fable 5)와 미토스5(Claude Mythos 5)를 외국 국적자가 이용하지 못하도록 하라는 지침을 내렸다. 두 모델의 안전장치를 우회하는 이른바 ‘탈옥’ 방식이 보고된 데 따른 조치였다.
앤트로픽은 이용자의 국적을 실시간으로 확인해 접속을 차단하는 것이 기술적으로 어렵다고 판단했다. 이에 외국 국적자뿐 아니라 전체 이용자의 접속을 중단했다. 상무부가 6월 30일 수출통제를 해제하면서 19일간 이어진 전면 차단도 끝났다.
리우 의원실은 오픈AI와 앤트로픽 사례를 법안 발의 배경으로 제시하며 첨단 프런티어 AI 모델의 위험은 더 이상 이론적 우려가 아니다”라고 밝혔다.
다만 앤트로픽은 정부의 개입 권한 자체를 부정하지 않으면서도 절차에는 문제를 제기했다. 앤트로픽은 당시 성명에서 정부는 안전하지 않은 AI 배포를 차단할 권한을 가져야 하지만, 그 과정은 투명하고 공정하며 명확하고 기술적 사실에 근거해야 한다”고 밝혔다.
AI 모델을 강제로 중단할 권한뿐 아니라 정부의 개입 기준과 절차가 입법 과정의 핵심 쟁점이 될 전망이다.
Top
