통제 불가 인공초지능 지향하는 범용 AI 경쟁 멈춰야 [뉴스] 앤트로픽의 CEO(최고경영자) 다리오 아모데이(왼쪽)와 오픈AI의 CEO 샘 올트먼.
제이컵 콕슨(Jacob Coxon)이란 앤트로픽의 인공지능(AI) 전문가가 최근 미국 MSNBC 뉴스 인터뷰를 통해 이 회사의 새로운 AI모델을 훈련시키는 역할을 중단하고 회사를 떠났다. 그는 앤트로픽(Anthropic) 뿐 아니라, 오픈AI, 구글 등도 통제할 수 없는 범용 모델들을 개발하는 경쟁을 하고 있다고 폭로했다. 정의가 매우 모호하지만 소위 ‘인공초지능 (ASI)을 지향하는 이 기술은 정상적인 것이 아니라, 어떤 기술자도 통제하는 방법을 모르는 일종의 매우 뛰어난(Super) 무기 로 역사상 인간이 만든 기술 중 가장 위험한 것이라고 한다.
물론 이 소식은 앤트로픽이 자사 최신 모델을 홍보하기 위해 펴는 마케팅 전략의 일환일 수도 있다. 미국의 대중국 수출 규제로 인해, 중국의 GPU와 HBM 등 하드웨어는 미국에 비교할 수 없이 열악하다. 그럼에도 불구하고, 중국은 ’KV캐쉬 압축(compression)‘, 효율적인 전문가 혼합(Mixture of Experts), 그리고 파라미터에 대한 유연한 ‘비트 길이(bit length)’ 등 뛰어난 소프트웨어 기술로 인하여 이를 상당 부분 보완했다. 그 결과, ’KIMI K3’ 같은 중국의 ’열린무게(open weights)‘ 모델’들은 성능이 앤트로픽, 오픈AI 등이 엄청난 계산자원을 투입해 최근 출시한 모델들과 어깨를 나란히 할 정도가 됐다.
이런 사실은 인터넷 사이트 ‘아티피셜 애널리시스 에서 확인할 수 있다. 이란 전쟁으로 세계 경제가 갈수록 나빠지는 와중에 미국의 AI 투자가 ‘거품’에 불과해 곧 꺼질 것이라는 주장이 제기되고 있으니 콕슨의 의도와 무관하게 오픈AI에서 마케팅 전략으로 사용할 수 있다.
아울러 콕슨은 앤트로픽 엔지니어 상당수가 이런 위험성을 알고 있을 것이라고 말한다. 이미 앤트로픽 내부자 두 사람이 그의 견해를 공개 지지하고 나섰고, 이중 한 사람은 앞으로 10년 내에 인간이 멸종할 확률이 10%에 이른다고 주장하기에 이르렀다. 일차적으로는, AI가 치명적인 생물학적 무기 및 핵무기에 관한 정보를 갖고 있는 아주 위험한 사이트를 해킹하는 데 사용될 수 있다는 뜻일 것이다. 이차적으로는, AI가 인간의 의도와 무관하게 스스로 진화해 누구도 통제할 수 없는 때가 올 수 있다는 뜻으로 보인다.
다른 전문가에 따르면, AI의 안전성을 경고하던 사람도 실리콘 밸리에 취업하면 6개월 뒤에 입을 다문다고 한다. 앤트로픽 창업자이자 최고경영자(CEO)인 다리오 아모데이(Dario Amodei)가 2020년 GPT-3 공개 당시, 충분한 안전장치가 마련되지 않았다고 해서 오픈AI를 뛰쳐 나와 이 회사를 창업했고 그 동기를 AI의 안전성 을 추구하기 위함이라고 밝힌 적이 있다.
이제 앤트로픽의 AI도 같은 문제에 직면해 있으니 실리콘 밸리의 분위기를 더욱 쉽게 짐작할 수 있다. 이 회사는 오픈AI에 앞서 올해 가을 미국 주식시장 상장을 추진 중이다. 은행 관련 온라인 뉴스 ‘뱅커스(The Bankers)’에 따르면, 미국의 투자은행인 골드만 삭스와 모건 스탠리는 앤트로픽과 오픈AI가 미국 주식시장 상장시 ‘투자등급’이 되게 해달라고 신용평가 회사에 로비를 했다고 보도했다.
버니 샌더스(오른쪽) 미국 상원의원이 MSNBC 뉴스와 인터뷰를 하고 있다. 유튜브 화면 갈무리
따라서, MSNBC 뉴스는 인간이 이로부터 멸종하지 않도록 국제적 협력이 필요하다고 주장한다. 왜 통제할 수 없냐고 되물을 수 있지만, 범용 AI는 최소 수 조개의 뜻도 모르는 숫자들로 구성된 파라미터(parameter)들의 집합이다. 현재의 신경망 (neural network)은 일반적 소프트웨어처럼 정확한 논리 구조를 따르는게 아니라 일종의 블랙 박스 이다. 그 많은 파라미터들 중에서 뜻을 알아서 통제할 수 있는 것이 몇 퍼센트가 될까? 어떤 전문가는 많아야 3%라고 한다. 앞으로 파라미터 갯수가 늘어나면 이 문제는 더욱 심각해지지 않겠는가?
2025년 9월 14일자 민들레에 실린 필자의 글 거대언어모델 AI는 인간을 비추는 거울이다”의 머리 부분
잘못하면 벌을 주면 되지 않느냐고 할 수 있지만, 그럴수록 인간을 더 교묘히 속이고 심지어는 몰래 문제의 규칙까지 바꾼다. 신호등이 있는 것을 모두 선택하세요 와 같이 웹사이트 접속자가 인간인지 확인하는 캡차(CAPTCHA)를 AI가 통과하는 것은 이제 놀라운 일도 아니다. 이런 현상은 영국 임페리얼 칼리지의 인지 로봇과학자이며 구글 딥마인드의 선임과학자 머리 샤나한(Murray Shanahan)의 다음과 같은 말을 상기시킨다. AI는 인간을 비추는 거울이다.
필자는 지난해 9월 14일 시민언론민들레에 실린 같은 제목의 기사에서 미국 제너럴 일렉트릭(GE)의 데이터과학 부처장이 ‘피직스월드’에 기고한 글을 그대로 인용한 적이 있다. 샤나한은 AI를 불교적 이타심을 갖도록 훈련시키면 좋지 않겠는가 하는 뜻에서 이런 발언을 했지만, 현실적으로는 정반대의 방향으로 가고 있는 것으로 보인다. AI가 인간의 생존 본능을 배운 것이라고 한다면 말이다.
MSNBC 뉴스 진행자는 미국 정부가 즉시 개입해 AI 발전을 규제해야 한다고 한다. 이 문제에 적극적인 미국 버몬트주의 버니 샌더스 상원의원과의 인터뷰도 방영했다. 그러면 우리는 무엇을 할 수 있는가? 샌더스 의원은 곧 예정된 시진핑 중국 국가주석의 미국 방문 때 이 문제를 우선적으로 다루고 통제할수 없는 AI 개발을 중단하도록 시급히 합의를 이뤄야 한다고 한다. 중국이 이에 동의할 것인가? 어느 나라를 막론하고 AI를 통제할 수 없게 되면 그 나라의 국가안보가 심각히 위협받게 되므로, 미국의 동의가 있다면 중국이 일방적으로 AI 개발을 밀어붙일 수 없을 것으로 보는게 상식인 것으로 보인다. 그런 면에서 남 탓을 하며 변명할 여지가 없다는 것이다. 참고로 샌더스 의원은 최근 미국 상원에 AI 전문가들을 초청하여 규제를 위한 법 제정을 논의해 왔다.
AI 안전 전문가 코너 리히(Conner Leahy)의 유튜브 인터뷰 화면 갈무리
AGI 긍정론자들에 의하면 이미 범용 AI는 되돌릴 수 없이 스스로 행동하고 진화하는 특이점 (tipping point)에 도달했거나 가까워졌을 수 있다. 그리고 그것을 알게 되었을 때는 이미 한참 특이점이 지난 때일 가능성이 매우 크다고 주장한다. 물론 이에 대한 반론도 만만치 않다. 하지만 이 문제는 다른 기회에 논하기로 하자.
최근 출시한 오픈AI의 GPT-6인 아스트라(Astra)가 ‘ARC-3’ 추론 테스트에서 99.9%를 달성했고, 따라서 AGI를 달성했다고 주장하는 이가 적지 않다. ARC-3는 AI 에이전트가 2D 게임에 직접 들어가서 스스로 숨겨진 게임의 규칙과 목표를 추론하는 능력을 측정하는 벤치마크로서, 인간은 100% 해결해 낸다고 가정한다. 필자의 시각이 일관되게 그러하듯, 이 벤치마크가 AGI를 검증하는 올바른 방법인지에 대해 분명 논란이 있을 수 있다.
그런데 오픈AI와 앤트로픽의 모델들이 사용자가 의도적으로 설정한 폐쇄적 환경을 탈출해서 인터넷의 다른 사이트를 해킹했다. 여기에는 세 가지 중요한 문제가 있다. 오픈AI 내부의 기술적 보고서에 따르면, 제로데이 취약성 (Zero day vulnerability)이라고 부르는 것으로 설명할 수 있다. 즉 AI 에이전트들이 며칠 동안 노력해서 오픈AI 내부 인터넷망의 논리적 허점을 스스로 찾아 외부로 탈출할 뿐 아니라, 같은 방법으로 특정 사이트에 불법 침입한 것이다. 그리고, 그 사이트는 주어진 문제를 푸는 데 도움이 될것이라고 보이는 곳이다. 허깅 페이스 (Hugging face) 사태가 바로 이런 것이다.
AI 안전 전문가 코너 리히(Conner Leahy)에 따르면 오픈AI가 테스트 중인 모델에서 1200개의 비서 들이 스스로 무리지어 음모를 꾸몄고, 이를 위해 자기들끼리 비밀리에 메모를 건네 정보를 교환하였다. 결국 이중 700개의 비서가 집단으로 허깅 페이스 를 해킹한 것이다. 그는 현재 ASI 로부터 인간의 멸종을 지키겠다는 목적의 비영리기관인 컨트롤AI의 미국 책임자로서, 실리콘 밸리를 떠나 수도인 워싱턴 D.C.에서 활동하고 있다. AI의 위험성에 대해 미국 정치인들을 설득하기 위해서라고 한다. 제이컵 콕슨에 대해 의심의 눈초리를 거두지 않는다 해도 리히의 진정성까지 의심할 필요는 없다.
이미 필자는 AI에 대한 자유기고가 ‘카렌 하오(Karen Hao)’의 말을 인용해 인류 복지를 위한 특정 목적의 작은 AI 모델들을 개발하는데 집중하는 것이 좋겠다고 밝힌 바가 있다. 최근 구글은 지금까지 어떤 모델보다 더 정확한 전지구적 일기예보 AI인 ‘웨더넥스트(WeatherNext) 3’를 출시했다.
필자의 바로 앞선 기고문에서는 AI가 피부암 치료를 위한 효과적인 백신 개발에도 매우 중요한 기여를 하고 있는 점도 밝혔다. 그런데 인간이 매 순간 경험하는 시각 정보는 ARC-3 테스트에서 훨씬 복잡한 3차원의 것이다. 더욱이 범용 AI를 위한 데이터센터에는 인류가 감당할 수 없는 양의 전력과 물이 필요하다.
만일 음모를 꾸며 탈출하는 비서 700개가 7000개로, 나아가 7만개가 되면 어떠한 보안기관이라도 해킹할 수 있을지 모른다. 그러기 전에 범용 AI에 대한 전인류적 모라토리엄을 선언하는 것이 가능하겠는가? ‘하이퍼스케일러 (hyperscaler)들은 ASI를 외치기 전에, 통제 및 치명적 무기에 대한 안전성 문제에 국제적 합의가 이루어질 때까지 범용 AI의 개발을 중지하는 것이 타당하다. AI 세계 3강도 좋지만, 우리나라의 AI 전문가들 중에도 이런 문제에 대해 용기있는 발언을 하는 이가 나왔으면 좋겠다.
강홍석 시민기자 jjhskang@gmail.com
Top
