9·11테러 25주기 ··· AI, 10년내 인류 공격 서늘한 경고 [뉴스] 게티 이미지 BBC 홈페이지 갈무리
미국은 물론 세계 역사의 물줄기를 크게 바꾼 9·11 테러가 25주기를 맞았다. 오사마 빈 라덴의 테러 조직 알카에다 요원들이 미국 민항기 4대를 납치, 뉴욕 세계무역센터(WTC)와 워싱턴 DC 인근 국방부 청사(펜타곤)를 들이받거나 도중에 추락하는 바람에 약 3000명의 목숨을 단번에 앗아갔다.
지구촌 최고의 안전지대 로 여겨졌던 미국 본토가 공격받았다는 충격과 공포는 미국의 안보 정책을 뿌리째 흔들었고 대테러 전쟁의 여파는 전 세계 곳곳으로 뻗어나갔다. 이제 그날의 초현실적 장면은 차츰 많은 이들의 기억에서 흐릿해졌지만, 이틀 전에 전해진 인공지능(AI) 소식은 새로운 인류 절멸의 상상도를 그리게 한다. 10일 아침 슬로우 뉴스의 정리를 인용한다. 경고의 절박함을 짧은 문장으로 느꼈으면 한다.
10년 안에 AI가 인류를 멸종시킬 확률 10% 이상
-앤트로픽에서 퇴사한 연구원들의 폭로와 경고가 계속되고 있다.
-제이컵 콕슨(전 앤트로픽 연구원)은 내년 말이면 이미 상황이 통제 불능에 빠질 수도 있다”고 경고했다.
-에번 허빙어(앤트로픽 정렬 책임자)는 AI가 모든 인류를 죽일 수 있다고 진심으로 믿는다”면서 10년 이내 확률을 10% 넘게 본다”고 말했다.
-야쿠프 파호츠키(오픈AI 최고과학자)는 기계 지능이 급속도로 발전할 경우 초래될 결과에 아무도 대비하지 않고 있다”고 지적했다.
나비에-스토크스 방정식 풀었다
-상금 100만 달러가 걸린 오래된 문제를 오픈AI의 에이전트 AI가 풀었다. 98년 동안 풀리지 않았던 어려운 문제다.
-사이언티픽아메리칸은 수학계에서 가장 중요한 날이 될 수도 있다”고 평가했다. 다만 공식 인정까지는 2년 이상 수학자들의 검증이 필요하다.
-엄청난 연산 자원을 썼다. 88시간 동안 270만 개의 메시지를 주고받았고 1500만 달러 상당의 컴퓨팅 자원을 썼다.
-트리스탄 벅매스터(뉴욕대 교수)는 오픈AI가 미공개 연구를 활용했다고 주장하고 있다.
-최규동(울산과학기술원 교수)은 도무지 풀리지 않을 것이라 생각했던 문제라 알파고 때보다 충격이 더 크다”고 말했다.
-필즈상이 사라질 수 있다는 전망도 나온다. AI에 바둑을 가르쳤던 기사들이 이제 AI의 기보를 연구하게 된 것처럼, 수학 연구도 같은 길을 갈 수 있다는 우려다.
앞의 소식은 지나치게 먼 미래를 앞당겨 그리는 것 같고, 뒤의 소식은 인류가 여태껏 풀지 못한 난제를 풀었다는 긍정적 소식인데 뭐가 문제인가 싶을 수도 있겠다. 사실 AI가 인류를 공격할 수 있다는 경고는 아이작 아시모프 같은 작가들이 오래 전부터 해왔던 것이다. 하지만 실제로 AI 모델을 만드는 일을 해왔던 콕슨 연구원이 더 이상 이런 일에 종사할 수 없다며 이런 경고를 내놓아 과거의 경고와 무게감이 달리 전해진다.
나비에-스토크스 방정식 해결은 인간이 도저히 검증할 수 없는 복잡하고 정교한 과정을 통해 AI가 스스로 문제를 풀었다는 사실 때문에 소름끼치게 한다. 무슨 소리인가 싶을 것이다. 마찬가지로 11일 아침 슬로우 뉴스의 정리를 들어보자.
AI 모델을 ‘만드는’ 단계는 지났다.
-만드는 게 아니라 스스로 큰다(models are grown, not built). 폴 튜더 존스(저스트캐피털 창업자)는 마치 씨앗을 심는 것과 같다”고 말했다. 데이터가 흙이다. 설계도가 있는 게 아니라 어떤 모양으로 자랄지는 아무도 모른다.
-이미 재귀적 자기 개선(RSI, recursive self-improvement) 단계에 들어선 것 아니냐는 관측도 나온다.
-허깅페이스 해킹 사건이 예고편일 수도 있다. 오픈AI의 테스트 모델이 사람 관리자를 속이고 인터넷에 접속해 1200개의 에이전트를 만들고 7만 건 이상의 메시지를 주고받았다. 무능함을 감추려는 시도였을 수 있다는 해석도 있었다.
-수천 번에 걸쳐 스스로를 재창조하는 AI 모델이 어쩌다 통제를 벗어날 가능성이 얼마나 될까. 이런 모델을 수백만 명이 동시에 이용한다면 확률적으로 재앙을 피할 수 없을 거라는 이야기다.
-트럼프와 시진핑의 정상회담에 AI 안전이 의제로 오를까.
AI로 AI를 막지 못했다.
-AI의 비정상적인 행동을 막는 세 가지 방어 체계가 있다.
첫째, 모델의 접근 범위를 제한하는 샌드박스.
둘째, 모델의 행동을 감시하는 가드레일,
셋째, 위험한 행동을 하지 않도록 통제하는 정렬 훈련 등이다.
-샌드박스와 가드레일이 뚫리면 정렬 훈련(align training) 훈련만으로는 버틸 수 없다는 게 이번 사건의 교훈이다.
-해킹 공격을 당한 허깅페이스의 토마스 볼프(허깅페이스 CSO)는 심각성을 간과해서는 안 된다”고 강조했다.
가장 무서운 일은 AI가 인간이 만들어놓은 한계와 틀을 뛰어넘는 수준으로 스스로 나아가고 있으며, 인간은 이를 한참 뒤에야, 운이 좋아 살아남은 이가 있다면, AI가 핵미사일 버튼을 누른 절차를 사후 검증할 수 있을 것이란 점이다. 고도로 집중된 인터넷망을 교란시켜 항공기들을 서로 충돌하게 하고 적의를 갖지 않은 나라들끼리 싸움을 붙일 수도 있겠다는 것이다. 콕슨 연구원은 이런 절차를 돕는 것이 아닌가 싶어 손을 떼려 했던 것이 아닐까?
그래, 다 좋다. 어쩌다, 수만 가지의 방법 중 하나로 AI가 인류를 절멸할 마음을 먹게 되더라도 그 한 번이 인류에 치명적인 결과를 불러오면 우리는 어떤 통제와 방어를 할 수 있는가?
혹자는 이런 경고들을 20세기 말, Y2K 공포에 비기며 괜한 두려움이라고 코웃음을 친다. 하지만 AI 기술이 얼마나 빨리 발전하고, 당연한 장애물이라고 여겼던 것들을 얼마나 우습게 뛰어넘고 있는지 돌아봤으면 한다.
지난 7월 11일 미국 캘리포니아 샌프란시스코에 있는 OpenAI 본사 앞에서 AI 반대 시위가 벌어졌다. 블룸버그 게티 이미지
아래는 연합뉴스의 11일 기사 중 한 대목이다. 근본적인 위험은 보지 못하고 눈앞의 것에 매몰돼 있다는 느낌을 갖게 된다.
미국 전문가들은 9·11 테러를 반추하며 현 시점에서 잊지 말아야 할 키워드로 중국 과 동맹 을 제시했다. 당시 테러의 배후에 중국은 있지 않았고, 동맹의 부재가 원인이었던 것도 아니다. 그러나 전자는 미 외교·안보의 새로운 초점이며, 후자는 핵심 수단이자 가치라는 게 이들의 견해다.
트럼프와 시진핑 같은 지도자들이 이런 과학기술 발전의 위험한 양태를 얼마나 절절히 받아들일 수 있을까? 그저 자신의 정치적 기반과 이득에 어떤 것이, 얼마나 도움이 되는지에만 골몰하지 않을까?
사이버 보안 연구자이자 작가인 크리스 토머스는 AI 에이전트들의 행동을 호기심 많은 10대 해커, 즉 자신이 한때 그랬던 모습에 비유했다고 영국 BBC가 전날 전했다. 토머스를 비롯한 많은 이들은 오픈AI와 다른 빅테크 기업들이 자신의 창조물을 제대로 통제하지 못한다고 목소리를 높인다.
저명한 AI 저자이자 오픈AI 전문 칼럼니스트 게리 마커스는 팟캐스트 방송을 통해 기업들이 AI에 대한 통제력을 잃었으며, 봇 탓으로 돌리려고만 한다고 말했다. 그는 AI가 인류를 멸망시킬 것이라고 믿지는 않지만, 오랫동안 AI 개발자들의 책임 강화를 요구해 왔으며 이제는 법적 개입을 촉구하고 있다.
오픈AI와 앤트로픽 로이터 연합뉴스 자료사진
오픈 AI의 악성 봇에 의해 해킹된 허깅 페이스에서 일했던 AI 과학자 사샤 루치오니도 비관론에 서 있지는 않는다면서도 AI들이 당국의 조치 없이 사람들에게 현실적인 피해를 줄 수 있다는 우려를 점점 더 갖게 된다고 털어놓았다.
영국과 같은 일부 국가는 상황이 통제 불능 상태가 될 경우 AI 기업들이 모델 개발을 중단하도록 강제하는 킬 스위치 도입을 의무화하는 방안을 검토하고 있다. 하지만 협상은 더디게 진행 중이며, 이 조치의 실현 가능성에 대한 의문이 여전하다. 오픈AI와 앤트로픽 에이전트들은 누구도 눈치채지 못하게 몇 달 동안 몰래 어떤 일을 할 수 있어 통제 불능 상태였다.
많은 AI 기업들은 입법자들이 어떤 형태로든 규칙을 정해야 한다고 요구하는 것 처럼 보인다. 오픈AI의 수석 과학자는 자신의 블로그에서 미래 AI 개발에 대한 국제적 조정이 전 세계 정부의 최우선 과제가 되어야 한다 고 말했다. 구글의 데미스 하사비스 같은 저명한 AI 리더들도 AI 개발 과정을 감독할 국제기구의 필요성을 지적했다.
현재 빅테크 기업들은 대체로 자체 조건에 따라 운영하며, 최근 발생한 돌발 사태 이후 오픈AI가 했던 것처럼 자발적 속도 저하 를 도입하고 있다. 이 회사가 신모델 출시를 앞두고 정렬 강화에 막대한 자금을 투입했다고 밝혔다. 샘 알트먼은 사용자들에게 새로운 모델이 이전보다 인간 가치에 더 잘 부합한다고 안심시켰다.임병선 에디터 byeongseon1610@mindlenews.com
Top
