딥페이크 영상 광학-신경망 기술 로 모두 잡는다 [뉴스] 딥페이크 영상을 감별하기 위해 연구자들은 빛의 물리학에 주의를 돌리고 있다. 관련 이미지. 연합뉴스
최근, 온라인에 인공지능(AI)를 이용해 제작된 영상물이 넘쳐난다. 그런데, 수준 낮은 AI는 아직 숫자를 발음하는 것이 어색해 들통 나는 경우가 많다. 예를 들어, 2026년을 영어로 발음할 때 twenty twenty six 라고 해야 하는데, two thousand twenty six 라고 발음하는 경우이다. 우리 말 영상에도 비슷한 예가 있을 것이다. 그래서, 실제 인물이 출연하여 발언한 영상을 AI가 만든 것으로 의심하기까지 한다. 누군가 유명인의 권위를 빌어 자신의 주장에 신뢰성을 더하려 한다고 여길 수도 있는 것이다. 이 경우, 사실 여부를 확인하기 위해 한 시간이 다 되는 영상을 처음부터 끝까지 다 보고 들어야 한다. 이렇듯, 우리는 사실과 허구 사이에서 길을 잃는 일이 적지 않다.
그런데, 이런 문제를 깔끔하게 해결할 수 있다는 소식이 있어 소개하고자 한다. 올해 10월 21일자, 피직스 월드 (PhysicsWorld)의 ‘최신 연구’ 란에 실린 글이다. 제목은 딥페이크(deepfake) 동영상을 감별하기 위해, 연구자들은 빛의 물리학에 주의를 돌린다 이다. 여기서는 이 글을 바탕으로 필자의 의견을 적절히 더하기로 하며, 이를 명확히 할 필요가 있을 때 [ ] 안에 넣기로 한다.
피직스 월드 의 최신 연구 란에 실린 본문 관련 글머리
[딥페이크 생성을 위한 대표적 기술로 다음 두 가지를 들 수 있다. 첫째는 ‘생성형 적대적 신경망 (Generative Adversarial Network: GAN)으로 두 개의 적대적 신경망이 경쟁하게 함으로써 실제 데이터와 구분하기 힘든 데이터를 만드는 방법이다.] 속도는 이보다 훨씬 느린 대신, 학습의 안정성이 훨씬 더 뛰어난 생성형 확산 모델 (Generative diffusion model: GDM)이라 불리는 것이 있다. [이의 알고리즘은 물리학의 브라운 운동에 기초한다. 오픈AI의 동영상 생성 모델인 소라 (Sora)에서는 GDM 을 더욱 효율화해 추론 시 이미지의 시공간적 변화를 병렬로 처리하는 Generative diffusion transformer model(GDTM), 또는 상용적으로 DiT 라 불리는 기술을 동영상 제작에 사용한다. 매우 중요한 장점은 하드웨어의 규모화에 비례하는 성능을 구현할 수 있어서 매우 널리 쓰인다. 이 기술도 의도에 따라 딥페이크에 악용될 수가 있다.]
그런데, 피직스 월드의 이번 글에 따르면 광학 기술을 신경망에 접목한 광학-신경망(Optical-neural) 혼합 시스템 은 AI에 의해 생산된 가짜 비디오를 97.8%의 정확도로 판별할 수 있다. 이는 미국의 UCLA 대학팀에서 개발한 것으로서, 15개 이상의 비디오를 동시에 처리할 수 있으며 비슷한 성능을 가진 다른 방법들보다 에너지면에서 훨씬 효율적이다. AI가 발전함에 따라, 이에 의해 생산된 비디오의 질도 함께 발전해 왔다. 기존의 많은 모델들이 저질의 결과들을 대량으로 생산했는데, 최근 버전의 [GAN,] GDM, [그리고 DiT] 등은 정말로 실제같은 영상을 만들 수 있다. 최근 연구에 따르면 인간은 가짜를 50% 정도 밖에 확인하지 못한다. 그래서, 자동으로 확인해 주는 시스템이 필요한 것이다. 문제는 최신 AI 검증 모델들은 엄청난 계산을 필요로 하는 신경망에 의존해 느리고 많은 에너지를 필요로 한다는 점이다. 참고로, 동영상에서는 1초에 최소 24개의 정지화면 (frame)을 생성한다. 따라서, 많은 비디오를 동시에 처리하는 것이 어려울 수 밖에 없다.
구글의 동영상 생성기인 VE0-3 홈페이지 머리 부분
그래서, 미국 UCLA의 오즈칸(Oszcan) 등은 빛의 물리학을 이용하여 물리학적 관점에서 쉽게 검증하기 위해 eLight 시스템을 고안하였다. 먼저, 각 비디오는 [시공간적 광학 데이터를 픽셀 단위의 2차원 위상 지도들로 압축하는] 신경망인 엔코더(encoder) 를 거친다. 광학적 기계인 디코더(decoder) 에서는 [시공간적으로 연속된 위상지도를 픽셀 단위로 특정 위상의 빛으로 변환하여 생성하고, 이 위상 변화가 시간에 따른 사람 및 물체의 움직임과 모순이 없는지를 검토하여] 각 비디오의 신뢰도 지수를 생산한다.
이 연구자들은 실제 비디오들과 얼굴을 바꾼 것들을 함께 포함하는 대규모 영상 벤치마크인 Celeb-DF 데이터베이스를 이용해 한 번에 15개의 비디오를 동시에 처리하면 97.79% 정확도로 진짜와 가짜를 판별했다. 또한, 가짜 비디오가 진짜로 오독되는 민감도 가 0.14%에 불과하고, 진짜가 가짜로 판독되는 특정성 은 4.18%였다. 이는 현재 세계 최고 수준의 생성형 AI 비디오 모델인 구글의 VE0-3 모델에 뒤지지 않은 결과이다. 즉, eLight 는 보다 정교하게 속임수를 갖는 최신형 딥페이크를 훌륭히 검증할 수 있다. 더욱이, 병렬 처리, 에너지 효율성, 적대적 조작 등에 적응 가능하다. 근래, 적대적 조작에 대응하는 AI들이 출시되고 있으나, 비디오가 물리학의 법칙에 모순이 없는지를 검토하는 이 광학적 기술에 비교하기 어렵지 않을까 추측한다.
1980~1990년대에 미국 디지털 포렌식의 표준이 수립된 조지아주의 GLYNCO
오즈칸은 자신들의 eLight 가 앞으로도 계속 발전할 디지털 포렌식 모델을 대체하기 보다는, 이에 대한 전 단계로서 사용하는 게 좋을 것이라 제안한다. 더불어, 광학-신경망 융합은 효율과 보안이 뛰어난 조합이므로 딥페이크에 이용하기도 훨씬 더 어려워지게 될 것이다. 그런데, 광학 장치가 필요해 아주 값싸게 사용하는 것이 가능한지 모르겠다. 따라서, 딥페이크에 대한 정의를 넓혀서 법적인 제어 장치를 더욱 강화하는 것도 중요하다.
참고문헌
1.본문 관련 물리학 세계의 research update 글
https://physicsworld.com/a/to-detect-deepfake-videos-researchers-turn-to-the-physics-of-light/
2. 구글의 동영상 생성기인 VE0-3 홈페이지
https://www.veo3ai.io/ko/google-veo-3강홍석 시민기자 jjhskang@gmail.com