AI 복지 데이터 분류, 자칫하면 디지털 낙인 찍기 로 [뉴스] 컴퓨터 커뮤니케이션 과학 교수, 사회보장법 전공 교수 등이 네덜란드 정부의 아동 수당 스캔들 과 관련해 열린 공청회에 참석한 모습. [EPA=연합뉴스]
복지는 사람을 보호하기 위해 존재한다. 경제적 어려움에 처한 사람, 장애를 가진 사람, 홀로 살아가는 노인, 돌봄이 필요한 아동 등 사회적 약자를 먼저 발견하고 지원하는 것이 복지국가의 역할이다. 인공지능(AI) 역시 같은 목표를 향해 활용되고 있다. 방대한 데이터를 분석해 위기가구를 조기에 찾아내고, 복지 사각지대를 줄이며, 정책의 효율성을 높이는 것은 AI가 가진 분명한 장점이다.
그러나 여기서 우리는 또 하나의 질문과 마주하게 된다. AI는 사람을 보호하기 위해 사람을 분류한다. 그렇다면 그 분류는 언제 보호 를 넘어 낙인 이 되는가. 이 질문은 결코 가볍지 않다. 복지는 누군가를 먼저 발견하는 제도이지만, 동시에 누군가를 특정한 집단으로 분류하는 과정이기도 하기 때문이다. AI는 편견을 만들지 않는다. 그러나 편견을 학습할 수는 있다. 많은 사람들은 AI가 사람보다 객관적이라고 생각한다. 감정도 없고 선입견도 없으며, 오직 데이터에 따라 판단하기 때문이다.
하지만 AI는 스스로 세상을 경험하지 않는다. AI는 사람이 만든 데이터를 학습하고, 사람이 설계한 기준을 통해 결론을 도출한다. 따라서 학습 데이터에 사회가 오랫동안 만들어 온 편견과 불균형이 담겨 있다면 AI 역시 이를 그대로 학습할 가능성이 있다. 이를 알고리즘 편향(Algorithmic Bias)이라고 한다.
예를 들어 과거 특정 지역이나 특정 계층을 중심으로 복지조사와 행정점검이 집중적으로 이루어졌다면 AI는 이러한 기록을 위험도가 높은 집단 이라는 특성으로 학습할 수 있다. AI는 차별하려는 의도를 갖고 있지 않더라도 결과적으로 기존의 사회적 편견과 불평등을 반복하거나 오히려 확대할 수 있는 것이다.
문제는 AI가 틀릴 수 있다는 사실보다, AI의 판단이 객관적이라는 이유만으로 쉽게 의심받지 않는다는 점이다. 보호를 위한 분류가 낙인이 되는 순간을 생각해보자. AI는 C씨를 복지 고위험군 으로 분류했다. 경제적 어려움, 의료 이용 감소, 공공요금 체납 이력 등이 종합적으로 분석된 결과였다. 행정기관은 예방 차원에서 상담을 진행했고, 필요한 지원을 검토했다. 여기까지는 문제가 없다.
그러나 만약 이러한 정보가 여러 기관으로 공유되거나, 다른 행정서비스의 참고자료로 활용된다면 어떨까? 취업 지원, 금융 상담, 주거 정책 등 다른 영역에서도 위험군 이라는 정보가 보이지 않는 기준으로 작동한다면, C씨는 자신의 의사와 무관하게 하나의 꼬리표를 달고 살아가게 된다. 금융기관의 신용평가, 보험회사의 보험료 산정, 채용과정의 위험도 평가 등에 영향을 주게 된다면 더 심각해진다. 복지를 위한 데이터가 사람을 보호하는 대신 사람을 규정하기 시작하는 순간이다.
AI는 사람을 이해하기 위해 만든 기술이지만, 어느 순간 사람을 규정하는 기술로 변할 수도 있다. 필자는 이러한 현상을 디지털 낙인(Digital Stigma) 이라고 부르고자 한다. 과거의 낙인은 사람들의 시선에서 시작됐다. 그러나 AI 시대의 낙인은 데이터에서 시작될 수 있다. 그리고 데이터에 기록된 낙인은 사람들의 기억보다 훨씬 오래 남는다.
네덜란드에서 AI 분석으로 아동수당 부정수급자를 통보했다가 오류가 있었단 사실이 뒤늦게 밝혀지며 사회 문제로 비화한 사건이 있었다. 이 일로 많은 이들이 빚을 졌다. 자녀 양육권을 박탈당한 뒤 절망해 목숨을 끊은 사례도 나왔다. 사진 앰네스티 홈페이지 캡처
이미 현실이 된 알고리즘에 대한 우려는 결코 가상의 이야기가 아니다. 대표적인 사례가 네덜란드의 아동수당 스캔들(Toeslagenaffaire)이다. 네덜란드 세무당국은 아동수당 부정수급을 방지하기 위해 위험분석 알고리즘을 활용했다. 그러나 일부 행정정보와 이중국적 여부 등이 위험요인으로 작동하면서 수많은 가정이 부정수급자로 잘못 분류되었다.
정부는 이들에게 수천만 원에서 수억 원에 이르는 수당 환수를 요구했고, 많은 가정은 파산과 실직, 이혼을 겪었다. 억울함을 호소했지만 알고리즘의 판단은 쉽게 뒤집히지 않았다. 결국 네덜란드 정부는 국가의 책임을 인정했고, 2021년 내각이 총사퇴하는 초유의 사태로 이어졌다.
이 사건이 남긴 가장 큰 교훈은 AI가 틀렸다는 것이 아니다. 한 번의 잘못된 분류가 한 사람의 삶을 규정해 버렸다는 사실이다. AI의 오류는 단순한 기술적 오류가 아니라 인간의 존엄과 권리에 영향을 미칠 수 있는 사회적 오류가 될 수 있다는 점을 세계는 이 사건을 통해 확인했다.
복지 데이터는 개인정보가 아니라 인권 데이터 다 우리는 주민등록번호나 금융정보를 민감한 개인정보라고 생각한다. 그러나 복지 데이터는 그보다 훨씬 특별한 의미를 가진다. 장애 여부, 정신건강 상태, 가정폭력 피해 경험, 노숙 경험, 실직 이력, 기초생활보장 수급 이력, 아동학대 피해 이력, 중독 치료 이력은 단순한 행정정보가 아니다. 그 사람의 삶에서 가장 어려웠던 순간과 가장 취약했던 시간을 기록한 정보다. 그래서 필자는 복지 데이터를 단순한 개인정보가 아니라 인권 데이터(Human Rights Data) 라는 관점에서 접근해야 한다고 생각한다.
복지 데이터를 보호한다는 것은 데이터를 보호하는 일이 아니다. 한 사람의 존엄과 삶을 보호하는 일이다. AI는 판단을 도울 수 있지만 책임을 대신할 수는 없다 또 하나 경계해야 할 것은 자동화 편향(Automation Bias)이다. 이는 사람이 AI의 판단을 지나치게 신뢰한 나머지 자신의 판단을 충분히 하지 않는 현상을 의미한다. 복지 담당 공무원이 AI가 제시한 위험등급을 그대로 받아들인다면 행정은 빨라질 수 있다.
그러나 AI의 분석이 잘못되었을 경우 그 피해는 결국 국민에게 돌아간다. 복지는 사람의 삶을 다루는 행정이다. 효율성을 이유로 인간의 숙고와 책임까지 자동화해서는 안 된다. AI는 정책결정을 지원하는 도구일 수는 있지만, 정책결정을 대신하는 주체가 되어서는 안 된다. AI 시대에는 차별받지 않을 권리 가 더욱 중요하다
국제사회는 이러한 위험을 오래전부터 경고해 왔다. 유네스코 「인공지능 윤리 권고」는 AI가 인간의 존엄성과 다양성을 존중해야 하며, 어떠한 형태의 차별과 편견도 확대해서는 안 된다고 강조한다. 유럽연합(EU) 역시 복지, 고용, 교육 등 국민의 권리에 직접 영향을 미치는 AI를 고위험 분야로 분류하고, 인간의 감독(Human Oversight), 위험관리, 투명성을 의무화하고 있다. AI가 사회적 약자를 더욱 취약하게 만드는 일이 없도록 하기 위한 최소한의 안전장치인 것이다.
사람은 데이터가 아니다. 필자는 AI 복지에서 반드시 지켜야 할 새로운 원칙으로 디지털 무죄추정의 원칙(Presumption of Digital Innocence) 을 제안하고자 한다. 국민은 AI가 위험하다고 예측했다는 이유만으로 잠재적 부정수급자나 위험군으로 취급되어서는 안 된다. 알고리즘의 예측은 행정을 지원하는 참고자료일 수는 있지만, 사람을 규정하는 낙인이 되어서는 안 된다.
AI는 사람을 이해하기 위해 존재해야지 사람을 의심하기 위해 존재해서는 안 된다. AI 대전환 시대의 복지는 더 정교한 알고리즘을 만드는 경쟁이 아니다. 사회적 약자를 더 존중하는 제도를 만드는 경쟁이다. 복지가 지켜야 할 가장 중요한 원칙은 데이터를 많이 확보하는 것이 아니라 한 사람도 데이터 속 숫자로만 남겨두지 않는 것이다. AI는 사람을 분류할 수 있다. 그러나 사람의 존엄까지 분류할 수는 없다. 그것이 AI 시대에도 변하지 않아야 할 사람 중심 복지국가의 가치이며, 디지털 전환 속에서도 우리가 끝까지 지켜야 할 인간의 존엄이다.이수영 시민기자 tndudfl1566@nate.com
Top
