AI가 그렇게 분석했습니다 …그대로 받아들일 수 있나 [뉴스] 인천 계양구는 지난해 10월 29일 구청 대회의실에서 복지사각지대 및 AI 초기상담 시스템의 현장 개선 방안을 논의하는 간담회를 개최했다고 31일 밝혔다. 이번 간담회는 복지사각지대 발굴과 AI 초기상담 시스템 운영의 효율성을 높이기 위한 소통의 자리로 마련됐다. 이날 간담회에는 계양구청 희망복지팀, 각 동 복지사각지대 담당자, 사회보장정보원 관계자 등 19명이 참석했다. 인천 계양구 제공
인공지능(AI)은 실수할 수 있다. 이 문장은 이제 특별한 이야기가 아니다. 생성형 AI는 사실과 다른 정보를 만들어내기도 하고, 이미지 인식 AI는 사람을 잘못 식별하기도 하며, 의료 AI도 오진 가능성을 완전히 없애지는 못한다.
그렇다면 복지 분야는 어떨까. 만약 AI가 한 사람을 지원 대상에서 제외했고, 그 결과 적절한 복지서비스를 받지 못했다면 그 책임은 누구에게 있을까. AI 시대 복지가 반드시 답해야 하는 가장 중요한 질문이 바로 여기에 있다.
AI는 판단할 수 있지만 책임질 수는 없다. 복지행정은 국민의 권리와 직결된다. 긴급복지 지원, 장애인 서비스, 돌봄 지원, 의료급여와 같은 결정은 단순한 행정절차가 아니라 국민의 삶을 좌우하는 공적 의사결정이다.
AI는 방대한 데이터를 분석해 위험도를 예측하고 정책결정을 지원할 수 있다. 그러나 AI는 자신의 판단에 대해 법적 책임을 질 수 없다. 결정의 이유를 스스로 설명할 수도 없고, 잘못된 결과에 대해 사과하거나 손해를 배상할 수도 없다.
행정법의 기본 원칙도 마찬가지다. 공권력의 행사는 언제나 국가와 행정기관이 책임을 진다. 따라서 AI는 공공행정의 의사결정 지원 시스템이 될 수는 있지만, 최종 의사결정의 주체가 될 수는 없다. AI가 그렇게 판단했습니다 는 답이 될 수 없다.
가상의 사례를 생각해 보자. 홀로 생활하는 D는 경제적 어려움을 겪고 있었지만 AI는 지원 대상이 아니라고 판단했다. 공무원 역시 AI가 제시한 결과를 그대로 신뢰했고 별도의 검토 없이 지원 대상에서 제외했다. 몇 달 뒤 D는 생활고로 심각한 위기를 맞았다. 유족이 행정기관에 묻는다. 왜 아무도 이 사람을 도와주지 않았습니까? 만약 행정기관이 AI가 그렇게 분석했습니다 라고 답한다면 그 답을 받아들일 수 있을까.
아마 그렇지 않을 것이다. 국민은 알고리즘이 아니라 국가를 믿고 복지제도를 이용한다. 결국 국민 앞에서 책임을 져야 하는 주체 역시 국가다. 설명할 수 없는 AI는 신뢰받을 수 없다. 여기서 중요한 개념이 설명 가능한(Explainable) AI(XAI)다.
2026년 하계 사회복지 현장실습 오리엔테이션 현장 모습. 한국사회보장정보원 제공
설명 가능한 AI란 AI가 어떤 데이터를 활용했고, 어떤 이유로 그런 결과를 도출했는지를 사람이 이해할 수 있도록 설명하는 기술과 방법론을 의미한다. 복지행정에서는 이 원칙이 특히 중요하다. 국민은 단순히 지원 대상이 아닙니다 라고 통보만 들어선 안 된다. 어떤 기준이 적용되었는지, 어떤 정보가 활용되었는지, 이의를 제기할 방법은 무엇인지 충분히 설명받을 권리가 있다.
설명이 없는 AI는 국민에게는 블랙박스 일 뿐이다. 블랙박스는 효율적일 수는 있어도 신뢰받는 행정이 될 수는 없다. 국제사회가 강조하는 것은 인간의 감독 (Human Oversight)이다. 국제사회 역시 같은 방향으로 움직이고 있다. 유럽연합(EU)은 복지와 의료, 교육 등 기본권에 직접 영향을 미치는 AI를 고위험 AI로 규정하고, 반드시 인간의 감독이 이루어져야 한다고 요구한다. 경제협력개발기구(OECD) AI 원칙 역시 AI의 모든 의사결정에는 명확한 책임체계가 마련되어야 하며, 최종 책임은 인간과 조직이 부담해야 한다고 강조한다.
AI는 의사결정을 지원할 수는 있지만, 인간의 책임을 대신할 수는 없다는 것이다. 이는 기술을 불신해서가 아니다. 민주주의에서 공권력의 책임은 결코 기계에 위임될 수 없기 때문이다. AI 시대 복지는 Human in the Loop 가 원칙이 되어야 한다
필자는 AI 복지행정에서 반드시 지켜야 할 원칙 가운데 하나가 Human in the Loop , 즉 인간 중심 의사결정 체계라고 생각한다. AI는 위험을 예측하고, 데이터를 분석하며, 정책결정을 지원할 수 있다. 그러나 국민의 권리에 영향을 미치는 최종 판단은 반드시 사람이 검토하고 책임져야 한다.
한성숙 국무총리 후보자가 17일 서울 종로에 위치한 한 카페에서 열린 데이터 기반 AI행정을 위한 실무공직자 간담회에 참석해 발언하고 있다. 2026.6.17. 연합뉴스
AI는 사람보다 빠를 수 있다. 하지만 사람보다 더 책임질 수는 없다. AI는 사람보다 더 많은 데이터를 분석할 수 있다. 하지만 사람보다 더 공감할 수는 없다. 복지는 숫자를 관리하는 행정이 아니라 사람의 삶을 지키는 국가의 책임이다. 그 책임의 마지막 순간까지 사람이 결코 사라져서는 안 된다.
AI 대전환 시대에 우리가 만들어야 하는 것은 무인(無人) 행정 이 아니다. 오히려 AI를 활용하되 인간의 판단과 책임을 더욱 분명하게 하는 책임 있는 디지털 복지행정이다. AI는 훌륭한 조력자가 될 수 있다. 그러나 국민의 권리를 최종적으로 결정하는 주체는 언제나 국가이며, 그 책임을 지는 것은 결국 사람이어야 한다. 그것이 AI 시대에도 흔들려서는 안 될 공공행정의 원칙이며, 국민이 끝까지 신뢰할 수 있는 복지국가의 조건이다.이수영 시민기자 tndudfl1566@nate.com
Top
