기업 AI 전사 확산 66%…핵심 업무 신뢰는 6명 중 1명 [뉴스] AI를 전사적으로 확대하는 기업은 66%에 달했지만, 핵심 업무를 AI 에이전트에 맡길 수 있다고 본 임원은 6명 중 1명에 불과한 것으로 나타났다.
글로벌 리서치·자문회사 HFS리서치 원문 보고서는 지난 17일(현지시각) 인도 타타그룹 계열의 글로벌 IT서비스·컨설팅 기업 타타컨설턴시서비스(TCS)와 미국·캐나다 포춘2000 기업 임원 101명을 조사한 결과를 공개했다. 조사 대상은 모두 매출 30억달러 이상 기업 소속이다.
AI 전사 확대 66%…핵심 업무 AI 에이전트 신뢰는 6명 중 1명
핵심 업무로 갈수록 경영진의 AI 신뢰는 크게 낮아졌다.
핵심 업무에서 AI를 신뢰한다는 응답은 59%였지만, AI가 기대한 사업 성과를 일관되게 내고 있다고 답한 비율은 35%였다. 스스로 판단하고 행동하는 AI 에이전트를 핵심 업무에 맡길 수 있다고 본 임원은 6명 중 1명에 그쳤다.
AI 판단을 외부에 설명하고 책임질 준비도 부족했다. AI 결정을 규제기관이나 경영진에게 자신 있게 설명할 수 있다는 응답은 44%였고, 잘못된 결정이 나왔을 때 책임 소재가 명확하다는 기업은 43%였다.
관리체계도 AI 확산 속도를 따라가지 못했다. 전사 확장을 뒷받침할 거버넌스와 통제장치를 갖춘 기업은 4곳 중 1곳에 그쳤다. AI를 확대 중인 기업의 39%는 확산 속도가 자사의 신뢰성 관리 역량보다 빠르다고 답했다.
AI는 사람의 개입이 줄수록 신뢰도가 낮아졌다. 업무를 보조하는 코파일럿을 가장 신뢰할 수 있다고 답한 비율은 50%, 사람의 감독 아래 움직이는 AI 에이전트는 46%였다. 독립적으로 판단·행동하는 자율형 AI 에이전트는 20%에 그쳤다. AI 이상을 빠르게 감지할 수 있다는 기업은 59%였지만, 잘못된 행동으로 이어지기 전에 작동을 멈출 수 있다는 응답은 23%에 불과했다. / 출처=HFS리서치
PwC도 AI 오류 못 걸러내…잘못된 작동 막을 수 있는 기업 23%
파이낸셜타임스는 지난달 PwC 중동법인 보고서 오류가 AI와 전기차 관련 보고서 4건에서 발견됐다고 보도했다. 존재하지 않는 각주와 잘못 연결된 주장, 검증하기 어려운 정보 등이 포함됐으며 AI 탐지업체 GPT제로가 조사하고 파이낸셜타임스가 이를 검증했다. PwC는 문제가 된 일부 인용을 수정하기로 했다.
HFS리서치 조사에서도 사람의 개입이 줄수록 AI에 대한 신뢰는 낮아졌다. 사람의 업무를 보조하는 코파일럿을 가장 신뢰할 수 있다고 답한 비율은 50%, 사람의 감독 아래 움직이는 AI 에이전트는 46%였다.
정해진 절차에 따라 여러 단계의 업무를 수행하는 AI는 32%였고, 독립적으로 판단하고 행동하는 AI 에이전트는 20%에 그쳤다.
오류 대응 능력도 제한적이었다. AI가 예상대로 작동하지 않을 때 이를 빠르게 감지할 수 있다는 기업은 59%였지만, 잘못된 행동으로 이어지기 전에 AI 작동을 멈출 수 있다는 기업은 23%에 불과했다.
기업의 56%는 최근 1년 동안 AI가 내놓은 결과를 수정하거나 중단하기 위해 사람이 개입한 경험이 있었다. 원인은 잘못됐거나 오래된 데이터가 56%로 가장 많았고, 시스템 연계 문제가 39%로 뒤를 이었다. 모델 자체의 예측하기 어려운 작동을 지목한 비율은 23%였다.
기업의 12%는 AI 오류가 발생했는지조차 확실히 파악하기 어렵다고 답했다. AI 신뢰성을 높이려면 모델 성능뿐 아니라 오류를 감지·통제할 수 있는 데이터와 시스템, 사람의 감독까지 함께 관리해야 한다는 의미다.
EU도 인간 감독·통제 요구…기업 평가는 기술 성능 중심
AI를 설명하고 통제할 수 있는 능력은 규제 대응에서도 중요해지고 있다.
EU AI법 고위험 AI 사용자 의무는 기업 등 고위험 AI 사용자가 운영 상황을 모니터링하고 적절한 인간 감독을 두도록 요구한다. 고위험 AI 자체에도 위험관리와 기록, 데이터 관리, 인간 감독 등의 요건을 두고 있다.
기업의 AI 평가는 여전히 기술 성능에 집중돼 있었다. 모델 정확도와 시스템 가동시간을 측정하는 기업은 각각 61%였고, 오류율을 관리하는 기업은 57%였다.
AI가 실제 사업 성과를 냈는지 평가하는 기업은 46%였다. 매출 영향을 측정하는 기업은 37%, 고객 만족도는 35%, 직원 생산성은 31%에 그쳤다.
AI가 제대로 작동하는지는 확인하면서 실제 성과와 책임까지 평가하는 기업은 상대적으로 적은 셈이다.
HFS리서치는 신뢰할 수 있는 AI는 모든 실패를 막는 데 있는 것이 아니라, 기업이 문제가 발생했을 때 얼마나 빠르게 이를 발견하고 설명하며 통제할 수 있는지가 신뢰성을 가르는 기준이라고 분석했다.
Top
