KT클라우드 비용 부담 줄인 추론 전용 AI 인프라 서비스 출시 [카테고리 설정이 아직되어 있지 않습니다.]
kt클라우드가 AI 추론용 인프라 서비스를 출시했다. /사진=KT
[데일리임팩트 황재희 기자] KT클라우드가 전문기업과 스타트업을 겨냥, 인공지능(AI) 인프라 서비스를 선보인다. AI 상용 서비스 개발 수요를 흡수하기 위해서다.
KT클라우드가 AI 추론 전용 인프라 서비스 'AI 서브(SERV)’를 출시했다고 16일 밝혔다.
이번 AI 서브는 AI 전문기업과 스타트업 등이 고성능 그래픽처리장치(GPU) 인프라를 각 서비스에 필요한 만큼만 분할해 최적의 양을 사용할 수 있도록 개발했다.
초거대 AI 분야에서 학습 영역은 단기간 집중적으로 대용량 고사양의 GPU가 필요한 것과는 달리, 추론 영역은 적은 양의 GPU를 끊김없이 상시 사용해야 한다. 때문에 학습에 사용한 인프라를 그대로 추론 인프라로 활용할 경우 필요 이상의 비용 부담이 발생해 왔다.
KT클라우드는 슬라이싱 기술을 적용, 이 같은 문제를 해결했다. AI 서브에 적용된 슬라이싱 기술은 기존에 한 장으로 제공되던 GPU 서비스를 5 분할해 0.2장 단위로 제공한다. 최소 사용 가능한 GPU 단위가 작아진 만큼 필요한 때 필요한 만큼의 인프라를 사용할 수 있어 가격 부담을 줄였다.
또 기존의 슬라이싱 기술은 분할된 단위의 GPU에서 열이 발생했는데 AI 서브는 슬라이싱 분할에도 성능 열화 없이 인프라를 100% 활용할 수 있도록 했다.
타사의 유사 서비스 대비 성능과 호환성이 좋다. 엔비디아 A100 칩을 활용, 경쟁사의 최신 추론형 인프라 서비스와 비교해 최소 두 배 빠른 연산 속도를 구현한다. 엔비디아 쿠다 아키텍처를 기반으로 하는 만큼, 높은 호환성과 확장성도 갖췄다.
향후 KT클라우드는 AI 서브에 사용자의 손쉬운 인프라 확장 지원을 위한 모니터링과 컨테이너 이미지 클로닝 기능 등을 추가할 예정이다. 이와 함께 부하 발생시 인프라를 자동 확장시키는 오토 스케일링 기능을 도입하는 등 서비스 고도화도 계획 중이다.
KT클라우드 관계자는 데일리임팩트에 "AI 서비스 제공 기업이 다양한 상황에 맞춰 고성능의 인프라를 합리적인 비용에 활용할 수 있을 것으로 기대하고 있다"고 말했다.
Top
