AI 도입, 돈이 많이 든다? 잘하는 회사의 4가지 절약의 기술 - 티타임즈 [뉴스] 토큰은 줄이면서 품질을 유지하려면, 적재적소에 필요한 모델을 사용해야 합니다. 가장 비싼 모델만을 쓰는 게 아니라 어떤 상황에 어떤 모델을 투입할지 모델 라우팅 을 해줘야 하죠. 이뿐만이 아닙니다. 캐싱을 활용해 중복되는 AI 사용을 최소화해야하고, 에이전트의 도구 사용도 적절히 제한해야 합니다. 맥락 파악에 실리는 정보를 최대한 농축해놓는 것도 중요하죠. 마지막은 평가입니다. 이미 선진 AI 회사들은 평가 시스템까지 서비스로 제공하고 있다는데요, 그 노하우를 공유해드립니다.
Top
