[방송기술저널 백선하 기자] KT가 챗GPT 등 국내외 AI 모델 500개 이상을 한곳에서 이용하고 사용량과 비용까지 통합 관리할 수 있는 AI 플랫폼 ‘토큰팩토리’를 선보였다.
KT는 10월 27일 서울 종로구 광화문 웨스트빌딩에서 AI 모델 선택부터 비용 관리, 보안 기능까지 제공하는 KT 토큰팩토리를 공개했다. 토큰팩토리는 오는 30일 정식 출시된다.
토큰은 대형언어모델(LLM)이 텍스트를 처리하기 위해 사용하는 가장 작은 단위이자 비용을 계산하는 단위다. AI는 문장을 그대로 읽는 대신 토크나이저를 통해 텍스트를 토큰으로 나누고 이를 숫자 ID로 변환해 처리한다. 그리고 사용한 토큰 수만큼 요금을 청구한다.
KT의 토큰팩토리는 여러 AI 모델을 하나의 플랫폼에서 이용할 수 있도록 지원하는 서비스다. 기업 고객은 여러 AI 모델을 개별적으로 구독하거나 관리할 필요 없이 하나의 플랫폼에서 모델 선택과 이용 현황 모니터링, 결제까지 처리할 수 있다.
최근 AI 모델이 다양해지면 업무별로 다른 모델을 활용하는데 여기서 문제는 이용 현황과 비용 관리가 어렵다는 점이다. KT는 자체 개발한 AI 모델 라우팅 기술 ‘오토 모델 라우터’를 적용해 비용 효율성을 높였다.
이 기술은 질문의 업무 유형과 난이도, 요구 품질, 비용 등을 종합적으로 분석해 적합한 AI 모델을 자동으로 선택한다. KT에 따르면 오토 모델 라우터는 AI 모델 선택 성능을 평가하는 글로벌 벤치마크 ‘라우터아레나’에서 종합 1위를 기록했다.
KT는 한국어 특성을 고려한 프롬프트 압축 기술도 적용했다. 불필요한 반복 표현 등을 제거해 질문의 의미와 응답 품질을 유사하게 유지하면서 입력 토큰 수를 줄이는 방식이다.
KT는 이 같은 자체 기술을 통해 AI 이용에 필요한 토큰 사용량을 최대 25% 절감할 수 있다고 설명했다.
데이터 주권과 보안 기능도 강화했다. KT는 해외 AI 서비스 의존에 따른 데이터 유출 우려를 줄이기 위해 국내 KT 데이터센터에서 자체 AI 추론 서비스를 제공한다.
KT는 글로벌 AI 모델 마켓플레이스 사업자인 ‘오픈라우터’와 국내 최초로 공식 파트너십을 체결했다. 이를 통해 글로벌 AI 모델 500개 이상을 확보하고 KT 자체 추론 모델과 통합 제공할 계획이다. 향후에는 KT가 국내에서 제공하는 AI 모델의 글로벌 유통도 추진한다는 방침이다.
박상원 KT AX사업부문장 전무는 “AI 시장은 이제 누가 더 좋은 모델을 만드느냐보다 누가 AI를 더 쉽고 효율적으로 활용하도록 지원하느냐의 경쟁으로 빠르게 전환되고 있다”며 “토큰팩토리를 대한민국 AI 생태계 성장을 이끄는 핵심 플랫폼으로 발전시켜 나가겠다”고 말했다.
