[방송기술저널 백선하 기자] 우리나라를 대표하는 독자 AI 파운데이션 모델 개발 사업 2차 평가에서 탈락한 모티프테크놀로지스가 평가 기준과 세부 결과 공개를 요구하며 공식 이의를 제기했다. 다만 이의 제기 결과와 상관없이 3차 평가에 참여하지 않겠다는 뜻도 분명히 했다. 정부는 15일 이내 공정하게 검토하겠다는 입장이다.
모티프는 8월 27일 입장문을 내고 “독자 AI 파운데이션 모델 사업 2차 단계 선정 결과와 관련해 정식으로 이의 제기를 신청했다”며 “평가 점수의 상세한 공개와 재심의를 정중히 요청한다”고 밝혔다.
앞서 과학기술정보통신부는 18일 정부서울청사에서 류제명 제2차관 주재로 브리핑을 열고 독자 AI 파운데이션 모델 프로젝트 2차 평가에서 기존 4개 팀 중 업스테이지, SK텔레콤, LG AI 연구원 정예팀이 3차 단계로 진출하게 됐다고 발표했다.
문제는 탈락한 모티프가 AI 모델 평가 전문 플랫폼인 ‘아티피셜 애널리시스(Artificial Analysis)’가 측정·발표하는 AI 모델 종합 평가 지수인 ‘AAII(Artificial Analysis Intelligence Index)’에서 최고점을 기록했다는 점이다. 모티프3는 AAII에서 47점을 기록하며 전 세계 기업별 AI 모델 중 10위에 올랐다.
류 차관은 “모티프는 기술력 측면에서 뛰어난 성과를 보여줬으나 전체 배점의 75점에 달하는 사용성과 활용성 부문 등에서 타 기업 대비 다소 낮은 평가를 받았다”고 설명했다.
모티프는 “평가 결과 자체는 존중하고 받아들였지만, 언론을 통해 과기정통부는 모티프3가 AAII 벤치마크 점수만 높았을 뿐 전문가 평가와 사용자 평가에서 문제가 있었다고 설명한 것으로 보도됐다”며 “모티프 3가 높은 점수를 받은 AAII는 9개의 대표적 벤치마크를 취합한 종합 평가 지표로 특정 성능뿐 아니라 사용성과 관련된 평가까지 포함하는 종합적인 성능 평가”라고 강조했다.
모티프는 △전체 평가 항목별·업체별 상세 점수 및 평가 내용 공개 △벤치마크 평가 배점 산정 방식의 근거 제시 △전문가 평가 상세 기준 및 판단 근거 공개 △사용자 평가 방법론과 블라인드 평가 적용 여부 공개 등을 요구했다.
모티프는 “단순히 어떤 업체가 선정되고 어떤 업체가 탈락했느냐의 차원을 넘어, 독파모 사업의 본질과 향후 나아가야 할 방향에 대한 근본적인 의문을 제기한다고 생각한다”며 “저희가 추구해 온 기술적 방향성과 그 결과물에 대해 일부 오해가 있을 수 있다는 생각도 하게 돼 평가 점수의 상세한 공개와 재심의를 정중히 요청한다”고 했다.
과기정통부의 2차 평가는 △벤치마크 평가(배점 40점) △전문가 평가(배점 35점) △사용자 평가(배점 25점)를 병행하는 입체적 평가로 진행됐다.
벤치마크 평가는 AAII 벤치 마크 평가(배점 25점)와 NIA 벤치마크 평가(배점 15점)로 구성됐고, 전문가 평가는 AI 알고리즘, 서비스, 데이터 분야 등의 전문성을 보유한 외부 AI 전문가로 전문가위원회를 구성해 정예팀이 제출한 서류를 바탕으로 약 일주일 내외 간의 평가로 진행됐다. 마지막 사용자 평가는 AI 전문 사용자 평가(배점 15점)와 일반 국민 평가(배점 10점)으로 구성했으며, 이를 기반으로 AI 사용성(Usability) 등에 대한 평가를 진행했다.
모티프는 특히 벤치마크 평가 배점 산정 방식에 문제가 있다고 주장했다. 글로벌 최고 수준 모델의 AAII 점수가 63점인데 이를 25점 만점으로 환산하면 15.75점에 불과해 모델 간 실제 성능 차이가 평가 점수에 충분히 반영되기 어렵다는 취지다.
사용자 평가에 대해서도 “브랜드 인지도나 선입견이 평가에 영향을 미칠 가능성을 배제하기 어렵다”며 블라인드 평가 방식 적용 여부와 상세 결과 공개를 요청했다.
다만 모티프는 이번 이의 신청이 탈락 결과를 뒤집어 3차 평가에 참여하기 위한 것은 아니라고 선을 그었다. 모티프는 이의 제기 결과와 관계없이 독파모 3차에는 참여하지 않겠다고 밝혔다.
과기정통부는 모티프의 이의 신청을 정해진 절차에 따라 처리하겠다는 입장을 전했다. 과기정통부는 규정에 따라 15일 이내 검토를 거쳐 전담 기관 등을 통해 최종 결정을 내릴 방침이다.
배경훈 부총리 겸 과기정통부 장관은 모티프의 이의 신청을 의식한 듯 평가 방식을 개선해야 한다는 의견을 내놓았다.
배 부총리는 27일 서울 중구 프레지던트호텔에서 열린 제2차 ‘과학기술·인공지능 미래전략회의’에서 “(2차 평가 결과에 대해) 글로벌 수준에 비춰볼 때 여전히 아쉬운 부분이 있다”고 말했다.
그는 “1년 반 전 수립된 평가나 경쟁 방식이 3∼6개월 단위로 급변하는 AI 트렌드에 여전히 유효한지 근본적인 고민이 필요한 시점”이라며 “누구나 인정할 수 있는 세계적인 수준의 모델을 만들기 위해 정부 투자 집중 방식과 평가 제도의 보완을 검토하겠다”고 했다.
이어 “누가 봐도 반박할 수 없는 정도의 세계적인 결과물을 내고 산업계에서 당당하게 국산 모델을 쓸 수 있는 판을 올해 만들어 내년에는 글로벌에서 승부를 봐야 한다”라고 덧붙였다.
