29종·3천544만 건 규모…AI허브서 기업·연구자 등에 무료 개방
사전학습부터 추론·멀티모달·레드티밍·피지컬 AI까지
[방송기술저널 백선하 기자] 정부가 독자 AI 파운데이션 모델 프로젝트에 참여한 5개 정예팀이 개발 과정에서 확보한 대규모 AI 학습 데이터를 공개한다.
과학기술정보통신부와 한국지능정보사회진흥원(NIA)은 네이버클라우드, 업스테이지, SK텔레콤, NC AI, LG AI연구원이 1차 단계 평가 과정에서 구축한 29종의 데이터를 AI허브 홈페이지에 공개한다고 8월 27일 밝혔다.
공개 데이터는 약 3천544만 건, 약 1.56조 토큰 규모다. 이론적으로 700억∼800억 개 파라미터 수준의 대형 AI 모델 학습에 활용할 수 있는 규모로, 대규모 사전학습 데이터부터 영상·음성 등 멀티모달 데이터, AI 안전성 확보를 위한 레드티밍 데이터까지 포함한다.
네이버클라우드는 공개 영상 234만 건과 방송 영상 52만 건, 영상 클립을 기반으로 한 텍스트 1천550만 건과 음성 질의응답 1천200만 건을 구축했다. 텍스크는 영상 장면을 문장 단위로 설명하는 캡션 등으로 구성돼 AI 모델의 영상 이해와 이미지 생성 모델 학습에 활용될 수 있다.
업스테이지는 1조 토큰 규모의 사전학습 데이터와 50만 건의 사후학습 데이터를 마련했다. 사후학습 데이터에는 단순 질의 응답을 넘어 추론·판단·실행 등이 포함돼 AI 에이전트 개발에 활용할 수 있다.
SK텔레콤은 수학·과학·법률 등 전문 분야의 고난도 다단계 추론 데이터와 음성·이미지 기반 사후학습 데이터, 국내 법령과 한국 사회의 보편적 가치관을 반영한 한국형 레드티밍 데이터 약 1만 건을 구축했다.
NC AI는 제조 분야 기술문서와 민원 상담 음성 등 실제 산업 현장 데이터를 활용해 긴 문맥 이해, 단계별 추론, 멀티턴 대화, 질의응답, 멀티모달리티 등 AI 핵심 역량과 관련된 데이터 7종을 구축했다.
LG AI연구원은 국내 가정환경에 특화한 피지컬 AI용 멀티모달 데이터셋을 마련했다. 실제 50개 가정에서 50종 이상의 가사 활동을 촬영해 17만 개 이상의 영상 클립을 만들고 객체·분할·자세·맥락 정보 등을 다층적으로 라벨링했다.
이번 공개를 위해 NIA와 한국정보통신기술협회(TTA)는 데이터 품질과 개인정보·유해성 여부 등을 검증하고 라이선스 제약이 있는 데이터는 제외했다.
사업 참여 조건에 따라 구축·가공 예산으로 확보한 데이터의 50% 이상을 공개해야 하지만 LG AI 연구원을 제외한 나머지 참여사들은 검증을 거친 데이터를 모두 공개하기로 했다.
공개 데이터는 AI허브의 ‘독자AI모델 데이터’ 항목에서 국내 기업과 연구자, 학생 등 누구나 무료로 이용할 수 있다. 일부 데이터는 안전한 온라인 환경에서 활용할 수 있는 ‘안심존’을 통해 별도 신청해야 한다.
AI 허브(AI-Hub)는 과기정통부가 주관하고 NIA가 추진·운영하는 대한민국 공공 AI 데이터 통합 플랫폼이다. AI 개발을 원하는 기업, 연구자, 개발자, 학생 등 누구나 AI를 연구·개발할 수 있도록 고품질의 AI 학습용 데이터와 인프라를 무료로 개방·지원하고 있다.
과기정통부는 2차 단계 평가 과정에서 구축된 데이터에 대해서도 품질 검증 등을 거쳐 개방할 예정이다.
