5개 정예팀 구축 3544만건 데이터 공개
무료로 사용 가능…"2차 평가 데이터도 개방"
무료로 사용 가능…"2차 평가 데이터도 개방"
|
과학기술정보통신부는 한국지능정보사회진흥원(NIA)과 프로젝트 5개 정예팀이 1차 단계평가 과정에서 확보한 총 29종의 데이터를 AI허브 누리집에 공개한다고 27일 밝혔다. AI허브를 통해 공개되는 데이터는 약 3544만건으로 약 1조5600만 토큰 규모다.
이번 개방 데이터는 정예팀이 각자의 개발 전략에 맞춰 기획하여 데이터 구축·가공 예산을 통해 확보한 데이터다. 데이터는 사전학습에 필요한 대규모 데이터셋부터 영상·음성 등 멀티모달, 안전성 확보를 위한 레드티밍 데이터 등으로 구성됐다. 이를 토큰으로 환산하면 약 70~80B 수준의 대형AI모델 학습에 사용될 수 있는 규모다.
네이버클라우드는 공개 영상 234만건과 방송 영상 52만건, 해당 영상클립 기반의 텍스트 1550만건과 음성 질의응답 1200만건을, 업스테이지는 1조 토큰 규모의 대규모 사전학습 데이터와 50만건의 사후 학습 데이터를 구축했다.
SK텔레콤은 수학·과학·법률 등 전문 도메인 영역의 고난도 다단계 추론데이터와, 음성·이미지 등 사후학습용 데이터, 한국형 레드티밍 데이터 약 1만건을, NC AI는 대규모 언어 모델(LLM) 핵심 역량 데이터 7종을 구축했다. 또 LG AI연구원은 한국 가정환경에 최적화된 피지컬AI 멀티모달 데이터셋을 구축했다.
이번에 공개된 29종의 AI학습용 데이터는 국내 기업, 연구자, 학생 등 대한민국 국민이라면 누구나 AI허브를 통해 무료로 다운로드 받아 활용할 수 있다. 과기부는 앞으로도 독파모 고도화를 위한 지원을 지속해 나가는 한편, 향후 2차 단계평가 과정에서 데이터 구축·가공 예산을 통해 구축된 데이터에 대해서도 품질검증 등을 거쳐 개방을 진행할 예정이다.
김경만 과기부 인공지능정책실장은 "독파모 프로젝트는 단순히 AI모델 개발을 넘어, 개발과정에서 축적된 경험과 노하우를 통해 AI생태계 전반의 질적 성장에 기여한다는 점에서 큰 의미"라며 "오늘 개방된 데이터는 정예팀의 AI학습 전략이 담긴 귀중한 자산인 만큼 AI생태계의 성장과 자생력 강화를 이끄는 밑거름이 될 것"이라고 말했다.
