'허깅페이스 오픈 LLM 리더보드' 세계 1위
|
업스테이지는 14일 세계 최대 머신러닝 플랫폼 허깅페이스에서 운영하는 오픈 LLM 리더보드에서 세계 1위를 차지한 사전학습 LLM 솔라를 공개했다. 이번 결과는 소형 LLM(SLM)의 기준이라고 할 수 있는 300억 매개변수(30B) 이하 사이즈로 글로벌 최고 성능 모델에 올랐다.
업스테이지 솔라는 'Specialized and Optimized Llm and Applications with Reliability'의 약자로, 업스테이지는 지난 8월 GPT-3.5의 벤치마크 점수를 뛰어넘어 주목을 받은 자사 허깅페이스 1위 모델을 시작으로 솔라 모델을 개발했다.
허깅페이스 오픈 LLM 리더보드는 오픈소스 생성 AI 모델의 바로미터로 꼽힌다. 전 세계 500여개의 오픈 모델들이 추론과 상식 능력, 언어 이해 종합능력 및 환각현상(할루시네이션) 방지, 대명사 참조 및 수학 해결 능력 등 6가지 지표의 평균 점수로 경쟁해 순위가 매겨진다.
솔라는 기업들이 활용하기 좋은 프라이빗 LLM을 위해 작은 크기로 구성된 사전학습 모델로, 세계 최초의 107억 매개변수(10.7B) 모델이다. 업스테이지 솔라는 리더보드 평가에서 74.2점을 기록하며 전체 1위를 차지했다. 솔라는 알리바바의 최신 모델인 큐원의 6분의 1도 안되는 크기로 이를 훌쩍 뛰어넘는 성능을 기록했다.
업스테이지는 다양한 연구를 통해 작은 사이즈의 솔라 모델 성능을 최적화했다. 업스테이지는 성능이 좋지만 큰 13B 모델과 충분히 작지만 지적 제약이 있는 7B 모델 사이의 장점을 모두 갖는 최적의 모델 크기를 찾기 위해 오픈소스의 7B 모델들을 기반으로 레이어를 추가하며 소형 모델의 성능을 극대화했다. 그 결과 3조 개가 넘는 토큰의 데이터를 통해 확장된 10.7B를 완성했다. 이는 크기와 성능의 최적의 조합으로 모델을 구축했다는 설명이다.
또한 사전 학습 및 파인튜닝 단계에서 자체적으로 구축한 데이터를 적용했다. 이는 리더보드 점수를 높이기 위해 벤치마크 셋을 직접 적용하는 모델들의 사례와 달리 솔라는 다양한 태스크의 실제 업무 활용 등 일반적인 경우 높은 사용성을 보여줄 수 있음을 반증한다.
솔라 모델은 사전학습 모델까지 상업적 활용까지 가능하다. 업스테이지는 실사용성 높은 파인튜닝 모델은 물론 자체 추가 학습이 가능한 사전학습 모델까지 공개했다. 모델의 성능을 자체적으로 끌어올리는데 사용할 수 있는 사전학습 모델도 파인튜닝 모델과 함께 공개된 솔라 모델이 허깅페이스 리더보드 평가 기준 66.04점으로 1위에 올랐다.
업스테이지는 AWS, Poe, Together.ai 등 글로벌 플랫폼과의 협력을 통해 최고 기술력을 바탕으로 글로벌 생성 AI 시장에 본격적으로 진출할 계획이다. 업스테이지는 최근 'AWS 리인벤트 2023' 행사에 참석해 AWS의 클라우드 서비스와 AI 플랫폼을 활용해 자체 개발한 LLM을 구축하고 운영하는 과정과 성과에 대해 설명하며 AWS와의 협력을 밝혔다.
업스테이지는 글로벌 생성 AI 활용 플랫폼 Poe에 메인 모델로 등록되어 있는 솔라 모델을 업데이트해 대중들이 최고 성능의 업스테이지 LLM을 직접 경험해 볼 수 있도록 할 예정이다. Poe는 쿼라가 운영하는 플랫폼으로, 다양한 AI 모델과 대화하고 원하는 프롬프트를 입력해 나만의 챗봇을 만들 수 있다.
업스테이지는 이번 모델 개발에 앞서 국내 최초 수학 GPT와 이커머스 프라이빗 LLM을 구축하는 등 다양한 분야에서 모델 구축의 노하우를 축적하고 있다. 업스테이지는 콴다, KT와 세계 최고의 수학 GPT를 구축, 생성형 AI가 약한 추론 영역까지 LLM의 역량을 확장하고 있다. 또한 커넥트웨이브와 이커머스 업계 최초로 프라이빗 LLM을 구축했다.
김성훈 업스테이지의 대표는 "KT의 전략투자를 통한 지원이 큰 도움이 되었고 앞으로 지속적으로 더 큰 격차를 벌릴 수 있는 최고 성능의 솔라 모델을 활용, B2B 시장에서의 협력도 추진할 것"이라고 밝혔다.
