|
19일 업계에 따르면 LG AI 연구원은 이달 7~11일 오스트리아 비엔나서 열린 세계적 AI 학술대회 'ICLR 2024'에서 상용화 단계를 위한 심층신경망 기반의 경량화 모델 관련 연구 내용을 발표했다.
LG AI 연구원이 발표한 연구 내용은 보통의 신경망 구조보다 훨씬 깊고 복잡한 수직 구조로 이뤄진 탓에 많은 연산 자원과 메모리가 필요한 심층 신경망의 단점을 보완하기 위해 모델의 크기와 연산 복잡성을 줄이면서도 성능을 유지하거나 향상시킬 수 있는 모델 압축에 대한 내용이다. 한정된 자원에서 통합적인 연산을 하는 새로운 신층신경망 설계 'LeSS'를 고안했다. 관련 연구는 LG AI 연구원에서 데이터 인텔리전스 연구실(DI랩)에서 진행했다.
최근 거대 언어 모델의 발전으로 인해 고성능 심층신경망의 경량화에 대한 관심이 더욱 높아지고 있다. 특히 모바일 기기, 노트북 등 온디바이스 환경에서 심층신경망를 활용하기 위해서는 모델 경량화가 필수적이다. 모델 압축을 통해 메모리 사용량을 줄이고, 추론 속도를 높이며, 배포 비용을 절감하는 등의 중요한 이점을 얻을 수 있기 때문이다. 거대 언어 모델 등 대규모 모델 활용도가 커지면서, 이를 운영하는 데 있어 모델 경량화가 매우 핵심적인 요소로 작용한다.
LG AI 연구원은 모델 경량화를 통해 실시간 음성 인식, 증강 현실, 자율 주행 등 다양한 분야에서의 활용 가능성을 크게 확장할 수 있다고 보고 있다. 이러한 응용 분야들은 신속하고 효율적인 추론을 필요로 하는데, 경량화된 모델은 고성능 서버 기반 모델과 유사한 성능을 제공하면서도 자원 소모를 최소화할 수 있다.
비용 절감이라는 경제적 이점도 있다. 대규모 모델을 클라우드 환경에서 운영할 때 저장 공간과 전송 대역폭이 주요 비용 요인으로 작용하는데, 압축 기술을 활용하면 이러한 비용을 효과적으로 절감할 수 있다. 아울러 경량화된 모델은 네트워크 환경이 불안정하거나 제한적인 상황에서도 원활히 동작할 수 있어 보다 광범위한 사용자에게 서비스 접근성을 제공할 수 있다.
LG AI연구원은 "모델 압축 연구가 단순히 이론적 접근에 그치지 않고 실험적 검증과 적용 사례 중심으로 다뤄진다면, 실제 산업 현장에서의 적용 가능성도 높일 수 있을 것"이라며 "앞으로 이 분야의 지속적인 연구 개발을 이어 나갈 예정이며, 더욱 다양하고 혁신적인 활용 사례를 만들어 나갈 것"이라고 말했다.
