한양대 서지원 교수, 대규모 딥러닝 모델 학습 가속기술 개발

[캠퍼스人+스토리]
서교수팀 '스케줄링 알고리즘' 고안
학습속도 최대 1.5~2배 이상 향상

21일 한양대학교에 따르면 한양대 컴퓨터소프트웨어학부 서지원 교수팀이 최근 BERT, GPT-3 등의 대규모 딥러닝 모델 학습을 가속하는 최적화 기술을 개발했다. /제공=한양대학교

한양대학교 컴퓨터소프트웨어학부 서지원 교수팀이 최근 BERT, GPT-3 등의 대규모 딥러닝 모델 학습을 가속하는 최적화 기술을 개발했다.

21일 한양대에 따르면 서 교수팀은 정보통신기획평가원(IITP)과 KT의 지원을 받아 상대적으로 적은 수의 하드웨어 가속기로 대규모 모델 학습이 가능한 기술을 고안했다. 해당 기술은 딥러닝 모델을 학습하는 그래픽카드(GPU) 등의 하드웨어 가속기 사용률을 높여 학습을 가속시킨다.

이번 연구는 컴퓨터시스템 분야 세계최고 학술대회 'EuroSys(The European Conference on Computer Systems)'에 발표됐다. 대규모 신경망 모델 학습을 가속화할 뿐 아니라 향후 다양한 방식으로 활용될 수 있다는 점에서 학계와 업계의 주목을 받고 있다.

기존의 딥러닝 모델 학습방식은 역전파(BackProp) 알고리즘 수행 시 딥러닝 모델 레이어의 역순으로만 계산을 스케줄링하기 때문에 하드웨어 가속기를 효율적으로 사용할 수 있는 스케줄링이 불가능하다는 한계를 지녔다.

서 교수팀은 이런 단점을 개선하고자 역전파 알고리즘 과정의 계산 의존성을 분석해 하드웨어의 가용성을 최적화하는 순서로 역전파 알고리즘 계산을 하는 '스케줄링 알고리즘'을 고안했다.

서 교수팀이 제안한 스케줄링 알고리즘은 DenseNet, MobileNet 등을 포함한 컴퓨터 비전 모델의 학습속도를 최대 1.5배 이상 향상시키고, BERT·GPT-3 등의 거대 자연어처리 모델의 학습 속도를 최대 2배 올렸다.

서 교수의 연구 결과는 EuroSys 학술대회 발표 후 우수성을 인정받아 영국 임페리얼 칼리지 런던, 미국 스탠포드 대학에서 초청발표가 진행됐다. 또 미국 구글 본사·네이버 클로바·LG AI연구원·KT·SKT·몰로코·마키나락스 등에서 초청받아 세미나가 열리는 등 산업계에서도 주목받고 있다.