|
베슬AI는 남상대 연구원이 주저자로 참여한 논문 'DLLM-JEPA: 마스크드 디퓨전 언어모델을 위한 결합 임베딩 예측 아키텍처'가 머신러닝 분야 권위 학회인 ICML 2026의 SPIGM 워크숍 발표 논문으로 선정됐다고 24일 일밝혔다. 해당 연구는 워크숍 포스터 세션을 통해 공개될 예정이다.
이번 연구의 핵심은 언어모델 학습 과정에서 발생하는 데이터 구축 비용과 연산 자원 소모를 동시에 줄이는 데 있다. 기존 LLM-JEPA 계열 모델은 서로 다른 관점의 학습 데이터를 별도로 준비해야 했고, 학습 과정에서도 반복적인 연산이 필요했다. 연구진은 이를 개선하기 위해 하나의 문장에 서로 다른 마스킹 비율을 적용하는 방식을 도입했다. 이를 통해 추가 데이터 구축 없이 학습이 가능하도록 설계했으며, 전체 학습 연산량도 기존 방식 대비 약 33% 줄이는 성과를 얻었다.
효율성뿐 아니라 모델 성능 향상도 확인됐다. 실험 결과 수학 추론 벤치마크에서 LLaDA-8B는 최대 18.7%포인트, Dream-7B는 최대 11.4%포인트 정확도가 개선된 것으로 나타났다. 특히 새로운 과제 수행 능력이 향상되는 동시에 기존 성능 저하를 최소화하는 결과를 기록해 주목받았다. 연구진은 이 같은 결과가 일반적으로 성능 향상을 위해 모델을 크게 수정할수록 기존 능력이 감소할 수 있다는 기존 인식과는 다른 방향의 가능성을 보여준다고 설명했다.
베슬AI는 이번 연구가 생성형 AI와 피지컬 AI 분야를 연결하는 기반 기술로 활용될 수 있다는 점에도 의미를 부여했다. 학습 과정의 연산 효율이 높아질수록 GPU 사용량과 비용을 줄일 수 있어 대규모 AI 모델 개발 및 운영 환경에서 실질적인 경쟁력 확보가 가능하다는 설명이다.
남상대 연구원은 "학습 비용을 줄이면서도 새로운 작업에 대한 성능 향상과 기존 역량 보존을 동시에 달성하는 방법을 찾는 데 집중했다"며 "효율성과 성능을 함께 개선할 수 있다는 점을 실험을 통해 확인했다"고 말했다.
베슬AI는 앞으로도 생성모델과 LLM, 피지컬 AI, 월드모델 분야 연구를 지속 확대할 계획이다. 회사는 자체 연구 역량과 AI 인프라 운영 경험을 결합해 대규모 AI 워크로드의 학습 및 운영 효율을 높이는 기술 개발에 집중한다는 방침이다.
