“옷 주름도 그대로 재현”…KAIST 연구진, 물리 기반 생성형 AI 개발

다중 시점 영상 3차원 공간 재구성 후 MPM 결합
"가상콘텐츠·영화 등 실감형 미디어 산업에 활용"

한국과학기술원(KAIST) 전산학부 김태균 교수팀이 개발한 물리 법칙을 이해하는 3D 생성형 AI 모델의 모습./한국과학기술원

국내 연구진이 3차원 공간에서의 움직임과 상호작용을 실제 물리 법칙처럼 학습하는 새로운 생성형 인공지능(AI)을 개발했다.

한국과학기술원(KAIST)는 전산학부 김태균 교수 연구팀이 기존 2D 픽셀 기반 영상 생성 기술의 한계를 극복한 공간·물리 기반 생성형 AI 모델 'MPM아바타'를 개발했다고 22일 밝혔다.

연구팀은 기존 2D 기술의 문제를 해결하기 위해 가우시안 스플래팅으로 다중 시점 영상을 3차원 공간으로 재구성하고, 여기에 물리 시뮬레이션 기법(MPM)을 결합한 새로운 방식을 제안했다.

여러 시점에서 촬영한 영상을 입체적으로 재구성하고, 그 안에서 물체가 실제처럼 움직이며 상호작용하도록 물리 법칙을 AI가 스스로 학습하게 한 것이다. 이를 통해 물체의 재질·형태·외부 힘에 따른 움직임을 계산하고, 그 결과를 실제 영상과 비교해 AI가 물리 법칙을 스스로 학습할 수 있도록 했다.

연구팀은 3차원 공간을 점(포인트) 단위로 표현하고, 각 점에 가우시안과 MPM을 함께 적용해 물리적으로 자연스러운 움직임과 사실적인 영상 렌더링을 동시에 구현했다. 특히 옷처럼 얇고 복잡한 물체의 상호작용을 정밀하게 표현하기 위해 물체의 표면(메쉬)과 입자 단위 구조(포인트)를 함께 계산하고, 3차원 공간에서 물체의 움직임과 변형을 물리 법칙에 따라 계산하는 MPM 기법을 활용했다. 또 옷이나 물체가 움직이며 서로 부딪히는 장면을 사실적으로 재현하기 위해 새로운 충돌 처리(collision handling) 기술을 개발했다.

해당 기술을 적용한 생성형 AI 모델 MPM아바타는 느슨한 옷을 입은 사람의 움직임과 상호작용을 사실적으로 재현하고, AI가 학습 과정에서 본 적 없는 데이터도 스스로 추론해 처리하는 '제로샷' 생성에도 성공했다.

제안된 기법은 강체나 변형 가능한 물체, 유체 등 다양한 물리적 특성을 표현할 수 있어, 아바타뿐만 아니라 일반적인 복잡한 장면 생성에 활용될 수 있다는 설명이다.

김태균 교수는 "이번 기술은 AI가 물리 법칙을 이해하고 예측하는 '피지컬 AI'의 가능성을 보여준 연구로 이는 범용 인공지능(AGI)로 가는 중요한 전환점"이라며 "가상 프로덕션, 영화, 숏폼, 광고 등 실감형 콘텐츠 산업 전반에 실질적으로 적용돼 큰 변화를 만들어낼 것"이라고 말했다.