상대방의 말·표정 맞춰 적절한 시점에 자연스러운 반응 생성 / 컴퓨터 비전·멀티미디어 분야 학술대회 ACM Multimedia 'REACT26 Grand Challenge' 2위 / 김병규 교수 "AI가 대화 맥락·개인 특성 이해하고, 적절한 시점에 반응하는 원천기술 확보"
 |
| (왼쪽부터) 숙명여대 인공지능공학부 김병규 교수, 최지훈 연구원. |
숙명여자대학교(총장 문시연)는 인공지능공학부 김병규 교수 연구팀이 대화 상대방의 말과 표정에 맞춰 적절한 시점에 자연스럽게 반응하고, 개인별 표정 스타일을 반영하는 공감형 AI 모델을 개발했다고 밝혔다.
연구팀은 컴퓨터 비전·멀티미디어 분야 세계 최고 권위 학술대회인 ACM Multimedia가 주관하는 REACT26 Grand Challenge 2위를 차지했으며, 오는 11월 브라질 리우데자네이루에서 열리는 학술대회 구두 발표 세션에 채택됐다.
연구팀이 제안한 기술 '케어디프(CaReDiff·Causal Coarse-to-Fine Diffusion)'는 대화 상황에서 듣는 사람이 상대방의 말과 표정에 반응해 자연스러운 표정을 짓는 영상을 인공지능 모델로 생성한다.
기존 기술은 '언제 반응해야 하는지'와 '어떤 표정을 지어야 하는지'를 함께 학습하기 때문에 실시간 대화에서 반응 시점이 부정확하고 개인별 반응 스타일을 반영하는 과정에서 기존에 학습한 반응 패턴이 훼손될 수 있다는 한계가 있었다.
연구팀은 이를 해결하기 위해 반응 시점을 명시적으로 정렬하는 '인과적 교차 주의(causal lead-lag cross-attention)' 기법과 전체적인 표정 흐름을 먼저 계획한 뒤 세부 표정을 다듬는 '단계적(coarse-to-fine) 표정 계획' 방식을 결합했다.
개인화를 위해서는 기존 모델은 그대로 유지하면서 성격 특성과 과거 행동 패턴을 반영하는 경량 보정 모듈인 '개인화 잔차 어댑터(Personalised Residual Adapter)'를 별도로 추가했다. 전체 파라미터의 1% 미만만 추가 학습하는 방식으로 개인별 반응 스타일을 구현했다.
연구팀은 MARS 데이터셋을 활용한 실험을 통해 반응의 적절성과 개인화 성능이 모두 향상된 것을 확인했다. 반응의 적절성을 나타내는 FRCorr 지표는 오프라인 설정 기준 0.7671을 기록했고, 실시간(온라인) 설정에서도 기존 0.5680에서 0.6462로 향상됐다. 개인화 모듈을 적용했을 때는 오프라인에서 0.5899를 0.7868로, 온라인에서 0.5475를 0.6510으로 각각 높이면서도 개인화 이전 모델이 학습한 반응 타이밍은 그대로 유지했다.
연구팀이 제안한 기술은 챗봇, 소셜 로봇, 휴머노이드 로봇 등 인간과 정서적으로 교감해야 하는 다양한 서비스에서 활용될 것으로 기대된다. 이번 연구는 숙명여대 인공지능공학부 김병규 교수 연구팀의 최지훈 연구원이 제1저자를 맡았고, 최세인·이한슬·큐라울아인아이샤 연구원이 참여했다.
김병규 교수는 "이번 성과는 AI가 사람의 대화 맥락과 개인의 특성을 이해하고, 적절한 시점에 반응할 수 있도록 하는 핵심 원천기술을 확보했다는 점에서 의미가 크다"며 "인간의 감정과 의도를 이해하고 자연스럽게 교감할 수 있는 사람 중심의 공감형 AI 기술을 고도화하고 실증 과정까지 발전시켜 나가겠다"고 밝혔다.
