박진혁 교수팀. 작업치료사 면허시험에 ChatGPT 적용

순천향대 박진혁 작업치료학과 교수./순천향대

순천향대학교는 박진혁 작업치료학과 교수가 한국 작업치료사면허 시험 문항에 ChatGPT3.5를 적용해 새로운 학습교구 개발에 박차를 가했다고 13일 밝혔다.

순천향대 일반대학원 ICT융합학과 석사과정 이시안 학생과 경복대 허서윤 작업치료학과 교수가 함께한 박진혁 교수 연구팀은 한국보건의료인국가시험원(국시원)에서 공개한 최근 5개년도의 한국 작업치료사면허 시험 문항(2018~2022년)에 ChatGPT3.5를 적용했다.

ChatGPT3.5에 5개년도의 시험 문항을 한글 그대로 입력했고, 국시원에서 공개한 정답과 비교해 ChatGPT의 성능을 확인했다.

그 결과, 면허 시험 합격 기준인 정확도 60%는 달성하지 못했지만, 문화권에 영향을 받는 의료법규 관련 문항을 제외한 전공 지식 관련 문항에 대해서는 합격권을 넘는 정확도를 보여줬다. 또한, 세 명의 평가자가 기록한 ChatGPT의 정답의 일치도가 높아 신뢰도가 높음을 확인했다.

교신저자인 박진혁 교수는 "아직 ChatGPT를 비롯한 거대언어모델의 학습 데이터가 대부분 영어 중심의 문화권에 기초하고 있어 한국 작업치료사면허 시험 문항에 적용하는 것은 제약이 있다"면서도 "문화권에 영향을 받지 않는 전공 지식의 경우 충분히 높은 정확도와 함께 신뢰도를 보여줘 작업치료를 전공하는 학생들이 ChatGPT를 학습의 도구로써 활용할 수 있는 점을 확인했다"고 말했다.

이번 연구 결과는 최근 '한국 작업치료사면허 시험에서의 ChatGPT의 성능(Performance of ChatGPT on the National Korean Occupational Therapy Licensing Examination)'이라는 제목으로 국제학술지 Digital Health (IF: 3.9, Health Policy & Service 분야 Q1, 2022 JCR 기준) 2월호에 게재됐다.

최근에 ChatGPT를 필두로 한 거대언어모델을 의료분야 내에서 활용할 수 있는 방안에 대해 활발한 연구가 진행되고 있지만, 그동안 국내 의료분야의 면허 시험에 ChatGPT를 활용한 사례는 극히 제한적이었다.