우리 학교 소프트웨어학과 조현석 교수팀이 지난 6일부터 10일까지 싱가포르에서 열린 자연어처리 분야 국제학술대회 ‘EMNLP 2023’에서 논문을 

발표했다.

'EMNLP(Empirical Methods in Natural Language Processing)'는 인공지능(AI) 번역과 챗봇, 기계 독해 등 언어 데이터 기반 자연어 처리와 관련된 연구를 다루는 세계적인 학회다. ‘EMNLP 2023’에는 총 4908편의 논문이 제출됐으며, 이 중 21.3%인 1047편이 채택됐다. 이번 학술대회에는 ▲마이크로소프트 ▲구글 ▲애플 ▲아마존 등 세계 AI 기업들이 참가했다.

우리 학교 조현석 교수(소프트웨어학과·인공지능융합학과) 연구팀의 논문 제목은 '언어 모델의 성능을 보존시키는 선택적 혐오표현 완화기술(GTA: Gated Toxicity Avoidance for LM Performance Preservation)'로, 대규모 언어모델의 생성 성능 저하를 막는 혐오표현 완화 기술에 대한 내용을 담고 있다. 연구팀은 혐오표현 완화 기술의 선택적 활용을 바탕으로 대규모 언어모델이 혐오표현을 완화시킬 때 발생하는 문법성·유창성·주제 일치성의 생성 성능 저하현상을 막는 새로운 원천 기술을 제안했다. 

이번 논문에는 우리 학교 소프트웨어학과·인공지능융합학과 조현석 교수와 인공지능학과 석사과정 김희규 학생이 참여했다.

연구팀은 대규모 언어 모델의 실제 서비스의 적용을 위해 혐오표현 완화 기술들이 제안되었으나, 해당 기술들을 적용하게 되면 언어모델이 가지는 생성 문장이 가지는 문법성·유창성·주제 일치성이 떨어지는 현상을 관찰했다. 다양한 기술들 모두가 혐오표현이 완화되는 효과를 보여주었지만 공통적으로 많은 부분의 생성 성능의 페널티를 감수해야하는 한계점을 발견했다.

이를 해결하기 위해, 모델에서 현재까지 생성된 토큰들을 바탕으로 문장의 혐오성을 분류하는 미리 학습된 분류기를 추가하여, 혐오성이 탐지되는 경우에만 혐오표현 완화기술을 적용하는 선택적 완화 모델을 제안했다. 이러한 선택적 완화 모델은 혐오표현 완화기술 종류와 상관 없이 적용할 수 있는 모델로, 다양한 데이터와 기술들에서 제안한 모델이 혐오표현은 줄이면서도 언어모델의 생성 성능이 감소되지 않는 것을 제시하여 그 우수성을 입증했다.

이번 연구는 아주대 인공지능융합혁신대학원 사업과 사람중심 인공지능 핵심원천기술개발 사업의 지원을 받아 수행됐다.

# 위 사진 설명 : 소프트웨어학과·인공지능융합학과 조현석 교수와 인공지능학과 석사과정 김희규 학생

연구팀 자료 이미지