코드 3줄로 딱 잡아낸다···‘혐오발언 분류기’ 탄생, 어떤 일이 생길까

2만개가 넘는 혐오발언에 일일이 라벨을 붙였다. 14명의 연구자들이 1년 가까이 달라붙은 작업이다. 이렇게 해서 코드 3줄로 혐오발언을 구체적으로 판별할 수 있는 ‘혐오발언 분류기’가 탄생했다. 이 분류기는 3만5000개 데이터가 모인 데이터셋을 기반으로 특정 발언이 혐오발언인지 아닌지, 혐오발언이라면 구체적으로 ‘어떤’ 혐오발언인지를 가려낸다.

이 혐오발언 분류기는 누가 왜, 어떻게 만들었을까. 프로젝트는 지난 1월 마무리됐고, 최근 데이터셋과 연구논문이 공개됐다. 지난 20일 혐오발언 분류기를 만든 사람들을 만나 이야기를 들었다. 혐오를 구체적으로, 정확하게 분류하면 혐오발언에 대응하는 정책이 얼마나 효과가 있는지 제대로 판단할 수 있다. 잘 분류해야 잘 대응한다. 연구진에 따르면 분류기의 정확도는 92%이다.

분류기를 만들 재료는 네이버·다음의 기사 댓글과 일베·워마드·디시인사이드·오늘의유머 등 인터넷 커뮤니티에서 수집했다. 혐오표현의 보고와 같은 곳들이다. 이렇게 모은 혐오표현을 지역, 종교, 인종·국적, 연령, 여성·가족, 성소수자, 남성 등 7개 카테고리로 분류해 라벨을 붙였다. 유엔(UN)과 국가인권위원회 등이 혐오의 주요 근거로 삼는 것들을 추려 이 카테고리를 만들었다. 각 카테고리별로 5000개의 데이터를 모았다. 분류기가 특정 유형의 혐오를 학습하는 데 필요한 최소 정보량을 5000개로 잡았다.

스마일게이트 AI센터의 의뢰로 프로젝트를 진행한 강태영 언더스코어 대표는 이제는 익숙하다는 듯 몇 가지 혐오발언을 예로 들어 설명했다. “예를 들어 ‘라도(전라도) 것들이 모시는 머중(김대중 전 대통령) 쩔뚝이’라는 문장의 경우 ‘라도’에는 ‘지역’ 라벨이 붙어요. ‘쩔뚝이’는 ‘기타 혐오’로 분류됩니다.” 라벨은 한 문장에 한 개가 붙을 수도, 여러 개가 붙을 수도 있다. ‘착짱죽짱(중국인 혐오발언)’에는 ‘인종·국적’ 라벨 하나가 붙는다. ‘뚱뚱해서 연애 못하는 페미 쿵쾅이들’은 ‘여성’ 라벨과(페미 쿵쾅이) ‘기타 혐오’ 라벨(뚱뚱) 두 개를 붙인다. 한 발언당 어느 라벨을 붙일지 3명이 판단했다. 대부분 의견이 일치했지만 1:1:1로 갈리는 경우도 있었다. 이런 데이터는 제외했다.

분류기를 이용한 혐오발언의 혐오 분류 측정 현황. 연구진은 이 분류기가 약 92%의 정확도로 혐오발언을 구체적으로 분류해낼 수 있다고 설명했다. 연구진 제공

혐오발언 데이터셋 구축 프로젝트에 참여한 강태영 언더스코어 대표. 본인 제공

7개 분류에 왜 ‘장애’가 빠졌느냐고 물었다. 연구를 시작하던 1년 전까지만 해도 장애가 공공연한 혐오의 대상이 될 것이라고는 생각하지 못했다는 답이 돌아왔다. 최근 이준석 국민의힘 대표가 장애인들의 이동권 보장 시위를 비난한 것을 계기로 장애인에 대한 혐오발언이 급증한 터다. 강 대표는 “사람들이 장애를 이렇게 대놓고 욕하는 일이 벌어질지는 몰랐다”며 씁쓸하게 웃었다. 연구에 참여한 연세대 사회학 박사과정생 권은낭씨도 “장애를 다른 욕의 수단으로 쓸지언정 장애 자체를 혐오하기 위해 쓰는 경우는 없었다”며 “그래서 장애 표현을 ‘기타 혐오’로 잡아뒀는데, 1년새 일이 터졌다”고 말했다.

혐오라는 분야가 논쟁적이다 보니 연구진들끼리 첨예한 논쟁도 여러 번 했다. 기독교를 혐오발언의 대상으로 인정할 것이냐는 게 대표적인 예다. 기독교는 한국 사회에서 주류의 위치에 있고, 따라서 혐오발언은 ‘소수자’를 향한 것이라고 보는 학문적인 정의와는 맞지 않았다. 하지만 격론 끝에 기독교도 혐오발언의 대상으로 인정하기로 했다. 권씨는 “학문적 정의보다, 사람들이 불쾌감을 느낄 수 있는 표현은 최대한 다양하게 표현하는 게 분류기의 의미라고 결론지었다”고 설명했다. 미국 휴스턴대 정치학 박사과정인 서정규씨는 “특정 종교가 실질적인 혐오의 대상이 되고 있는 현실을 간과하는 것은 바람직하지 않다”며 “‘흑형’으로 대표되는, 언뜻 보기에 긍정적인 것 같은 표현들도 정확하게 탐지될 수 있게 라벨링 매뉴얼을 만들었다”고 했다. 강 대표는 “혐오의 넓은 정의를 채택한 것”이라고 했다.

각종 혐오표현이 범람하는 지금, 이 분류기는 어떤 의미를 가질까. 연구진은 이 프로젝트가 데이터사이언스와 사회과학간 융합으로 이뤄진 점, 혐오를 명시적으로 측정해서 보여주는 도구를 만듦으로써 혐오발언과 관련된 정책들을 평가하거나 연구를 진행하는 데 실질적인 도움이 될 수 있는 점을 꼽았다.

강 대표는 “기존에도 ‘악플’을 걸러내는 데이터셋들은 있지만, 그 기준을 개발자들이 설정해 전문성이 떨어졌다”며 “이번 프로젝트에는 사회과학 전공자들 중 석사과정생 이상이 참여했다. 전문적인 사회과학적 레퍼런스를 기반으로 분류가 이뤄진 것이 차별점”이라고 말했다. 서울대 사회학 석사과정인 김학준씨는 “이현령비현령식으로 남용됐던 혐오의 개념을 학술적 정의에만 의존하지 않고, 전문가들 간 합의를 통해 구축한 사례”라고 평가했다.

혐오를 쉽게 측정할 수 있다면, 혐오발언에 대응하는 정책이 얼마나 효과가 있는지도 수월하게 판단할 수 있다. 강 대표는 “네이버에서 사용자 댓글 이력을 공개하는 정책을 쓰는데, 이것이 혐오발언 증감에 영향을 미쳤는지를 살펴보고 있다”고 했다. 사회현상을 분석하는 데도 도움이 된다. 강 대표는 분석기를 이용해 코로나19 이후 중국을 향한 혐오발언이 늘어났다는 결론을 내렸다. 이른바 ‘남초 커뮤니티’의 여성혐오 표현이 페미니즘 확산에 따른 것이냐는 주제에는 ‘그렇지 않을 가능성이 높다’는 결론을 내렸다. 페미니즘과 관계 없이, 여성혐오 발언이 지속적인 증가세를 보였다는 강 대표의 분석이다.

아쉬운 점이 없느냐는 질문에 강 대표는 “커뮤니티 게시글 ‘제목’ 데이터를 보완하고 싶다”고 했다. 인터넷 커뮤니티에는 ‘페미니즘.fat’이나 ‘대학원생 실태.jpg’ 등의 제목을 단 글들이 올라온다. 제목에는 혐오표현이 없지만 게시글 내용이 조롱과 비하를 담는 경우가 있다. 강 대표는 “제목 텍스트를 추가적으로 수집할 예정”이라고 했다.

서정규씨는 이번 작업을 하며 수천개의 혐오발언을 들여다봤다. 서씨는 “제 정신을 제가 자발적으로 망치고 있다는 기분이 들 정도였다. 정말 끔찍했다”고 했다. 연구진은 이 프로젝트가 혐오발언을 줄이는 데 조금이라도 기여할 것으로 기대하고 있다. 강 대표는 “‘혐오는 나쁘다’는 규범적인 비판을 넘어서, 어떻게 하면 온라인 공간에서 혐오발언을 줄일 수 있는지 실증으로 나아가는 계기가 됐으면 좋겠다”고 말했다.

*참고 (논문 원제)

Kang, TaeYoung, et al. “Korean Online Hate Speech Dataset for Multilabel Classification: How Can Social Science Improve Dataset on Hate Speech?.” arXiv e-prints (2022): arXiv-2204.