By AMANDA HOOVER, WIRED US

표절 탐지 기업 턴잇인(Turnitin)이 전 세계 학생이 2023년 1년간 생성형 인공지능(AI) 툴을 사용하여 작성된 것으로 추정되는 논문 수가 2,200만 건이 넘는다는 조사 결과를 공개했다.

2023년, 턴잇인은 AI 생성 텍스트는 물론이고, 전 세계 학생이 작성한 다량의 논문을 검토하도록 훈련받은 AI 작성 탐지 툴을 배포했다. 이후 턴잇인은 총 2억 건이 넘는 논문을 검토했다. 대부분 고등학생이나 대학생이 작성한 논문이다. 턴잇인은 2023년 한 해 동안 검토한 논문 중 11%는 AI가 생성한 언어를 포함했으며, AI 사용을 의심할 만안 논문 한 편당 전체 내용의 20%는 AI가 생성한 언어를 사용한 것으로 추정된다. 2023년 검토 논문 중 3%는 전체 내용의 80% 이상이 AI로 작성했다는 검토 결과가 나왔다. (턴잇인은 와이어드의 출판 기업인 콘데나스트도 소유한 기업인 어드밴스(Advance)의 소유이다.) 턴잇인 측은 자사 표절 탐지 툴의 문서 전체 분석 작업 시 거짓 양성 비율은 1% 미만이라고 발표했다.

챗GPT 출시 당시 영어 수업의 논문 과제가 사라질 것이라는 우려가 자동으로 제기되었다. 챗GPT는 사용자의 명령어가 입력되면서 거의 동시에 기존 정보를 합성하고는 결과물을 보여준다. 하지만 항상 올바른 결과를 보여준다는 의미는 아니다. 생성형 AI는 거짓을 사실인 것처럼 자체적으로 생성하고, 실제 존재하지 않는 학술 논문을 인용하는 것으로 알려졌다. 챗GPT를 비롯한 생성형 AI 챗봇은 항상 성별, 인종과 관련하여 항상 선입견이 있는 문장을 마구 생성하여 문제가 되었다. 사실과는 다른 정보 생성, 편견 문제 등 결함이 있지만, 세계 각지에서 많은 학생이 연구, 아이디어 구성, 논문 대필 등 다양한 목적으로 챗GPT를 사용했다. 챗봇을 사용한 흔적은 학술 논문 동료 심사, 출판 등을 통해 발견되기도 한다.

많은 교사가 사용 사실을 밝히지 않고 생성형 AI를 사용할 때 학생이 책임 지기를 바라는 일은 충분히 이해할 수 있다. 하지만 주어진 과제에 AI를 사용한 사실을 입증할 신뢰할 만한 방법이 필요하다. 많은 교사가 AI로 작성한 과제물을 감지할 해결책을 자체적으로 찾아내려 했다. 또한, 엉망이면서도 검증된 방식으로 AI로 작성한 과제물을 제출한 학생을 처벌하면서 학생에게 스트레스를 준 사례도 있다. 일부 교사가 성적 평가 과정에서 생성형 AI를 사용한 더 복잡한 문제도 발견되었다.
 
생성형 AI를 사용한 사실을 찾아내는 일은 매우 어려운 일이다. 표절 논문을 찾아내 경고하는 것만큼 쉬운 일이 아니다. 생성형 AI가 작성한 글 자체는 새로이 생성된 글이기 때문이다. 게다가 학생이 생성형 AI를 사용한 방식에는 알아차리기 어려울 정도로 매우 사소한 차이가 있다. 챗봇에 논문 문단 다수나 논문 전체를 작성하라는 명령어를 입력할 수도 있다. 혹은 생성형 AI에 논문 작성 마무리나 논문 아이디어를 찾기 위한 도움을 청할 수도 있다.

많은 학생이 챗GPT와 그와 유사한 대규모 언어 모델의 유혹에 쉽게 넘어가는 것은 아니다. 이른바 기존 텍스트를 재작성하는 AI 소프트웨어인 단어 변경 툴을 사용할 수도 있다. 단어 변경 툴을 사용하면, 논문 평가자가 표절이나 생성형 AI 사용 사실을 찾아내기 더 어렵다. 턴잇인 최고 제품 책임자 애니 체치텔리(Annie Chechitelli)는 턴잇인의 AI 표절 탐지 툴은 단어 변경 툴 사용 여부도 잡아내도록 업데이트되었다고 설명했다. 이제 자체 생성형 AI 툴을 보유한 그래머리(Grammarly)를 비롯한 철자 교정 서비스가 새로이 작성한 논문도 잡아낼 수 있다. 이미 익숙한 소프트웨어에 생성형 AI가 추가되는 상황에서 학생이 논문 작성 시 사용할 수 있는 툴과 사용할 수 없는 툴 간의 기준이 더 모호해졌다.

생성형 AI 탐지 툴 자체에도 편견 위험성이 있다. 영어 학습자는 생성형 AI 탐지 툴의 편견을 겪을 확률이 더 높다. 2023년, TOEFL 등 비영어권의 영어 학습자 평가 시 AI 탐지 툴 7종을 이용하여 평가했을 때 AI 사용을 의심하는 거짓 양성 비율이 61.3%였다는 연구 결과가 발표되었다. 해당 연구는 턴잇인의 AI 탐지 툴을 사용하지 않았다. 턴잇인은 자사 AI 탐지 툴이 영어를 모국어로 구사하는 이의 글은 물론이고, 영어 학습자의 글도 탐지하도록 훈련을 받았다고 밝혔다. 2023년 10월, 턴잇인의 툴이 AI 탐지 툴 16종 중 학부생의 논문과 AI 생성 논문 구분 정확도가 가장 높다는 결과를 입증한 연구 논문이 공개됐다.

턴잇인을 사용하는 학교는 2024년 초 제공이 종료된 AI 탐지 소프트웨어를 무료 시험판 기간에 사용했다. 체치텔리는 턴잇인의 AI 탐지 툴 고객 다수가 무료 시험판 사용 후 유료 서비스에 가입했다고 전했다. 그러나 일부 대학은 영어 학습자를 대상으로 한 거짓 양성 반응 비율과 편견 때문에 현재 턴잇인의 AI 탐지 툴 사용을 중단했다. 밴더빌트대학교와 노스웨스턴대학교 모두 2023년 여름에 턴잇인의 AI 탐지 툴 사용을 중단했다.

몽클레어주립대학교 교수진 사무실 국장 에밀리 이삭스(Emily Isaacs)는 “생성형 AI로 작성한 논문을 잡아내기 어렵다. 생성형 AI 논문 탐지 툴 수요가 존재하는 이유는 이해한다”라고 말했다. 그러나 이삭스는 몽클레어주립대학교가 AI 탐지 툴이 편견을 지닌 결과를 생성할 가능성과 표절 논문을 확인할 능력이 입증되지 않은 점을 우려한다고 밝혔다. 게다가 대학 측은 학계에서 어느 정도 존재감이 있는 AI 자체를 전면 금지하는 방안은 원하지 않는다. 어느 정도 시간과 가장 신뢰할 만한 툴이 필요한 상황에서 대학 측의 정책이 바뀔 수도 있다. 이삭스는 “현재 몽클레어주립대학교의 정책은 영구적으로 유지될 결정 사항이 아니다. 지금 적용되는 결정 사항일 뿐이다”라고 말했다.

체치텔리는 턴잇인의 AI 표절 탐지 툴만으로 학생을 평가해서는 안 된다고 말했다. 대신, AI 표절 탐지 툴의 등장과 문제점은 교수진이 학생과 생성형 AI 사용의 모든 미묘한 수준을 두고 대화를 시작할 기회라고 주장한다. 체치텔리는 “생성형 AI 허용 기준을 정확히 어느 정도로 두어야 하는지 알지 못한다”라고 전했다.

** 위 기사는 와이어드US(WIRED.com)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)

<기사원문>
Students Are Likely Writing Millions of Papers With AI