2010년, 유명 경제학자 카르멘 라인하트(Carmen Reinhart)와 케네스 로고프(Kenneth Rogoff) 박사는 재정적으로 보수적인 정치인 다수가 오랫동안 의구심을 지녔던 한 가지 문제를 확인시켜 주었다. 바로 GDP가 특정 비율 이상으로 상승한다면, 미국 경제 성장이 완벽한 실패로 끝난다는 내용이다. 해당 논문은 훗날 영국 총리가 되는 인물인 조지 오스본(George Osborne)이 제대로 이해했다. 오스본 전 총리는 경제난을 맞이한 시기의 정치적 전략이 되는 여러 연설에서 라인하트 박사와 로고프 박사의 논문을 수차례 언급했다. 오스본 전 총리가 결과적으로 내놓은 전략은 국가 부채 상환을 위한 공공 서비스 감소이다.
라인하트 박사와 로고프 박사의 논문에는 한 가지 문제점이 있었다. 바로 논문 분석 과정에서 5개 국가를 제외할 수밖에 없었다는 사실이다. 논문은 라인하트 박사와 로고프 박사가 스프레드시트에서 선정한 20개국 대신 15개국만 고려한 채로 계산했다. 라인하트 박사와 로고프 박사보다 인지도가 낮은 경제학자가 논문의 오류나 몇 가지 다른 실수를 바로잡으려 할 때 가장 주목받은 결과는 사라졌다. 부채와 GDP 간의 관계는 여전히 존재했으나 높은 부채의 효과는 오스본 전 총리의 연설의 과격한 극단의 변화보다 더 미묘하다.
과학자는 대다수 평범한 이들과 마찬가지로 오류에서 자유롭지 않다. 연구 방식을 연구하는 스위스 베른대학교 교수 말트 엘슨(Malte Elson) 교수는 “오류가 어디에나 존재하고, 극히 일부분에 해당하는 오류가 논문 결론을 바꿀 수도 있다”라고 말했다. 문제는 오류를 찾는 이들이 많지 않다는 점이다. 라인하트 박사와 로고프 박사의 실수는 2013년, 강의에서 교수님께서 유명 경제학 논문의 결과를 모방하려 하자 경제학을 전공하는 어느 한 학부생이 발견했다.
엘슨 교수는 동료 메타과학 연구원인 루벤 아스란드(Ruben Arsland) 박사, 이안 허시(Ian Hussey) 박사와 함께 과학 논문의 오류를 발견할 체계적인 방법을 구축했다. 에러(ERROR) 프로젝트는 소프트웨어 업계의 버그 바운티를 바탕으로 형성되었다. 엘슨 교수의 에러 프로젝트에서 연구원은 오류가 존재할 수도 있는 논문을 대대적으로 살펴보고, 논문의 오류 검증 시 발견한 오류에 대한 보상을 지급한다.
논문의 오류 발견 후 검증 시 보상을 지급한다는 프로젝트 구성은 엘슨 교수와 아스란드 박사의 논의 도중 제기되었다. 아스란드 박사는 과학계에 자신의 논문 속 오류를 찾아내도록 독려하면서 가설 오류를 찾을 때 맥주를 사주는 방식으로 보상을 지급했다. (보상 지급 횟수는 최대 3회로 제한되었다.) 엘슨 교수는 “나와 아스란드 박사 모두 오류 가능성 때문에 결점투성이인 서로의 전문 분야 논문으로 보상을 받았다. 그러나 기록을 수정하는 일은 매울 어렵다”라고 말했다. 공개된 오류는 모두 심각한 문제를 제기할 수 있다. 박사 후 연구원인 학위 과정 내내 오류로 밝혀진 결과를 추구하여 연구한다면, 결과적으로 수만 달러 상당의 비용을 낭비한 셈이다.
[사진=Freepik]
허시 박사는 오류 확인은 과학 논문 게재의 표준화된 과정이 아니라고 말했다. 네이처(Nature), 사이언스(Science) 등 과학 저널에서 제출된 논문 게재를 승인한다면, 관련 분야 전문가 몇 명에게 논문을 보내고는 논문의 품질, 논리적 타당성, 학문 분야 내 귀중한 가치 기여 여부 등을 종합하여 의견을 제공한다. 그러나 동료 심사 과정에서는 보통 논문 속 오류를 검증하지 않는다. 대부분 오류를 제거할 우너본 데이터나 코드에 접근하지도 않는다.
게재된 논문의 최종 결과는 양식 내 잘못된 값 복사, 코딩 버그 제거 실패, 스프레드시트의 열 누락 등 인간이 범할 수 있는 각종 오류를 담았다. 에러 프로젝트는 영향력이 있는 과학 논문 저자를 논문 속 오류를 살펴보는 검토자와 연결한다. 검토자는 논문 검토 시 최고 1,000프랑(약 1,131달러)를 받고, 사소한 오류나 보통 수준의 오류 혹은 중요한 오류 발견 시 보너스를 받는다. 논문 초기 저자도 논문 제출 보상을 받는다. 에러 프로젝트는 4년간 베른대학교에 총 25만 프랑을 지급했다. 매년 논문 100여 편을 검토했다는 의미이다.
아이오와대학교 인지신경과학자 얀 베셀(Jan Wessel) 박사의 논문이 최초로 에러 프로젝트를 통해 다른 과학자의 검토를 받았다. 엘슨 교수는 이미 베셀 박사와 친분이 있어, 베셀 박사에게 프로젝트 참여 의사를 물어보았다. 베셀 박사는 엘슨 교수의 제안에 동의하고, 단독으로 작성한 논문 한 편을 제출했다. 베셀 박사는 연구팀이 중요한 오류를 발견한다면, 자신의 실수임을 분명하게 파악하고, 자칫하면 다른 동료나 과거 제자의 연구 과정에 어려움을 주는 일이 발생하는 것을 원했다.
베셀 박사가 2018년에 게재된 자신의 논문을 제출하자 스탠퍼드대학교 신경과학자 러스 포드랙(Russ Poldrack) 박사가 논문 검토를 담당했다. 베셀 박사의 논문은 신경과학계에서 충동과 억제를 평가할 때 사용하는 보편적인 시험을 다루었으며, 다른 연구 여러 편에서 데이터를 수집하여 다른 테스트 방식과의 차이점을 비교했다. 포드랙 박사는 베셀 박사의 연구 논문을 검토한 뒤 베셀 박사가 기존 연구에서 데이터를 인용할 때 가끔 실수한 사실을 발견했다. 베셀 박사의 실수는 논문 결과를 왜곡하지 않았으나 베셀 박사는 실수가 많다는 점에 놀랐다.
베셀 박사는 “포트랙 박사가 발견한 실수가 많다는 사실에 놀랐다”라고 밝혔다. 포트랙 박사는 베셀 박사의 논문에서 다룬 241편의 연구 논문의 소규모 하위 범주만 샘플로 택했다. 따라서 베셀 박사는 이전 단계로 돌아가 실제 오류 발생률을 확인하기로 했다. 베셀 박사는 소속 연구실 동료에게 남은 논문 모두 이전 단계로 돌아가 원본 논문의 수치 중 베셀 박사가 논문에 입력한 수치와 다른 점이 있는가 확인하도록 요청했다. 이후 한 가지 변수를 발견했다. 베셀 박사는 당시 오류 발생 비율이 9%라고 기록했다.
더 흥미로운 점은 베셀 박사의 논문 속 오류를 꼼꼼하게 검토했던 연구원도 실수했다는 사실이다. 오류 검토를 담당했지만 베셀 박사의 동료의 오류 발생 비율은 약 13%로, 베셀 박사보다 더 높았다. 베셀 박사와 마찬가지로 논문 검토를 담당한 동료 연구원도 논문에 잘못된 수치를 입력하거나 논문 속 수치를 잘못 읽었다. 베셀 박사는 연구 논문 241편 전체 중 오류가 존재할 가능성은 50% 이상이라는 점을 확인했다.
메타과학 연구원에게는 논문 속 오류는 놀라운 사실이 아니다. 충분히 꼼꼼하게 검토해도 어디서든 오류를 발견할 수 있다. 포드랙 박사가 언급한 바와 같이 다량의 데이터세트, 복잡한 코드로 연구 작업을 시작한 연구원이 증가할수록 오류 발생 가능성도 더 높아진다. 발생할 수 있는 오류 중 하나는 일부 코드의 버그가 유독 흥미로운 과학적 결과로 이어지면서 해당 논문이 훌륭한 연구 논문이 된다면, 과학자가 연구 과정에서 버그를 수정해도 얻을 수 있는 이익은 없다.
과학적 오류와 관련한 변화는 게재되는 논문의 실수를 줄일 수도 있다. 외과 의사는 의사가 같은 문제 재발을 막을 방법을 찾을 수 있는 자유로운 판단이 이루어지는 공간이라는 가정이 존재하는 질병률과 사망률 회의에서 스스로 실수를 분석한다. 항공기 충돌 조사 과정도 마찬가지이다. 국체민간항공협약(Convention on International Civil Aviation)은 조사 목적이 사고 원인 책임이 아닌 비슷한 사고 발생 방지 방법 발견이라고 발표했다.
비영리단체 센터 포 오픈사이언스(Center for Open Science, COS) 전무이자 에러 프로젝트 자문위원회 일원인 브라이언 노섹(Brian Nosek)은 오류 확인 과정에는 보상이 필요하다고 말한다. 노섹 전무는 “오류 확인 과정은 전문 경력 강화 측면의 작업이다”라고 말했다. 현재 COS는 투명성과 더 엄격한 기준을 갖춘 과학 논문 게재를 목표로 한 라이프사이클 저널스(Lifecycle Journals)라는 실험의 일부분으로 에러 프로젝트와 협력한다.
가장 신중하게 오류 발견에 나서는 연구원도 데이터 접근 권한이 제한된다. 라인하트 박사와 로고프 박사의 연구 논문 속 오류는 복수 경제학자가 상세 정보를 궁금해하는 다른 연구원에게 자신의 연구 스프레드시트를 공유한 뒤 발견되었다. 엘슨 교수는 영향력이 있는 심리학 논문 저자를 대상으로 에러 프로젝트를 진행하고자 한다. 그러나 엘슨 교수는 에러 프로젝트 동참 안내 메일을 보낸 연구원 중 답변을 한 연구원이 1/4~1/3에 불과하다고 추산했다. 자신의 연구에 오류가 넘쳐날 가능성을 우려하는 과학자는 스스로 에러 프로젝트와 같은 검토 작업에 노출되는 것을 원하지 않는 탓에 프로젝트 결과를 왜곡할 수도 있다.
엘슨 교수와 허시 박사는 에러 프로젝트가 일종의 편견에 열려있다는 사실을 인정한다. 진행 중인 연구와 오류 수정 과정이 과학 논문 게재 과정에 통합되는 방식의 사례를 추가로 접한다. 엘슨 교수는 에러 프로젝트의 접근 방식이 학술 논문과 대학, 특히 원하는 방향으로 영향을 미칠 것을 바라면서 연구 자금을 지원하는 연구 자금 지원 기관 등의 관심사일 수도 있다고 말한다.
허시 박사는 “논문 오류 검토 과정은 실제로 발생하기 전까지 전혀 상상하지 못한 시기에 성공할 수도 있으며, 언젠가는 오류 검토를 하지 않는 일을 생각할 수 없는 날이 올 것이다. 동료 연구원에게 오류 검토 작업을 허락하고, 그에 따른 혜택을 제공해야 한다. 또한, 논문에 오류가 존재할 가능성을 먼저 생각해야 한다”라고 전했다.
** 위 기사는 와이어드US(WIRED.com)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)
![[사진=Freepik]](/news/photo/202407/5646_7269_300.jpg)
뉴스레터 신청