AI 할루시네이션이 과학 논문을 오염시키고 있다

AI 할루시네이션과 학술 논문

AI가 만들어낸 가짜 참고문헌, 학술계를 위협하다

2026년 현재, AI 언어 모델(LLM)의 활용이 학술 연구 전반에 급속도로 확산되고 있습니다. 논문 작성 보조, 문헌 정리, 요약 생성 등 다양한 용도로 연구자들이 AI 도구를 활용하는 빈도가 폭발적으로 증가하면서, 새로운 형태의 학술 위기가 수면 위로 떠올랐습니다.

Nature지의 최신 분석에 따르면, 2025년에 발표된 수만 건의 과학 논문에 AI가 생성한 잘못된 참고문헌(할루시네이션 인용) 이 포함되어 있을 가능성이 있다고 합니다. 이는 단순한 오타나 실수가 아닌, 존재하지 않는 논문·저자·저널을 AI가 그럴듯하게 만들어내는 '환각(hallucination)' 현상에서 비롯된 것입니다.

할루시네이션 인용이란 무엇인가?

AI 언어 모델은 학습 데이터를 기반으로 텍스트를 생성하지만, 때로는 실제로 존재하지 않는 정보를 마치 사실인 것처럼 생성합니다. 참고문헌의 경우:

존재하지 않는 논문 제목을 실제 저널명과 함께 인용
실존 저자의 이름을 도용하여 쓰지 않은 논문에 연결
정확한 DOI 형식을 갖추고 있지만 실제로는 없는 URL 생성
그럴듯한 연구 결과를 조작하여 논문의 주장을 뒷받침

이러한 가짜 인용은 형식적으로 완벽해 보이기 때문에, 편집자나 심사위원도 직접 확인하지 않으면 발견하기 어렵습니다.

문제의 규모와 심각성

Nature의 조사에 따르면, 이 문제는 생각보다 훨씬 광범위합니다. 특히 생의학, 컴퓨터과학, 사회과학 분야에서 두드러지며, 상위 저널에서도 예외는 아닌 것으로 나타났습니다.

할루시네이션 인용이 한번 출판된 논문에 포함되면:

다른 연구자들이 그 인용을 재인용하면서 오류가 연쇄적으로 전파됩니다.
존재하지 않는 논문이 실재하는 것처럼 학술 DB에 등재되는 사례도 발생합니다.
잘못된 근거 위에 쌓인 연구들로 인해 특정 분야의 지식 체계 자체가 왜곡될 수 있습니다.

대응 방안

학술계와 기술계에서는 다음과 같은 대책들이 논의되고 있습니다:

참고문헌 자동 검증 도구 도입 — DOI, PubMed, CrossRef 등으로 실시간 확인
AI 사용 공시 의무화 — 논문 작성 시 AI 도구 활용 여부 명시
저널 차원의 강화된 심사 프로세스 — 인용 목록 전수 확인 의무화
AI 개발사의 참여 — 학술 문맥에서 할루시네이션 감소를 위한 파인튜닝

개발자/IT 커뮤니티에 주는 시사점

이 문제는 단순히 학술계만의 이야기가 아닙니다. 개발자들도 기술 문서 작성, README, 기술 블로그 포스팅 등에 AI를 활용할 때 비슷한 위험에 노출될 수 있습니다.

특히 AI가 생성한 API 레퍼런스나 라이브러리 문서를 검증 없이 신뢰하는 것은 위험합니다. 존재하지 않는 함수명, 잘못된 파라미터, 폐기된 메서드를 자신 있게 제시하는 AI의 답변은 이미 많은 개발자들이 경험한 바 있습니다.

💡 핵심 교훈: AI는 강력한 보조 도구이지만, 사실 검증의 최종 책임은 항상 인간에게 있습니다. 특히 인용, 출처, 수치 데이터는 반드시 원본을 직접 확인하는 습관이 필요합니다.

📰 원본 기사: Hallucinated citations are polluting the scientific literature. What can be done? — Nature