AI 텍스트 감지기가 계속 틀리는 이유

마지막 그 구절이 이 절 전체의 요점입니다. 여기 나온 모든 방법은, 거친 퍼플렉시티 임계값부터 Binoculars까지, 단어의 속성을 읽는 것입니다. 그중 어느 것도 글쓰기라는 행위를 관찰하지 않습니다. 그것들은 학습 분포와의 유사성을 측정합니다.

유사성은 저작이 아니다. 다섯 단어로 정리한 이것이 문제의 전부입니다.

AI 감지기는 왜 그렇게 많은 거짓 양성을 만들어 내는가?

감지기가 사람의 글을 AI로 표시하는 이유는, 통계적 속성이 AI 출력물과 닮은 글이라면 무엇이든 표시하기 때문입니다. 2026년의 한 수학적 정식화는 이를 단순한 조정 오류 이상으로 다룹니다. 평가자가 각 개인의 개별 글쓰기 분포를 알지 못할 때, 거짓 고발은 피할 수 없으며, 그 비율은 사람과 AI의 글이 얼마나 겹치느냐에 따라 정해집니다. 그 하한선은 실재하며, 움직이지 않습니다.

그 논문은 Garland의 2026년 "AI 감지기는 다양한 학생 집단에 실패한다: 구조적 감지 한계의 수학적 정식화"입니다. 전통적인 감지 이론은 이 과제를 알려진 두 분포 사이의 검정으로 다룹니다. 이것이 사람 글의 모습이고, 이것이 AI 글의 모습이니, 어느 쪽이 텍스트를 만들었는지 판단하라는 식입니다. Garland의 주장은 사람 쪽이 하나의 분포가 아니라는 것입니다. 모든 사람의 자연스러운 문체는 저마다의 분포이고, 어떤 사람의 문체는 AI 출력물과 크게 겹칩니다. 통계학 용어로 귀무가설은 복합적입니다(단일 분포가 아니라 여러 분포의 묶음). 복합 귀무가설을 상대하는 텍스트 전용 일회성 감지기는 거짓 고발을 피할 방법이 없습니다.

"쓸 만한 검정력을 가진 텍스트 전용 일회성 감지기는, 학생의 글과 AI 출력물 사이의 분포적 겹침에 의해 지배되는 비율로 거짓 고발을 만들어 낼 수밖에 없다." Garland, 2026 (arXiv:2603.20254)

그 귀결은 정확히 짚어 둘 가치가 있습니다. 그것이 이 논의를 흔한 "감지기가 아직 완벽하지 않다"는 정식화와 구분해 주기 때문입니다. 이 한계는 모델 품질이 아니라 인구의 다양성에서 나옵니다. 더 나은 감지기, 더 큰 학습 세트, 더 영리한 분류기, 그 어느 것도 이를 건드리지 못합니다. 이것이 의존하는 겹침은 도구가 얼마나 잘 만들어졌느냐가 아니라 사람들이 어떻게 쓰느냐의 속성이기 때문입니다. Garland 자신의 정책 문장이 곧바로 뒤따릅니다. "감지 점수는 부정행위 절차에서 유일한 증거로 쓰여서는 안 된다."

경험적 기록도 그 수학과 들어맞습니다. OpenAI는 자사 모델 출력을 위한 분류기를 만들었고, 그것이 AI 텍스트를 단 26%만 식별하는 반면 사람을 9% 거짓으로 표시하는 것을 지켜본 뒤, 낮은 신뢰성을 이유로 2023년 7월에 이를 중단했습니다. "교육자가 잠재적으로 지속적인 결과를 낳는 판단을 학생에 대해 내릴 수 있다는 점을 고려하면"이라는 이유였습니다. 2026년 International Journal of Educational Integrity 에 실린 동료 심사 연구는 혼합 데이터셋에서 Turnitin의 실제 정확도를 61%, Originality.ai를 69%로 측정했는데, 이는 마케팅 페이지의 99%와는 한참 거리가 멉니다. 한 hCaptcha 벤치마크 는 자신이 시험한 어떤 공개 감지기도 무작위 확률을 넘지 못했다고 결론지었습니다. Curtin University는 이후 Turnitin의 AI 작문 감지 기능을 비활성화했으며 , 이는 2026년 1월 1일부터로, 신뢰, 명확성, 공정성, 그리고 미래 대비 평가의 필요성을 이유로 들었습니다.

그다음 규모를 곱해 봅니다. Vanderbilt는 자체 물량에 산수를 해 본 뒤 Turnitin의 감지기를 비활성화했습니다. 연간 75,000건의 제출물에 걸쳐 주장된 1%의 거짓 양성률이라면, 매년 약 750명의 학생이 잘못 표시된다는 것입니다. 그것도 업체 자신의 낙관적 수치에서 나온 낮은 추정치입니다.

거짓 양성률은 다음 버전이 낮추는 천장이 아니라, 사람들이 얼마나 다르게 쓰느냐가 정하는 바닥입니다.

누가 가장 많이 거짓으로 표시되는가?

그렇습니다. 감지기는 편향되어 있으며, 그것도 체계적으로 그렇습니다. 영어 비원어민과 규율 잡히고 제약된 문체(법률, 과학, 기술)로 쓰는 사람들이 더 자주 표시됩니다. 그들의 글이 감지기가 "AI"로 읽는 낮은 퍼플렉시티, 낮은 버스티니스 프로필을 지닐 수 있기 때문입니다. 이 편향은 그들이 누구냐에 관한 것이 아닙니다. 신중하고 평이하며 예측 가능한 산문이 통계적으로 기계 출력물처럼 보일 수 있다는 것입니다.

그 기반이 되는 증거는 Liang 외의 2023년 연구로, Patterns에 실렸습니다. 널리 쓰이는 감지기 일곱 개를 영어 비원어민의 TOEFL 에세이 91편과 원어민의 미국 8학년 에세이 88편에 돌렸습니다. 감지기들은 비원어민 에세이의 절반이 넘는 양(평균 거짓 양성률 61.3%)을 잘못 분류한 반면, 원어민 세트에서는 거의 완벽에 가까운 점수를 냈습니다. 일곱 감지기 전부가 사람이 쓴 TOEFL 에세이의 19.8%를 만장일치로 AI 저작으로 표시했습니다.

이 사안을 매듭짓는 실험은 그 개입입니다. 연구자들이 ChatGPT를 사용해 같은 비원어민 에세이의 어휘를 더 원어민처럼 들리도록 풍부하게 만들자, 거짓 양성률은 61.3%에서 11.6%로 떨어졌습니다. 텍스트를 더 AI에 손댄 것으로 만들자 감지기가 오히려 덜 표시한 것인데, 그것들이 내내 반응하던 대상이 저작이 아니라 어휘의 예측 가능성이었기 때문입니다. 고발을 이끈 신호는 퍼플렉시티였고, 퍼플렉시티는 애초에 누가 그 단어들을 썼는지에 대한 척도가 아니었습니다.

이 양상은 언어 숙련도에서 멈추지 않습니다. BAID는 최초의 체계적 편향 벤치마크로, 일곱 개의 사회언어학적 축(인구통계, 나이, 학년, 방언, 격식, 정치 성향, 주제)에 걸쳐 200,000개가 넘는 표본에 대해 감지기를 평가했고, 일곱 축 모두에서 일관된 격차를 발견했습니다. Rashidi 외는 한 AI 텍스트 감지기가 최대 8%까지 잘못 식별했다 는 것을 발견했습니다. 1980년부터 2023년 사이에 발표된 초록을 사용했는데, 이는 사람이 쓴 것으로 알려진 과학 초록을 AI가 생성한 것으로 오판한 것입니다. 의학과 과학 글쓰기가 제약된 어휘, 조심스러운 표현, 표준화된 구조로 굴러가기 때문입니다. 법률 글쓰기는 설계상 정형화되어 있습니다. The Authors Guild 는 이것의 전문 필자 판(版)을 분명하게 짚었습니다. 필자의 문체가 더 다듬어지고 통제될수록, 이 도구들이 표시하도록 만들어진 출력물과 더 닮는다는 것입니다.

거짓 고발을 당할 가능성이 가장 큰 필자는 가장 규율 잡히고 제약된 방식으로 쓰는 사람들이며, 이는 "부정행위"가 예측할 법한 것과 정반대입니다.

감지기가 작동한다면, 왜 누구나 우회할 수 있는가?

감지기를 우회하는 것은 영리한 일이 아니라 일상적인 일입니다. 감지기는 이미 낮은 성능으로 돌아가고, 적대적 조작은 그것을 더욱 끌어내립니다. 적대적 패러프레이징은 감지기의 참 양성률을 평균 88% 깎아냅니다. 이 군비 경쟁은 구조상 비대칭적입니다. 감지기는 모든 회피 경로를 동시에 방어해야 하는 반면, 우회 도구는 감지기가 현재 측정하는 단 하나의 패턴만 이기면 됩니다.

그 수치들은 연구에서 곧바로 나옵니다. Perkins 외(2024) 는 기계 생성 텍스트에서 감지기 정확도를 39.5%로 측정했고, 회피 기법이 적용되자 17.4%로 떨어졌습니다. Cheng 외(2025) 는 적대적 패러프레이징이 감지기 유형 전반에 걸쳐 평균 참 양성률을 87.88% 줄였고, Fast-DetectGPT는 98.96% 깎았음을 발견했습니다. Sadasivan 외(2023) 은 재귀적 패러프레이징이 워터마킹 기반 감지기를 포함해 감지기 성능을 크게 떨어뜨리면서도 텍스트를 읽을 수 있게 유지할 수 있음을 보였습니다. 이런 발견들 주위에는 AI 텍스트를 사람으로 판정될 때까지 다시 쓰는 것을 업으로 삼는 "휴머나이저" 도구들의 반(反)산업 전체가 자리 잡고 있으며, 그 산업의 존재 자체가 감지기가 무엇을 측정하는지에 대한 증거입니다. 저작을 측정하는 척도를 이기는 신뢰할 만한 도구는 만들 수 없습니다. 텍스트 통계를 측정하는 척도를 이기는 도구는 만들 수 있고, 사람들은 이미 만들었습니다.

그 비대칭은 구조적이며, 출시 주기에서도 드러납니다. Turnitin이 2025년 8월 AI 우회 감지 기능을 내놓았을 때, 휴머나이저를 거친 텍스트를 잡으려는 시도였는데, 휴머나이저 업체들은 곧 자기들 나름의 우회 주장을 광고하기 시작했습니다. 모든 감지기 업데이트는 새로운 표적을 정의하고, 모든 표적은 적중당합니다.

이 모든 것으로부터 독자가 끌어낼 수 있는 추론이 하나 있는데, 이는 사실이 아니라 추론으로 짚어 둘 가치가 있습니다. 이렇게 읽으면, 감지기는 대체로 원본 그대로, 편집하지 않은 AI 출력물을 제출하는 사람들, 즉 가장 동기가 낮고 가장 부주의한 사용자를 잡고 있는 것입니다. 정책이 가장 잡고 싶어 하는 사람들이야말로 가장 쉽게 놓치는 사람들입니다.

이 군비 경쟁은 업체들이 곧 메울 일시적 간극이 아닙니다. 그것은 설계상 비대칭적입니다.

기관들은 지금 무엇을 하고 있는가?

점점 늘어나는 대학 목록(Vanderbilt, Yale, Curtin, 그 University of Waterloo, 그리고 더 많은 곳)이 거짓 양성 물량, 비원어민에 대한 편향, 불안정한 점수, 투명성 부족을 이유로 Turnitin의 AI 감지기를 비활성화하거나 제한했습니다. 다른 곳들은 그것을 결코 고발의 유일한 근거가 아닌 참고 신호로만 유지했습니다. 기관의 판단은 학술 논문과 독립적으로 도착하고 있으며, 그것과 일치합니다.

그 논리는 문서화되어 있고 구체적입니다. Vanderbilt 는 2023년 8월 이 기능을 비활성화하면서 네 가지 근거를 들었습니다. 연간 750건 거짓 고발이라는 산수, 비원어민에 대한 편향, Turnitin이 어떻게 판정에 이르는지에 대한 어떠한 설명도 없다는 점, 그리고 제3자 데이터 제출에 관한 프라이버시 우려입니다. Curtin University 는 2026년 1월 1일부터 모든 캠퍼스와 학기에 걸쳐 Turnitin의 AI 작문 감지 기능을 비활성화하되, 일반 텍스트 대조 검사는 계속 활성화한다고 발표했습니다. University of Waterloo는 Turnitin의 AI 감지 기능을 중단했습니다 . 이는 내부 학술 협의를 거쳐 2025년 9월부터입니다. The University of Texas at Austin 은 AI 감지 소프트웨어를 지지하지 않으며, AI 감지 기능이 활성화된 중앙 계약이나 구매 주문이 없고, 이 소프트웨어를 조달 시 고위험으로 분류합니다. MIT 와 Stanford 를 포함한 기관들의 교원 지침도 같은 실무적 교훈에 이릅니다. AI 감지기는 높은 오류율, 거짓 양성, 편향 위험을 지니므로 결정적 증거로 취급해서는 안 된다는 것입니다.

정책 언어 아래에는 사람들이 있습니다. Marley Stevens는 University of North Georgia의 학생으로, 자신이 직접 쓴 과제에 Turnitin에 의해 표시되어 학사 경고를 받고 HOPE Scholarship을 잃었습니다. 그는 그 텍스트를 Grammarly에 돌린 것뿐이라고 말합니다. UC Davis에서는 AI 사용 혐의를 받은 한 학생 이 나중에 Google Docs 편집 이력을 보여 준 뒤 혐의를 벗었고, 별도의 학생 주도 테스트는 GPTZero가 AI가 아닌 문서 247건 중 40%를 거짓으로 표시했다고 보고했습니다. 이는 오류율이 반올림해 버리는 예외적 사례가 아닙니다. 이 도구들이 돌아가는 물량에서는, 그것들이 눈에 보이게 드러난 오류율 자체입니다.

통계적 감지를 무엇이 대체하는가?

떠오르는 답은 출처 증명입니다. 완성된 텍스트를 살펴보고 그 출처를 추측하는 대신, 생성 시점에 검증 가능한 출처 신호를 기록하는 것입니다. 두 접근법이 수렴하고 있습니다. Google DeepMind의 SynthID 워터마킹과 C2PA Content Credentials 표준이며, 초안 이력이나 수업 중 과제 같은 오래된 증거와 짝을 이룹니다. 출처 증명은 더 잘 추측하지 않습니다. 그것은 답할 수 있는 질문으로 문제를 바꿉니다.

SynthID 는 모델이 텍스트를 생성할 때 토큰 확률을 살짝 밀어, 검증기가 나중에 확인할 수 있는 통계적 패턴을 남기는 방식으로 작동합니다. Google은 SynthID를 생성된 이미지, 텍스트, 오디오, 비디오에 걸쳐 배포했습니다. 그 이미지 및 비디오 프레임 구현은 100억 개가 넘는 이미지와 비디오 프레임에 워터마크를 남기는 데 사용되었고, Google은 이제 지원되는 미디어에 대해 SynthID Detector 포털을 제공합니다. 그 한계는 문서화되어 있습니다. 더 길고 다양한 출력물에서 가장 잘 작동하며, 짧거나 순전히 사실적인 답에서는 성능이 나쁘고(프랑스의 수도를 쓰는 올바른 방법은 하나뿐이라 조절할 여지가 없습니다), 심한 재작성이나 번역에서는 신뢰도가 떨어집니다. 또한 그것을 구현하지 않는 어떤 모델의 텍스트도 볼 수 없습니다.

C2PA Content Credentials 는 상호 보완적 접근을 취합니다. 생성 시점에 붙는 암호학적으로 서명된 메타데이터로, 어떤 도구가 언제 그 콘텐츠를 만들었는지 기록합니다. OpenAI는 2024년 5월 C2PA 운영 위원회에 합류했습니다. 2026년 5월에는 지원되는 이미지 출력물에 대한 출처 증명 스택을 확장해, C2PA Content Credentials와 Google DeepMind의 SynthID 워터마킹을 짝지었고 검증 도구를 미리 선보였습니다. 두 계층은 서로를 뒷받침합니다. 서명된 메타데이터는 풍부하지만 재업로드 시 벗겨질 수 있고, SynthID 워터마크는 스크린샷과 포맷 변경을 견디지만 담는 정보가 더 적습니다. 문제는 모든 출처 증명 방식을 제약하는 바로 그것과 같습니다. 그것은 참여하는 도구에서 나온 콘텐츠를 검증하고, 참여하지 않는 도구에서 나온 콘텐츠에 대해서는 아무것도 말하지 않습니다. 적용 범위는 자발적이며, 채택이 늘어나는 만큼만 늘어납니다.

그렇기 때문에 이 분야는 워터마크에서 멈추지 않습니다. 대학 지침과 커뮤니티 합의가 거듭 도달하는 대안은 절차적입니다. 초안 이력과 버전 커밋을 요구하고, 짧은 수업 중 또는 구술 요소를 넣고, 진정한 관여 없이는 위조하기 어려운 평가를 설계하는 것입니다. 그리고 신호가 나타나면, 그것을 사건의 종결이 아니라 대화의 시작으로 다루십시오.

그것이 평가자가 이해관계자에게 전할 수 있는 구체적 요점입니다. 통계적 감지는 "이 텍스트가 AI처럼 보이는가?"를 묻는데, Garland에 따르면 이 질문에는 신뢰할 만한 답이 없습니다. 출처 증명은 "규격을 준수하는 도구가 이것에 서명했는가?"를 묻는데, 이 질문에는 그 도구들이 다룬 콘텐츠 부분집합에 대해 검증 가능한 답이 있습니다. 그 거래는 더 좁은 적용 범위를 내주고 실제로 뒷받침할 수 있는 주장을 얻는 것이며, 한 사람의 지위가 걸려 있을 때 서 있기에 더 나은 자리입니다.

마케팅된 정확도 대 독립 조사 결과

업체의 정확도 주장과 독립적 측정은 가깝지 않습니다. 아래 표는 각 도구의 마케팅 수치를 독립적 시험이 발견한 값과 나란히 놓습니다. 이것은 구매 안내서가 아닙니다. "추천" 열이 없는데, 이 글의 주장이 바로 그런 열 뒤에 있는 정식화가 망가졌다는 것이기 때문입니다. 이것은 그 간극의 기록입니다.

이 수치들은 각 시험이 서로 다른 데이터셋, 임계값, 작문 조건을 사용했기 때문에 벤치마크 점수로 직접 비교할 수 없습니다. 요점은 통제된 업체 주장과 더 지저분한 실제 또는 독립적 평가 사이에 반복되는 간극입니다.

자주 묻는 질문