Почему ИИ-детекторы текста продолжают ошибаться

Эта последняя оговорка — суть всего раздела. Каждый метод здесь, от грубого порога перплексии до Binoculars, читает свойства слов. Ни один из них не наблюдает акт письма. Они измеряют сходство с обучающим распределением.

Сходство — это не авторство, вот и вся проблема, в пяти словах.

Почему ИИ-детекторы дают так много ложных срабатываний?

Детекторы помечают человеческое письмо как ИИ, потому что помечают любое письмо, чьи статистические свойства напоминают вывод ИИ. Математическая формулировка 2026 года рассматривает это не как ошибку настройки: когда оценщик не знает индивидуальное распределение письма каждого человека, ложные обвинения неизбежны — на уровне, заданном тем, насколько пересекаются человеческое письмо и письмо ИИ. Этот пол реален, и он не сдвигается.

Это статья Гарланда 2026 года «AI Detectors Fail Diverse Student Populations: A Mathematical Framing of Structural Detection Limits». Классическая теория детектирования трактует задачу как проверку между двумя известными распределениями: вот так выглядит человеческое письмо, вот так выглядит письмо ИИ, реши, какое из них произвело текст. Аргумент Гарланда в том, что человеческая сторона — не одно распределение. Естественный стиль каждого человека — это своё собственное распределение, и стили некоторых людей сильно пересекаются с выводом ИИ. В статистических терминах нулевая гипотеза составная (связка многих распределений, а не единственное), и детектор, работающий только с текстом и за один проход против составной нулевой гипотезы, не имеет способа избежать ложных обвинений.

«Любой детектор, работающий только с текстом и за один проход и обладающий полезной мощностью, обязан давать ложные обвинения на уровне, определяемом пересечением распределений между письмом студентов и выводом ИИ». Гарланд, 2026 (arXiv:2603.20254)

О последствии стоит сказать точно, потому что именно оно отделяет это от привычной формулировки «детекторы пока не идеальны». Граница проистекает из разнообразия популяции, а не из качества модели. Лучший детектор, больший обучающий набор, более умный классификатор: ни один из них её не касается, потому что пересечение, от которого она зависит, — это свойство того, как люди пишут, а не того, насколько хорошо сделан инструмент. Собственная политическая формула Гарланда следует прямо: «оценки детектирования не должны служить единственным доказательством в разбирательствах о нарушениях».

Эмпирические данные сходятся с математикой. OpenAI построила классификатор для вывода собственных моделей, увидела, что он определяет ИИ-текст лишь в 26% случаев, при этом ложно помечая людей в 9% случаев, и закрыла его в июле 2023 года, сославшись на его низкую надёжность «с учётом того, что преподаватели могли бы выносить суждения о студентах с потенциально долгосрочными последствиями». Рецензируемое исследование 2026 года в журнале International Journal of Educational Integrity оценило реальную точность Turnitin в 61%, а Originality.ai в 69% на смешанном наборе данных, что далеко от 99% на маркетинговых страницах. Бенчмарк hCaptcha заключил, что ни один протестированный им публичный детектор не превзошёл случайное угадывание. Позже Curtin University отключил функцию детектирования ИИ-письма Turnitin с 1 января 2026 года, сославшись на потребность в доверии, ясности, справедливости и оценивании, готовом к будущему.

Затем умножьте на масштаб. Vanderbilt отключил детектор Turnitin, проделав арифметику по собственному объёму: при заявленном уровне ложных срабатываний в 1% на 75 000 ежегодных работ около 750 студентов в год помечались бы ошибочно. Это нижняя оценка, взятая из собственного оптимистичного числа вендора.

Уровень ложных срабатываний — это пол, заданный тем, насколько по-разному пишут люди, а не потолок, который снижает следующий релиз.

Кого чаще всего помечают ложно?

Да, детекторы предвзяты, и систематически. Носителей других языков, пишущих на английском, и авторов дисциплинированных, ограниченных стилей (юридического, научного, технического) помечают чаще, потому что их письмо может нести профиль низкой перплексии и низкой взрывности, который детекторы читают как «ИИ». Предвзятость не в том, кто они; она в том, что аккуратная, простая, предсказуемая проза может статистически выглядеть как машинный вывод.

Основополагающее свидетельство — исследование Ляна и др. 2023 года в журнале Patterns. Семь широко используемых детекторов прогнали против 91 эссе TOEFL от неносителей английского и 88 эссе учеников восьмого класса США от носителей языка. Детекторы неверно классифицировали более половины эссе неносителей (средний уровень ложных срабатываний 61.3%), при этом набрав почти идеальный результат на наборе носителей языка. Все семь детекторов единогласно пометили 19.8% написанных людьми эссе TOEFL как созданные ИИ.

Эксперимент, закрывающий вопрос, — это вмешательство. Когда исследователи использовали ChatGPT, чтобы обогатить словарь тех же эссе неносителей и сделать их более похожими на письмо носителя, уровень ложных срабатываний упал с 61.3% до 11.6%. Чем более тронутым ИИ становился текст, тем реже детекторы его помечали, потому что то, на что они реагировали всё это время, была предсказуемость словаря, а не авторство. Сигналом, движущим обвинение, была перплексия, а перплексия никогда не была мерой того, кто написал слова.

Закономерность не останавливается на владении языком. BAID, первый систематический бенчмарк предвзятости, оценил детекторы по семи социолингвистическим осям (демография, возраст, класс обучения, диалект, формальность, политические взгляды и тема) на 200 000+ образцах и обнаружил устойчивые расхождения по всем семи. Рашиди и др. обнаружили, что детектор ИИ-текста ложно определил до 8% известных научных аннотаций, написанных людьми, как сгенерированные ИИ, используя аннотации, опубликованные между 1980 и 2023 годами, потому что медицинское и научное письмо строится на ограниченном словаре, осторожных формулировках и стандартизированной структуре. Юридическое письмо шаблонно по своей природе. The Authors Guild сформулировала профессионально-писательскую версию этого прямо: чем более отточен и контролируем стиль автора, тем больше он напоминает вывод, который эти инструменты были созданы помечать.

Авторы, которых с наибольшей вероятностью обвинят ложно, — это те, кто пишет самыми дисциплинированными, ограниченными способами, полная противоположность тому, что предсказывало бы «списывание».

Если детекторы работают, почему их может обойти кто угодно?

Обход детектора — рутина, а не изощрённость. Детекторы и так работают на низком уровне, а состязательные манипуляции опускают их ещё ниже; состязательный перифраз режет уровень истинных срабатываний детекторов в среднем на 88%. Гонка вооружений асимметрична по построению: детектор должен защищать каждый путь уклонения сразу, тогда как инструменту обхода нужно лишь побить единственную закономерность, которую детектор измеряет в данный момент.

Числа приходят прямо из исследований. Perkins et al. (2024) измерили точность детектора в 39.5% на машинно-сгенерированном тексте, падающую до 17.4% после применения техник уклонения. Cheng et al. (2025) обнаружили, что состязательный перифраз снизил средний уровень истинных срабатываний на 87.88% по типам детекторов и урезал Fast-DetectGPT на 98.96%. Sadasivan et al. (2023) показали, что рекурсивный перифраз может резко снизить производительность детектора, в том числе для детекторов на основе водяных знаков, сохраняя при этом читаемость текста. Вокруг этих находок расположилась целая контр-индустрия инструментов-«гуманизаторов», чья работа — переписывать ИИ-текст, пока он не наберёт оценку как человеческий, и само существование этой индустрии — свидетельство того, что измеряют детекторы. Нельзя построить надёжный инструмент, чтобы победить меру авторства. Можно построить инструмент, чтобы победить меру статистики текста, и люди это сделали.

Асимметрия структурна, и она видна в ритме релизов. Когда Turnitin выпустил функцию детектирования обхода ИИ в августе 2025 года, попытку поймать текст, прогнанный через гуманизаторы, вендоры гуманизаторов быстро начали рекламировать собственные заявления об обходе. Каждое обновление детектора задаёт новую цель; каждая цель поражается.

Из всего этого читатель может сделать вывод, и его стоит пометить именно как вывод, а не как факт. При таком прочтении детекторы в основном ловят людей, сдающих сырой, неотредактированный вывод ИИ: наименее мотивированных и наименее аккуратных пользователей. Те, кого политика больше всего хочет поймать, — это те, кого легче всего упустить.

Гонка вооружений — это не временный разрыв, который вендоры закроют. Она асимметрична по замыслу.

Что делают учреждения сейчас?

Растущий список университетов (Vanderbilt, Yale, Curtin, а также University of Waterloo и другие) отключили или ограничили ИИ-детектор Turnitin, сославшись на объём ложных срабатываний, предвзятость против неносителей языка, нестабильные оценки и отсутствие прозрачности. Другие оставили его лишь как рекомендательный сигнал, но никогда как единственное основание для обвинения. Институциональный вердикт приходит независимо от академических статей, и он с ними согласен.

Обоснование задокументировано и конкретно. Vanderbilt назвал четыре основания, когда отключил эту функцию в августе 2023 года: арифметику 750 ложных обвинений в год, предвзятость против неносителей языка, отсутствие какого-либо объяснения того, как Turnitin приходит к своему вердикту, и опасения о приватности при передаче данных третьей стороне. Curtin University объявил, что с 1 января 2026 года функция детектирования ИИ-письма Turnitin будет отключена во всех кампусах и учебных периодах, тогда как обычные проверки на совпадение текста останутся активными. University of Waterloo прекратил функциональность детектирования ИИ Turnitin с сентября 2025 года после внутренней академической консультации. The University of Texas at Austin не одобряет ПО для детектирования ИИ, не имеет центральных контрактов или заказов на закупку с активными функциями ИИ-детектирования и классифицирует это ПО как высокорисковое для закупки. Методические рекомендации преподавателям от учреждений, включая MIT и Stanford , приходят к тому же практическому уроку: у ИИ-детекторов высокий уровень ошибок, ложных срабатываний и рисков предвзятости, поэтому их не следует трактовать как решающее доказательство.

Под языком политики стоят люди. Marley Stevens, студентка University of North Georgia, была помечена Turnitin на работе, которую написала сама, помещена на академический испытательный срок и лишилась своей стипендии HOPE Scholarship; она говорит, что лишь прогнала текст через Grammarly. В UC Davis одного студента, обвинённого в использовании ИИ позже оправдали после того, как он показал историю правок Google Docs, а отдельный тест, проведённый студентами, сообщил, что GPTZero ложно пометил 40% из 247 не-ИИ документов. Это не крайние случаи, которые уровень ошибок округляет до нуля. При объёмах, на которых работают эти инструменты, они и есть уровень ошибок, ставший видимым.

Что приходит на смену статистическому детектированию?

Формирующийся ответ — это происхождение: вместо осмотра готового текста и гадания о его источнике фиксировать проверяемый сигнал происхождения в момент генерации. Сходятся два подхода — водяные знаки SynthID от Google DeepMind и стандарт удостоверений содержимого C2PA, в паре с более старыми свидетельствами вроде истории черновиков и работы в классе. Происхождение не гадает лучше. Оно меняет вопрос на тот, на который можно ответить.

SynthID работает, слегка подталкивая вероятности токенов по мере того, как модель генерирует текст, оставляя статистическую закономерность, которую верификатор может позже проверить. Google развернул SynthID на сгенерированных изображениях, тексте, аудио и видео; его реализация для изображений и видеокадров использовалась для нанесения водяных знаков на более чем 10 миллиардов изображений и видеокадров, и Google теперь предоставляет портал SynthID Detector для поддерживаемых медиа. Его ограничения задокументированы: он лучше всего работает на длинных, разнообразных выводах, плохо справляется с короткими или чисто фактическими ответами (есть лишь один верный способ написать столицу Франции, поэтому модулировать нечего), а его уверенность деградирует при интенсивном переписывании или переводе. Он также не может видеть текст любой модели, которая его не реализует.

C2PA Content Credentials используют дополняющий подход: криптографически подписанные метаданные, прикреплённые в момент создания, фиксирующие, какой инструмент сделал содержимое и когда. OpenAI вошла в руководящий комитет C2PA в мае 2024 года. В мае 2026 года она расширила свой стек происхождения для поддерживаемых выводов изображений, объединив C2PA Content Credentials с водяными знаками SynthID от Google DeepMind и представив предварительную версию инструментов верификации. Два слоя подстраховывают друг друга. Подписанные метаданные богаты, но могут быть удалены при повторной загрузке, тогда как водяной знак SynthID переживает скриншоты и смены формата, но несёт меньше информации. Загвоздка та же, что ограничивает всякую схему происхождения: она проверяет содержимое от инструментов, которые участвуют, и ничего не говорит о содержимом от инструментов, которые не участвуют. Охват добровольный, и он растёт лишь по мере роста внедрения.

Вот почему поле не останавливается на водяных знаках. Альтернативы, к которым продолжают приходить университетские рекомендации и консенсус сообщества, процедурны: требовать историю черновиков и коммиты версий, встраивать короткие компоненты в классе или устные, и проектировать оценивания, которые трудно подделать без подлинного участия. А когда сигнал всё же появляется, относиться к нему как к началу разговора, а не к закрытию дела.

Это конкретный вывод, который оценщик может донести до заинтересованных сторон. Статистическое детектирование спрашивает: «похож ли этот текст на ИИ?» — вопрос, у которого, по Гарланду, нет надёжного ответа. Происхождение спрашивает: «подписал ли это совместимый инструмент?» — вопрос, у которого есть проверяемый ответ, для того подмножества содержимого, которого эти инструменты коснулись. Обмен — более узкий охват ради утверждения, за которое вы действительно можете постоять, а это лучшая позиция, когда на кону стоит статус человека.

Заявленная в маркетинге точность против независимых находок

Заявления вендоров о точности и независимые измерения не близки. Таблица ниже ставит заявленное в маркетинге число каждого инструмента против того, что нашло независимое тестирование. Это не руководство по покупке; здесь нет колонки «рекомендуется», потому что аргумент этой статьи в том, что рамка, стоящая за такой колонкой, сломана. Это запись о разрыве.

Эти цифры напрямую не сопоставимы как бенчмарк-оценки, потому что каждый тест использовал разные наборы данных, пороги и условия письма. Суть — в повторяющемся разрыве между контролируемыми заявлениями вендоров и более грязными реальными или независимыми оценками.

Часто задаваемые вопросы