Перейти до основного вмісту
Знижка 50% усі плани, обмежений час. Від $2.48/mo
17 min left
AI та машинне навчання

Чому детектори тексту ШІ постійно помиляються

B Автор: Bruce 17 хв читання
Two overlapping probability distributions showing why AI detector false positives come from the overlap between human and AI writing

Пропустіть старіші, канонічні тексти, написані людьми, через детектори ШІ, і вони все одно можуть повернутися як згенеровані ШІ. Це говорить вам те, чого не кажуть маркетингові сторінки постачальників: інструмент вимірює не те, про що заявляє його назва.

Ця розбіжність — уся суть теми. Детектор тексту ШІ не виявляє авторства ШІ. Він виявляє тип письма, тобто текст, статистичний відбиток якого нагадує вивід ШІ, на якому детектор навчався. Коли письмо людини випадково має такий самий відбиток, детектор його позначає й не може розрізнити. Люди, які втрачають стипендії, контракти та академічний статус через відсоткову оцінку, опиняються на неправильному боці цієї плутанини.

Це те, що представляє оцінка, чому помилки є структурними, а не багом, який виправить наступна версія, на кого вони припадають і що серйозна установа може використати натомість. Ось чому детектори ШІ помиляються в єдиній ситуації, де питання справді має значення: у рішеннях із високими ставками щодо реальних людей.

Коротко

  • Детектори ШІ вимірюють статистичну схожість, а не авторство. Висока оцінка «ШІ» означає, що текст виглядає як письмо, яке детектор навчили асоціювати з ШІ. Вона не встановлює, що його створила машина, і не може цього зробити.
  • Рівень хибнопозитивних результатів — це математична межа, а не інженерний баг. Математичне формулювання 2026 року стверджує, що будь-який корисний детектор, який працює лише з текстом і за один прохід, стикається з хибними звинуваченнями на рівні, заданому тим, наскільки перетинаються письмо людини й письмо ШІ. Кращі моделі цього не усувають.
  • Помилки найсильніше припадають на дисциплінованих авторів. Люди, для яких англійська не рідна, і автори дисциплінованих, обмежених стилів, зокрема наукові, юридичні й технічні автори, позначаються частіше, тому що чиста, передбачувана проза має той самий статистичний профіль, який детектори читають як «ШІ».
  • Походження — це підхід, що замінює статистичне виявлення. Водяні знаки (SynthID) і підписані облікові дані вмісту (C2PA) записують походження в момент генерації, замість того щоб вгадувати його постфактум. Це перевіряється, але лише для вмісту, якого торкнулися сумісні інструменти.

Чого ця стаття не охоплює

  • Це не рейтинг того, який детектор «найкращий». Аргумент тут у тому, що саме питання рейтингу поставлене неправильно.
  • Це не посібник з ухилення від виявлення. Таких повно деінде; тут ідеться про те, що означає це вимірювання.
  • Це не юридична порада щодо конкретного звинувачення. Якщо ви оскаржуєте його, поговоріть із тим, хто цим займається.
  • Це не туторіал. Немає інструмента для встановлення й немає конфігурації для копіювання.

Що насправді вимірюють детектори ШІ?

Детектор тексту ШІ вимірює, наскільки близько фрагмент письма нагадує текст, згенерований ШІ, використовуючи три сигнали: перплексію, розкидистість і навчені класифікатори. Він повідомляє ймовірність того, що текст написаний машиною. Чого він не робить і структурно не може зробити, — це перевірити, хто чи що створив текст. Він оглядає слова й робить висновки, а не процес, який їх створив.

Перплексія — це те, наскільки мовна модель «здивована» наступним словом у послідовності. Текст ШІ схильний обирати статистично найімовірніший наступний токен на кожному кроці, що читається як низька перплексія. Письмо людини робить дивніші повороти й отримує вищу оцінку. Розкидистість вимірює варіацію в довжині та структурі речень. Люди змішують короткі й довгі; ШІ тяжіє до однорідності. Детектор поєднує ці два в композитну оцінку. Підхід із навченими класифікаторами оминає підібрані вручну сигнали й натомість вивчає латентні патерни з великих наборів розмічених людських і ШІ-текстів.

Кожен сигнал має ту саму ваду, лише в іншому вбранні. Розкидистість не може відокремити «дисциплінованого автора-людину» від «ШІ»; юридична записка й чатбот обидва дають низьку варіацію. Класифікатори, навчені на виводі однієї моделі, не переносяться на наступну. Бенчмарк RAID, одна з найбільших опублікованих оцінок детекторів ШІ-тексту, протестував понад 6 мільйонів генерацій на 11 моделях, 8 доменах, 11 змагальних атаках і 4 стратегіях декодування. Його ключовий висновок полягає в тому, що детектори легко послаблюються змагальними атаками, змінами семплінгу, штрафами за повторення та небаченими генераторами. А перплексія має проблему з точністю, яку варто чітко озвучити.

Проблема проксі-моделі. Щоб точно виміряти перплексію тексту, вам потрібен повний розподіл імовірностей (логіти) від тієї самої моделі, яка його написала. Детектори майже ніколи цього не мають; вони натомість оцінюють перплексію за допомогою проксі-моделі. Коли модель, що пише, і модель, що вимірює, відрізняються, а це звичайний випадок, число перплексії несе в собі систематичну похибку, вбудовану з самого початку. Найдосконаліший статистичний метод на сьогодні, Binoculars, зменшує цей шум, порівнюючи перплексію двох споріднених моделей, і він усе одно вимірює статистику тексту, а не його походження.

Це останнє речення — суть усього розділу. Кожен метод тут, від грубого порогу перплексії до Binoculars, читає властивості слів. Жоден із них не спостерігає за актом письма. Вони вимірюють схожість із навчальним розподілом.

Схожість — це не авторство, і в цьому вся проблема, у п’яти словах.

The three signals an AI text detector measures, perplexity, burstiness, and trained classifiers, all read text statistics rather than who wrote it

Чому детектори ШІ дають так багато хибнопозитивних результатів?

Детектори позначають письмо людини як ШІ, тому що вони позначають будь-яке письмо, статистичні властивості якого нагадують вивід ШІ. Математичне формулювання 2026 року трактує це як щось більше за похибку налаштування: коли оцінювач не знає індивідуального розподілу письма кожної людини, хибні звинувачення неминучі, на рівні, заданому тим, наскільки перетинаються письмо людини й ШІ. Ця межа реальна, і вона не зсувається.

Це стаття Garland 2026 року «AI Detectors Fail Diverse Student Populations: A Mathematical Framing of Structural Detection Limits». Класична теорія виявлення трактує завдання як тест між двома відомими розподілами: ось як виглядає письмо людини, ось як виглядає письмо ШІ, вирішіть, який із них створив текст. Аргумент Garland полягає в тому, що людський бік — це не один розподіл. Природний стиль кожної людини — це власний розподіл, і стилі деяких людей сильно перетинаються з виводом ШІ. У статистичних термінах нульова гіпотеза є складеною (пакет із багатьох розподілів, а не єдиний), і детектор, що працює лише з текстом і за один прохід проти складеної нульової гіпотези, не має способу уникнути хибних звинувачень.

«Будь-який детектор, що працює лише з текстом і за один прохід та має корисну потужність, змушений давати хибні звинувачення на рівні, керованому розподільним перетином між письмом студента й виводом ШІ.» Garland, 2026 (arXiv:2603.20254)

Про наслідок варто сказати точно, бо саме це відрізняє цю тезу від звичного формулювання «детектори ще не досконалі». Межа походить від різноманітності популяції, а не від якості моделі. Кращий детектор, більший навчальний набір, розумніший класифікатор: жоден із них її не торкається, тому що перетин, від якого вона залежить, — це властивість того, як пишуть люди, а не того, наскільки добре сконструйований інструмент. Власна політична теза Garland випливає безпосередньо: «оцінки виявлення не повинні бути єдиним доказом у провадженнях щодо порушень».

Емпіричні дані узгоджуються з математикою. OpenAI створила класифікатор для виводу власних моделей, побачила, що він визначає ШІ-текст лише в 26% випадків, водночас хибно позначаючи людей у 9% випадків, і закрила його в липні 2023 року, посилаючись на його низьку надійність, «враховуючи, що освітяни могли б робити висновки про студентів із потенційно тривалими наслідками». Рецензоване дослідження 2026 року в International Journal of Educational Integrity визначило реальну точність Turnitin на рівні 61%, а Originality.ai — 69% на змішаному наборі даних, що дуже далеко від 99% на маркетингових сторінках. Бенчмарк hCaptcha дійшов висновку, що жоден публічний детектор, який він тестував, не перевершив випадкове вгадування. Пізніше Curtin University вимкнув функцію виявлення письма ШІ в Turnitin з 1 січня 2026 року, посилаючись на потребу в довірі, ясності, справедливості та готовому до майбутнього оцінюванні.

Тепер помножте на масштаб. Vanderbilt вимкнув детектор Turnitin після того, як зробив арифметику за власним обсягом: за заявленого 1% рівня хибнопозитивних результатів на 75 000 щорічних подань приблизно 750 студентів на рік були б хибно позначені. Це низька оцінка, взята з власного оптимістичного числа постачальника.

Рівень хибнопозитивних результатів — це межа, задана тим, наскільки по-різному пишуть люди, а не стеля, яку знижує наступний реліз.

Кого найчастіше хибно позначають?

Так, детектори упереджені, і систематично. Автори, для яких англійська не рідна, і автори дисциплінованих, обмежених стилів (юридичного, наукового, технічного) позначаються частіше, тому що їхнє письмо може нести профіль низької перплексії та низької розкидистості, який детектори читають як «ШІ». Упередженість не про те, ким вони є; вона про те, що ретельна, проста, передбачувана проза може виглядати статистично як машинний вивід.

Основоположний доказ — це дослідження Liang та ін. 2023 року в Patterns. Сім широко використовуваних детекторів було прогнано на 91 есе TOEFL від людей, для яких англійська не рідна, і 88 есе восьмикласників США від носіїв мови. Детектори неправильно класифікували понад половину есе не носіїв (середній рівень хибнопозитивних результатів 61.3%), водночас показуючи майже ідеальний результат на наборі носіїв мови. Усі сім детекторів одностайно позначили 19.8% написаних людьми есе TOEFL як авторства ШІ.

Експеримент, який закриває справу, — це втручання. Коли дослідники використали ChatGPT, щоб збагатити словниковий запас тих самих есе не носіїв, щоб вони звучали більш як у носіїв, рівень хибнопозитивних результатів упав із 61.3% до 11.6%. Зробивши текст більш зачепленим ШІ, детектори стали позначати його менше, тому що те, на що вони весь час реагували, — це передбачуваність словника, а не авторство. Сигналом, що керував звинуваченням, була перплексія, а перплексія ніколи не була мірою того, хто написав слова.

Патерн не зупиняється на володінні мовою. BAID, перший систематичний бенчмарк упередженості, оцінив детектори за сімома соціолінгвістичними осями (демографія, вік, рівень класу, діалект, формальність, політичний нахил і тема) на понад 200 000 зразків і виявив послідовні розбіжності за всіма сімома. Rashidi та ін. виявили, що детектор тексту ШІ хибно ідентифікував до 8% відомих написаних людьми наукових анотацій як згенерованих ШІ, використовуючи анотації, опубліковані між 1980 і 2023 роками, тому що медичне й наукове письмо працює на обмеженому словнику, обережних формулюваннях і стандартизованій структурі. Юридичне письмо формульне за задумом. The Authors Guild чітко озвучила версію цього для професійних авторів: чим більш витончений і контрольований стиль автора, тим більше він нагадує вивід, який ці інструменти створювалися позначати.

Автори, яких найімовірніше хибно звинуватять, — це ті, хто пише найбільш дисциплінованими, обмеженими способами, — повна протилежність тому, що передбачало б «шахрайство».

AI detectors falsely flag non-native English writers and disciplined legal, scientific, and technical writing most often because that prose reads as low perplexity

Якщо детектори працюють, чому їх може обійти будь-хто?

Обхід детектора — рутина, а не хитрість. Детектори й так дають низькі результати, а змагальна маніпуляція знижує їх ще більше; змагальне перефразування зрізає рівень справжньопозитивних результатів детекторів у середньому на 88%. Гонка озброєнь асиметрична за конструкцією: детектор мусить захищати кожен шлях ухилення водночас, тоді як інструмент обходу має перемогти лише єдиний патерн, який детектор наразі вимірює.

Числа походять безпосередньо з дослідження. Perkins та ін. (2024) виміряли точність детектора на рівні 39.5% на згенерованому машиною тексті, з падінням до 17.4% після застосування технік ухилення. Cheng та ін. (2025) виявили, що змагальне перефразування знизило середній рівень справжньопозитивних результатів на 87.88% за типами детекторів і зрізало Fast-DetectGPT на 98.96%. Sadasivan та ін. (2023) показали, що рекурсивне перефразування може різко знизити продуктивність детектора, зокрема для детекторів на основі водяних знаків, зберігаючи при цьому читабельність тексту. Навколо цих висновків стоїть ціла контріндустрія інструментів-«гуманізаторів», завдання яких — переписувати текст ШІ, доки він не оцінюється як людський, і саме існування цієї індустрії — це доказ того, що вимірюють детектори. Ви не можете створити надійний інструмент, щоб перемогти міру авторства. Ви можете створити такий, щоб перемогти міру статистики тексту, і люди це зробили.

Асиметрія структурна, і вона проявляється в темпі релізів. Коли Turnitin випустив функцію виявлення обходу ШІ в серпні 2025 року, спробу ловити текст, який пропустили через гуманізатори, постачальники гуманізаторів швидко почали рекламувати власні заяви про обхід. Кожне оновлення детектора визначає нову ціль; кожна ціль отримує влучання.

Є висновок, який читач може зробити з усього цього, і його варто позначити як висновок, а не факт. Прочитано так, детектори здебільшого ловлять людей, які подають сирий, невідредагований вивід ШІ: найменш мотивованих і найменш обережних користувачів. Тих, кого політика найбільше хоче спіймати, найлегше пропустити.

Гонка озброєнь — це не тимчасова прогалина, яку постачальники закриють. Вона асиметрична за задумом.

Що установи роблять зараз?

Зростаючий список університетів (Vanderbilt, Yale, Curtin, the University of Waterloo та інші) вимкнули або обмежили детектор ШІ від Turnitin, посилаючись на обсяг хибнопозитивних результатів, упередженість проти не носіїв мови, нестабільні оцінки та брак прозорості. Інші зберегли його лише як дорадчий сигнал, ніколи як єдину підставу для звинувачення. Інституційний вирок надходить незалежно від академічних статей, і він з ними погоджується.

Обґрунтування задокументоване й конкретне. Vanderbilt назвав чотири підстави, коли вимкнув цю функцію в серпні 2023 року: арифметику 750 хибних звинувачень на рік, упередженість проти не носіїв мови, відсутність будь-якого пояснення того, як Turnitin доходить до свого вироку, і занепокоєння щодо приватності у зв’язку з поданням даних третій стороні. Curtin University оголосив, що з 1 січня 2026 року функцію виявлення письма ШІ в Turnitin буде вимкнено в усіх кампусах і навчальних періодах, тоді як звичайні перевірки на збіг тексту залишаться активними. University of Waterloo припинив функціональність виявлення ШІ в Turnitin з вересня 2025 року після внутрішньої академічної консультації. The University of Texas at Austin не схвалює програмне забезпечення для виявлення ШІ, не має центральних контрактів чи замовлень на закупівлю з активними функціями виявлення ШІ й класифікує це програмне забезпечення як високоризикове для закупівлі. Настанови для викладачів від установ, зокрема MIT та Stanford , доходять до того самого практичного уроку: детектори ШІ мають високий рівень помилок, хибнопозитивні результати та ризики упередженості, тож їх не слід сприймати як вирішальний доказ.

Під мовою політики стоять люди. Marley Stevens, студентка University of North Georgia, була позначена Turnitin на роботі, яку написала сама, отримала академічне випробування й втратила свою HOPE Scholarship; вона каже, що лише прогнала текст через Grammarly. В UC Davis одну студентку, звинувачену у використанні ШІ , пізніше виправдали після того, як вона показала історію редагувань Google Docs, а окремий тест, проведений студентами, повідомив, що GPTZero хибно позначив 40% з 247 документів не від ШІ. Це не крайні випадки, які округлює рівень помилок. За обсягів, з якими працюють ці інструменти, вони — рівень помилок, зроблений видимим.

Що замінює статистичне виявлення?

Нова відповідь — походження: замість того щоб оглядати готовий текст і вгадувати його походження, записати перевірюваний сигнал походження в момент генерації. Два підходи сходяться, водяні знаки SynthID від Google DeepMind і стандарт C2PA Content Credentials, у поєднанні зі старішими доказами, як-от історія чернеток і робота в класі. Походження не вгадує краще. Воно змінює питання на таке, на яке можна відповісти.

SynthID працює, підштовхуючи ймовірності токенів, доки модель генерує текст, залишаючи статистичний патерн, який верифікатор може пізніше перевірити. Google розгорнула SynthID на згенерованих зображеннях, тексті, аудіо та відео; її реалізація для зображень і відеокадрів використовувалася для нанесення водяних знаків на понад 10 мільярдів зображень і відеокадрів, і Google тепер надає портал SynthID Detector для підтримуваних медіа. Її обмеження задокументовані: вона працює найкраще на довших, різноманітних виводах, погано показує себе на коротких або суто фактичних відповідях (є лише один правильний спосіб написати столицю Франції, тож немає чого модулювати), і її впевненість погіршується під час сильного переписування чи перекладу. Вона також не може бачити текст від будь-якої моделі, яка її не реалізує.

C2PA Content Credentials застосовують взаємодоповнювальний підхід: криптографічно підписані метадані, прикріплені в момент створення, що записують, який інструмент створив вміст і коли. OpenAI приєдналася до керівного комітету C2PA у травні 2024 року. У травні 2026 року вона розширила свій стек походження для підтримуваних виводів зображень, поєднавши C2PA Content Credentials із водяними знаками SynthID від Google DeepMind і представивши в попередньому перегляді інструментарій верифікації. Ці два шари підстраховують один одного. Підписані метадані багаті, але можуть бути зняті при повторному завантаженні, тоді як водяний знак SynthID переживає скріншоти й зміни формату, але несе менше інформації. Заковика та сама, що обмежує кожну схему походження: вона перевіряє вміст від інструментів, які беруть участь, і нічого не каже про вміст від інструментів, які цього не роблять. Покриття добровільне, і воно росте лише в міру зростання прийняття.

Ось чому галузь не зупиняється на водяних знаках. Альтернативи, до яких постійно доходять університетські настанови й консенсус спільноти, процедурні: вимагати історію чернеток і коміти версій, вбудовувати короткі компоненти в класі чи усні, а також проєктувати оцінювання, які важко підробити без справжньої залученості. А коли сигнал таки з’являється, сприймати його як початок розмови, а не завершення справи.

Це конкретний висновок, який оцінювач може донести до зацікавлених сторін. Статистичне виявлення запитує «чи виглядає цей текст як ШІ?», питання, яке, за Garland, не має надійної відповіді. Походження запитує «чи підписав це сумісний інструмент?», питання, яке має перевірювану відповідь, для підмножини вмісту, якого торкнулися ці інструменти. Компроміс — це вужче покриття заради заяви, за якою ви справді можете стояти, а це краща позиція, коли на кону статус людини.

Statistical AI detection guesses at origin after the fact, while provenance approaches like SynthID watermarking and C2PA content credentials record origin at generation time

Заявлена в рекламі точність проти незалежних висновків

Заяви постачальників про точність і незалежні вимірювання не близькі. Таблиця нижче зіставляє заявлене в рекламі число кожного інструмента з тим, що виявило незалежне тестування. Це не посібник із купівлі; тут немає стовпця «рекомендовано», тому що аргумент цієї статті полягає в тому, що формулювання, яке стоїть за таким стовпцем, зламане. Це запис розбіжності.

ІнструментЗаявлена в рекламі точність / FPRНезалежний висновок
GPTZero99% точність, 1% рівень хибнопозитивних результатів16% рівень хибнопозитивних результатів на написаних людьми есе в дослідженні з 78 есе
Turnitin<1% рівень хибнопозитивних результатів61% загальна точність у дослідженні 2026 International Journal for Educational Integrity
ZeroGPT98.5% точність виявлення83% хибнопозитивних результатів на написаних людьми медичних анотаціях у дослідженні хірургії стопи й гомілковостопного суглоба
Originality.ai99%+ точність / заяви про низький рівень хибнопозитивних результатів, залежно від моделі76% загальна точність у огляді Scribbr 2024 року; 69% загальна точність у академічно-контекстному дослідженні 2026 року
CopyleaksПонад 99% точністьТочність упала до 71% на гуманізованому тексті, згенерованому DeepSeek, у дослідженні детекторів 2025 року
Класифікатор OpenAIН/Д26% рівень справжньопозитивних результатів, 9% рівень хибнопозитивних результатів; припинено 20 липня 2023 року через низьку точність

Ці цифри не є безпосередньо порівнянними як бенчмаркові оцінки, тому що кожен тест використовував різні набори даних, пороги й умови письма. Суть у постійній розбіжності між контрольованими заявами постачальників і безладнішими реальними чи незалежними оцінками.

Часті запитання

Що насправді виявляє детектор тексту ШІ: ШІ чи тип письма?

Він виявляє тип письма. Детектор вимірює, чи текст статистично нагадує вивід ШІ: низьку перплексію й низьку розкидистість, або збіг із вивченими патернами навченого класифікатора. Він не може перевірити авторство. Висока оцінка означає, що письмо виглядає як текст ШІ, на якому навчали інструмент, а не що його створила машина.

Чому моє написане людиною есе позначили як згенероване ШІ?

Тому що ваше письмо має статистичний профіль низької перплексії, який детектори читають як ШІ, профіль, поширений у відшліфованому, технічному письмі чи письмі не носіїв англійської. Детектор реагує на передбачуваний словник і однорідну структуру речень, а не на авторство. Позначка — це твердження про статистику вашого тексту, а не доказ того, що ви використовували ШІ.

Чи упереджені детектори ШІ проти тих, для кого англійська не рідна?

Так, вимірювано. Liang та ін. (2023) виявили середній рівень хибнопозитивних результатів 61.3% на есе TOEFL від авторів, для яких мова не рідна, проти майже нульового на есе носіїв мови. Бенчмарк BAID пізніше виявив подібні розбіжності за сімома осями, зокрема діалектом, формальністю й темою. Причина статистична: обмежений словник читається як низька перплексія, яку детектори хибно приймають за ШІ.

Чому той самий текст отримує різні оцінки виявлення ШІ при повторних скануваннях?

Тому що оцінки детекторів — це оцінки на основі моделі, а не прямі спостереження авторства. Пороги, поведінка класифікатора, попередня обробка й оновлення інструмента можуть впливати на кінцевий відсоток, тож оцінку слід сприймати як слабкий сигнал, а не стабільне вимірювання.

Що організаціям слід використовувати замість детекторів тексту ШІ?

Інструменти походження (водяні знаки SynthID і C2PA Content Credentials) для вмісту від сумісних генераторів, у поєднанні з процесними доказами, як-от історія чернеток, коміти версій і робота в класі, плюс оцінювання, перепроєктовані так, щоб вимагати справжньої залученості. Будь-який вивід детектора має починати розмову, а не бути єдиним доказом у рішенні, що впливає на чийсь статус.

Share

Більше з блогу

Продовжуйте читати.

Self-hosting an LLM versus using an API: a fixed monthly GPU bill against per-token API metering, the fixed-versus-variable cost trade-off
AI та машинне навчання

Самостійне розміщення open-weight LLM проти API: реальна математика вартості

Самостійне розміщення open-weight LLM на GPU VPS перемагає API лише вище точки беззбитковості, якої більшість соло-білдерів ніколи не досягає. Математика вартості 2026 року, за мод

Bill 18 хв читання
A browser-based VS Code IDE with a Claude Code terminal panel running on a VPS, viewed on a tablet
AI та машинне навчання

Як запустити Code Server і Claude Code на VPS: браузерне AI-середовище для розробки

Налаштуйте Code Server і Claude Code на одному Linux VPS для браузерного, з підтримкою ШІ середовища розробки. Розміри, встановлення, безголова автентифікація та HTTPS у чітких кро

Haze 16 хв читання

Готові розгортати? Від $2,48/міс.

Незалежна хмара з 2008 року. AMD EPYC, NVMe, 40 Gbps. Повернення коштів за 14 днів.