Ha régebbi, egyértelműen ember által írt szövegeket futtat át AI-detektorokon, azok akkor is AI által generáltként térhetnek vissza. Ez elárul valamit, amit a gyártók marketingoldalai nem: az eszköz nem azt méri, amit a neve állít.
Ez az eltérés az egész téma lényege. Egy AI-szövegdetektor nem az AI-szerzőséget észleli. Egy írástípust észlel: olyan szöveget, amelynek statisztikai ujjlenyomata hasonlít arra az AI-kimenetre, amelyen a detektort betanították. Amikor egy emberi írás történetesen osztozik ezen az ujjlenyomaton, a detektor megjelöli, és nem tud különbséget tenni. Azok az emberek, akik egy százalékos pontszám miatt ösztöndíjat, szerződéseket és tudományos státuszt veszítenek el, ennek a tévedésnek a rossz oldalán állnak.
Erről szól ez: mit jelent a pontszám, miért strukturálisak a hibák, nem pedig olyan bugok, amelyeket a következő verzió majd kijavít, kikre esik ez, és mit használhat helyette egy komoly intézmény. Ezért tévednek az AI-detektorok abban az egyetlen helyzetben, ahol a kérdés igazán számít: a valódi emberekről szóló, nagy téttel járó döntésekben.
A rövid verzió
- Az AI-detektorok statisztikai hasonlóságot mérnek, nem szerzőséget. A magas "AI" pontszám azt jelenti, hogy a szöveg úgy néz ki, mint az az írás, amelyet a detektort megtanították az AI-hoz társítani. Nem bizonyítja, hogy gép állította elő, és nem is tudja bizonyítani.
- A téves pozitív arány matematikai alsó határ, nem mérnöki hiba. Egy 2026-os matematikai megközelítés azt állítja, hogy bármely hasznos, csak szöveget használó, egylövéses detektor olyan arányban követ el téves vádakat, amelyet az határoz meg, mennyire fedi át egymást az emberi és az AI-írás. A jobb modellek nem szüntetik meg ezt.
- A hibák a fegyelmezett írókra sújtanak le legkeményebben. A nem anyanyelvi angol beszélőket és a fegyelmezett, kötött stílusban írókat, köztük a tudományos, jogi és műszaki szerzőket, gyakrabban jelölik meg, mert a tiszta, kiszámítható próza osztozik azon a statisztikai profilon, amelyet a detektorok "AI"-ként olvasnak.
- A provenancia az a megközelítés, amely felváltja a statisztikai detektálást. A vízjelezés (SynthID) és az aláírt tartalomhitelesítők (C2PA) a származást a generálás pillanatában rögzítik, ahelyett, hogy utólag találgatnának. Ez ellenőrizhető, de csak azon tartalom esetében, amelyet a megfelelő eszközök érintettek.
Amit ez a cikk nem tárgyal
- Ez nem egy rangsor arról, hogy melyik detektor a "legjobb". Az itteni érvelés lényege, hogy a rangsor kérdése maga a rossz kérdés.
- Ez nem útmutató a detektálás kijátszásához. Abból van bőven máshol; ez arról szól, mit jelent maga a mérés.
- Ez nem jogi tanács egy konkrét vádra vonatkozóan. Ha épp egyet vitat, beszéljen valakivel, aki ilyesmivel foglalkozik.
- Ez nem oktatóanyag. Nincs telepítendő eszköz és nincs másolandó konfiguráció.
Mit mérnek valójában az AI-detektorok?
Egy AI-szövegdetektor azt méri, mennyire hasonlít egy írásmű az AI által generált szöveghez, három jel alapján: perplexitás, burstiness és betanított osztályozók. Egy valószínűséget jelent arról, hogy a szöveg gép által írt. Amit nem tesz, és strukturálisan nem is tehet meg, az annak ellenőrzése, ki vagy mi állította elő a szöveget. A szavakat vizsgálja és következtet, sohasem az őket létrehozó folyamatot.
A perplexitás azt jelenti, mennyire "lepődik meg" egy nyelvi modell a sorozat következő szaván. Az AI-szöveg hajlamos minden lépésnél a statisztikailag legvalószínűbb következő tokent választani, ami alacsony perplexitásként olvasható. Az emberi írás furcsább fordulatokat vesz, és magasabb pontszámot ér el. A burstiness a mondathossz és -szerkezet variációját méri. Az emberek rövidet és hosszút keverik; az AI az egyformaság felé hajlik. Egy detektor a kettőt egyetlen összetett pontszámmá egyesíti. A betanított osztályozó megközelítés kihagyja a kézzel kiválasztott jeleket, és ehelyett látens mintázatokat tanul meg címkézett emberi és AI-szövegek nagy adathalmazaiból.
Mindegyik jelnek ugyanaz a hibája, csak más ruhában. A burstiness nem tudja elkülöníteni a "fegyelmezett emberi írót" az "AI"-tól; egy jogi beadvány és egy chatbot egyaránt alacsony varianciát produkál. Az egyik modell kimenetére betanított osztályozók nem viszik át magukat a következőre. A RAID benchmark, az AI-szövegdetektorok egyik legnagyobb publikált kiértékelése, több mint 6 millió generálást tesztelt 11 modellen, 8 doménen, 11 ellenséges támadáson és 4 dekódolási stratégián keresztül. Alapvető megállapítása, hogy a detektorokat könnyen gyengíthetik az ellenséges támadások, a mintavételezési változtatások, az ismétlési büntetések és a nem látott generátorok. A perplexitásnak pedig van egy pontossági problémája, amelyet érdemes világosan kimondani.
A proxymodell-probléma. Ahhoz, hogy pontosan megmérjünk egy szöveg perplexitását, szükség van a teljes valószínűségi eloszlásra (a logitokra) pontosan attól a modelltől, amely írta. A detektoroknak szinte sosincs ilyen; ehelyett egy proxymodellel becslik a perplexitást. Amikor az író modell és a mérő modell eltér, ami a szokásos eset, a perplexitásszám már az elejétől beépített szisztematikus hibát hordoz. A mai legkifinomultabb statisztikai módszer, a Binoculars, két rokon modell perplexitásának összehasonlításával csökkenti ezt a zajt, és még mindig a szöveg statisztikáját méri, nem pedig annak eredetét.
Ez az utolsó tagmondat az egész szakasz lényege. Minden itteni módszer, a durva perplexitás-küszöbtől a Binocularsig, a szavak tulajdonságait olvassa. Egyik sem figyeli meg magát az írás aktusát. A betanítási eloszláshoz való hasonlóságot mérik.
A hasonlóság nem szerzőség, ez az egész probléma, öt szóban.
Miért termelnek az AI-detektorok annyi téves pozitívot?
A detektorok azért jelölik meg AI-ként az emberi írást, mert minden olyan írást megjelölnek, amelynek statisztikai tulajdonságai hasonlítanak az AI-kimenethez. Egy 2026-os matematikai megközelítés ezt többnek tekinti egy hangolási hibánál: amikor a bíráló nem ismeri az egyes személyek egyéni írási eloszlását, a téves vádak elkerülhetetlenek, olyan arányban, amelyet az emberi és az AI-írás átfedésének mértéke határoz meg. Az alsó határ valós, és nem mozdul.
A tanulmány Garland 2026-os "Az AI-detektorok kudarcot vallanak a sokszínű diákpopulációknál: A strukturális detektálási korlátok matematikai megközelítése." A hagyományos detektálási elmélet a feladatot két ismert eloszlás közötti tesztként kezeli: így néz ki az emberi írás, így néz ki az AI-írás, döntsd el, melyik állította elő a szöveget. Garland érvelése, hogy az emberi oldal nem egyetlen eloszlás. Minden ember természetes stílusa a maga eloszlása, és egyes emberek stílusa erősen átfed az AI-kimenettel. Statisztikai értelemben a nullhipotézis összetett (sok eloszlás köteg, nem pedig egyetlen), és egy csak szöveget használó, egylövéses detektornak, amely egy összetett nullal szemben dolgozik, nincs módja elkerülni a téves vádakat.
"Bármely csak szöveget használó, egylövéses detektornak, amely hasznos erővel bír, olyan arányban kell téves vádakat produkálnia, amelyet a diákírás és az AI-kimenet közötti eloszlási átfedés szabályoz." Garland, 2026 (arXiv:2603.20254)
A következményt érdemes pontosan megfogalmazni, mert ez választja el ezt a szokásos "a detektorok még nem tökéletesek" megközelítéstől. A korlát a populáció sokszínűségéből ered, nem a modell minőségéből. Egy jobb detektor, egy nagyobb betanítási halmaz, egy okosabb osztályozó: egyik sem érinti, mert az átfedés, amelytől függ, annak a tulajdonsága, hogyan írnak az emberek, nem pedig annak, mennyire jól van megtervezve az eszköz. Garland saját irányelvi mondata közvetlenül ebből következik: "a detektálási pontszámok nem szolgálhatnak egyedüli bizonyítékként fegyelmi eljárásokban."
Az empirikus adatok összhangban vannak a matematikával. Az OpenAI épített egy osztályozót saját modelljei kimenetére, végignézte, ahogy az AI-szöveget csak az esetek 26%-ában azonosítja, miközben az emberek 9%-át tévesen jelöli meg, és 2023 júliusában leállította azt, alacsony megbízhatóságára hivatkozva, "tekintettel arra, hogy az oktatók potenciálisan tartós következményekkel járó ítéleteket hozhatnak a diákokról." Egy 2026-os, szakértői lektorálású tanulmány az International Journal of Educational Integrity folyóiratban a Turnitint 61%-ra, az Originality.ai-t pedig 69%-os valós pontosságra tette egy vegyes adathalmazon, ami messze van a marketingoldalak 99%-ától. Egy hCaptcha benchmark arra jutott, hogy egyetlen általa tesztelt nyilvános detektor sem múlta felül a véletlen esélyt. A Curtin University később letiltotta a Turnitin AI-írásdetektáló funkcióját 2026. január 1-jétől, a bizalom, az egyértelműség, a méltányosság és a jövőre felkészült értékelés szükségességére hivatkozva.
Aztán szorozzuk meg a léptékkel. A Vanderbilt letiltotta a Turnitin detektorát, miután elvégezte a számtant a saját volumenén: az állítólagos 1%-os téves pozitív arány mellett, évi 75 000 beadványon, körülbelül 750 diákot jelölnének meg tévesen évente. Ez az alsó becslés, a gyártó saját optimista számából véve.
A téves pozitív arány egy alsó határ, amelyet az szab meg, mennyire különbözőképpen írnak az emberek, nem pedig egy plafon, amelyet a következő kiadás lejjebb visz.
Kiket jelölnek meg tévesen a leggyakrabban?
Igen, a detektorok elfogultak, mégpedig szisztematikusan. A nem anyanyelvi angol írókat és a fegyelmezett, kötött stílusban (jogi, tudományos, műszaki) írókat gyakrabban jelölik meg, mert írásuk hordozhatja azt az alacsony perplexitású, alacsony burstiness-ű profilt, amelyet a detektorok "AI"-ként olvasnak. Az elfogultság nem arról szól, kik ők; hanem arról, hogy a gondos, egyszerű, kiszámítható próza statisztikailag gépi kimenetnek tűnhet.
Az alapvető bizonyíték Liang és munkatársai 2023-as tanulmánya a Patternsfolyóiratban. Hét széles körben használt detektort futtattak le 91 TOEFL-esszén nem anyanyelvi angol beszélőktől és 88 amerikai nyolcadikos esszén anyanyelvi beszélőktől. A detektorok a nem anyanyelvi esszék több mint felét rosszul osztályozták (átlagos téves pozitív arány 61.3%), miközben az anyanyelvi beszélők halmazán közel tökéletesen teljesítettek. Mind a hét detektor egyhangúlag AI-szerzőségűként jelölte meg az ember által írt TOEFL-esszék 19.8%-át.
A kísérlet, amely lezárja az ügyet, a beavatkozás. Amikor a kutatók a ChatGPT-t használták ugyanazon nem anyanyelvi esszék szókincsének gazdagítására, hogy anyanyelvibbnek hangozzanak, a téves pozitív arány 61.3%-ról 11.6%-ra esett. A szöveg AI által jobban érintetté tétele arra késztette a detektorokat, hogy kevésbé jelöljék meg, mert amire végig reagáltak, az a szókincs kiszámíthatósága volt, nem a szerzőség. A vádat hajtó jel a perplexitás volt, és a perplexitás sohasem volt annak mérőszáma, ki írta a szavakat.
A mintázat nem áll meg a nyelvtudásnál. A BAID, az első szisztematikus elfogultsági benchmark, hét szociolingvisztikai tengely (demográfia, életkor, évfolyam, dialektus, formalitás, politikai beállítottság és téma) mentén értékelte a detektorokat több mint 200 000 mintán, és mind a hét tengelyen következetes eltéréseket talált. Rashidi és munkatársai azt találták, hogy egy AI-szövegdetektor akár 8%-ban tévesen azonosított ismert, ember által írt tudományos absztraktokat AI által generáltként, 1980 és 2023 között publikált absztraktokat használva, mert az orvosi és tudományos írás kötött szókincsen, körülírt megfogalmazáson és szabványosított szerkezeten fut. A jogi írás tervezésénél fogva formuláris. The Authors Guild világosan megfogalmazta ennek a hivatásos írókra vonatkozó változatát: minél csiszoltabb és kontrolláltabb egy író stílusa, annál inkább hasonlít arra a kimenetre, amelynek megjelölésére ezeket az eszközöket építették.
A leginkább tévesen megvádolható írók azok, akik a legfegyelmezettebb, legkötöttebb módon írnak, épp az ellenkezője annak, amit a "csalás" előre jelezne.
Ha a detektorok működnek, miért tudja bárki kijátszani őket?
Egy detektor kijátszása rutinszerű, nem ügyes. A detektorok eleve alacsonyan futnak, és az ellenséges manipuláció még lejjebb viszi őket; az ellenséges parafrázis átlagosan 88%-kal csökkenti a detektorok valós pozitív arányát. A fegyverkezési verseny szerkezeténél fogva aszimmetrikus: egy detektornak minden kijátszási útvonalat egyszerre kell védenie, míg egy kijátszóeszköznek csak azt az egyetlen mintázatot kell legyőznie, amelyet a detektor épp mér.
A számok közvetlenül a kutatásból származnak. Perkins és munkatársai (2024) a detektor pontosságát 39.5%-ban mérték gép által generált szövegen, ami 17.4%-ra esett, amint kijátszási technikákat alkalmaztak. Cheng és munkatársai (2025) azt találták, hogy az ellenséges parafrázis 87.88%-kal csökkentette az átlagos valós pozitív arányt a detektortípusokon keresztül, a Fast-DetectGPT-t pedig 98.96%-kal csökkentette. Sadasivan és munkatársai (2023) megmutatták, hogy a rekurzív parafrázis élesen csökkentheti a detektorok teljesítményét, beleértve a vízjelezésen alapuló detektorokat is, miközben a szöveg olvasható marad. E megállapítások köré egy egész elleniparág épül a "humanizáló" eszközökből, amelyek feladata az AI-szöveg átírása, amíg emberként nem pontoz, és ennek az iparágnak a puszta léte önmagában bizonyíték arról, mit mérnek a detektorok. Nem lehet megbízható eszközt építeni a szerzőség mérőszámának legyőzésére. A szöveg statisztikájának mérőszámát legyőző eszközt lehet, és az emberek meg is építették.
Az aszimmetria strukturális, és megmutatkozik a kiadási ütemben. Amikor a Turnitin 2025 augusztusában szállított egy AI-kijátszó-detektáló funkciót 2025 augusztusában, egy kísérletet, hogy elkapja a humanizálókon átfuttatott szöveget, a humanizáló gyártók gyorsan elkezdték hirdetni saját kijátszási állításaikat. Minden detektorfrissítés új célt határoz meg; minden célt eltalálnak.
Van egy következtetés, amelyet az olvasó levonhat mindebből, és érdemes következtetésként megjelölni, nem pedig tényként. Így nézve a detektorok többnyire azokat kapják el, akik nyers, szerkesztetlen AI-kimenetet adnak be: a legkevésbé motivált és legkevésbé gondos felhasználókat. Akiket egy szabályzat leginkább el akar kapni, azok a legkönnyebben elmulasztottak.
A fegyverkezési verseny nem egy átmeneti hézag, amelyet a gyártók majd bezárnak. Tervezésénél fogva aszimmetrikus.
Mit tesznek most az intézmények?
Egyre bővülő listája az egyetemeknek (Vanderbilt, Yale, Curtin, a University of Waterloo, és mások) letiltotta vagy korlátozta a Turnitin AI-detektorát, hivatkozva a téves pozitívok mennyiségére, a nem anyanyelvi beszélőkkel szembeni elfogultságra, az instabil pontszámokra és az átláthatóság hiányára. Mások csak tájékoztató jelként tartották meg, sohasem egy vád egyedüli alapjaként. Az intézményi verdikt a tudományos tanulmányoktól függetlenül érkezik, és egyetért velük.
Az indoklás dokumentált és konkrét. Vanderbilt négy indokot nevezett meg, amikor 2023 augusztusában letiltotta a funkciót: az évi 750 téves vád számtanát, a nem anyanyelvi beszélőkkel szembeni elfogultságot, annak hiányát, hogy bármilyen magyarázat lenne arra, hogyan jut el a Turnitin a verdiktjéig, és a harmadik féltől származó adatbeküldéssel kapcsolatos adatvédelmi aggályokat. A Curtin University bejelentette, hogy 2026. január 1-jétől a Turnitin AI-írásdetektáló funkciója minden campuson és tanulmányi időszakban le lesz tiltva, míg a rendszeres szövegegyeztetési ellenőrzések aktívak maradnak. A University of Waterloo megszüntette a Turnitin AI-detektálási funkcióját 2025 szeptemberétől, belső akadémiai konzultációt követően. A University of Texas at Austin nem támogatja az AI-detektáló szoftvert, nincsenek központi szerződései vagy megrendelései aktív AI-detektálási funkciókkal, és ezt a szoftvert magas kockázatúként osztályozza a beszerzés szempontjából. Az intézmények, köztük a MIT és Stanford kari útmutatása ugyanarra a gyakorlati tanulságra jut: az AI-detektoroknak magas a hibaarányuk, téves pozitívjaik és elfogultsági kockázataik vannak, ezért nem szabad döntő bizonyítékként kezelni őket.
A szabályzati nyelvezet alatt emberek vannak. Marley Stevens, a University of North Georgia hallgatója, akit a Turnitin megjelölt egy általa saját maga írt munkán, akadémiai próbaidőre helyeztek, és elveszítette a HOPE Scholarshipjét; azt mondja, csak a Grammarlyn futtatta át a szöveget. A UC Davisnél egy AI-használattal vádolt hallgatót később tisztáztak, miután megmutatta a Google Docs szerkesztési előzményeit, egy külön, hallgatók által végzett teszt pedig arról számolt be, hogy a GPTZero tévesen jelölte meg 247 nem AI-dokumentum 40%-át. Ezek nem a peremesetek, amelyeket a hibaarány lekerekít. Azon a volumenen, amelyen ezek az eszközök futnak, ezek a láthatóvá tett hibaarány.
Mi váltja fel a statisztikai detektálást?
A kialakuló válasz a provenancia: a kész szöveg vizsgálata és eredetének találgatása helyett rögzíts egy ellenőrizhető eredetjelet a generálás pillanatában. Két megközelítés közeledik egymáshoz, a Google DeepMind SynthID vízjelezése és a C2PA Content Credentials szabvány, régebbi bizonyítékokkal párosítva, mint a piszkozattörténet és az órai munka. A provenancia nem találgat jobban. A kérdést egy megválaszolhatóvá változtatja.
A SynthID úgy működik, hogy megnyomja a token-valószínűségeket, ahogy egy modell szöveget generál, statisztikai mintázatot hagyva hátra, amelyet egy ellenőrző később kereshet. A Google bevezette a SynthID-t a generált képeken, szövegen, hangon és videón; kép- és videokocka-implementációját több mint 10 milliárd kép és videokocka vízjelezésére használták, és a Google most SynthID Detector portált biztosít a támogatott médiumokhoz. Korlátai dokumentáltak: a hosszabb, változatos kimeneteken működik a legjobban, gyengén teljesít rövid vagy tisztán tényszerű válaszokon (Franciaország fővárosának megírására csak egy helyes mód van, így nincs mit modulálni), és bizonyossága romlik erős átírás vagy fordítás hatására. Nem is látja az olyan modellek szövegét, amelyek nem implementálják.
A C2PA Content Credentials a kiegészítő megközelítést alkalmazza: kriptográfiailag aláírt metaadat, amely a létrehozás idejéhez csatolódik, rögzítve, milyen eszköz készítette a tartalmat és mikor. Az OpenAI 2024 májusában csatlakozott a C2PA irányítóbizottságához. 2026 májusában kibővítette provenancia-verstómját a támogatott képkimenetekhez, a C2PA Content Credentialst a Google DeepMind SynthID vízjelezésével párosítva és ellenőrzőeszközöket előzetesen bemutatva. A két réteg egymást támogatja. Az aláírt metaadat gazdag, de újrafeltöltéskor eltávolítható, míg a SynthID vízjel túléli a képernyőmentéseket és formátumváltásokat, de kevesebb információt hordoz. A csapda ugyanaz, amely minden provenancia-sémát korlátoz: a részt vevő eszközök tartalmát ellenőrzi, és semmit sem mond a nem részt vevő eszközök tartalmáról. A lefedettség önkéntes, és csak az elterjedéssel együtt nő.
Ezért nem áll meg a terület a vízjeleknél. Az alternatívák, amelyekre az egyetemi útmutatás és a közösségi konszenzus újra és újra jut, eljárásbeliek: követeld meg a piszkozattörténetet és a verziócommitokat, építs be rövid órai vagy szóbeli komponenseket, és tervezz olyan értékeléseket, amelyeket nehéz valódi részvétel nélkül meghamisítani. És amikor egy jel mégis felbukkan, kezeld egy beszélgetés megnyitásaként, ne egy ügy lezárásaként.
Ez a konkrét tanulság, amelyet egy értékelő elvihet az érdekelt feleknek. A statisztikai detektálás azt kérdezi: "úgy néz ki ez a szöveg, mint az AI?", egy kérdés, amelyre Garland szerint nincs megbízható válasz. A provenancia azt kérdezi: "aláírta ezt egy megfelelő eszköz?", egy kérdés, amelynek van ellenőrizhető válasza, azon tartalom részhalmazára, amelyet ezek az eszközök érintettek. A csere szűkebb lefedettség egy olyan állításért cserébe, amely mögött ténylegesen ki tud állni, ami a jobb pozíció, ha egy ember státusza a tét.
Reklámozott pontosság vs. független megállapítások
A gyártói pontossági állítások és a független mérések nincsenek közel egymáshoz. Az alábbi táblázat minden eszköz reklámozott számát szembeállítja azzal, amit a független tesztelés talált. Ez nem vásárlási útmutató; nincs "ajánlott" oszlop, mert e cikk érvelése szerint az ilyen oszlop mögötti keretezés hibás. Ez az eltérés feljegyzése.
| Eszköz | Gyártó által reklámozott pontosság / FPR | Független megállapítás |
|---|---|---|
| GPTZero | 99% pontosság, 1% téves pozitív arány | 16% téves pozitív arány ember által írt esszéken egy 78 esszés tanulmányban |
| Turnitin | <1% téves pozitív arány | 61% teljes pontosság egy 2026-os International Journal for Educational Integrity tanulmányban |
| ZeroGPT | 98.5% detektálási pontosság | 83% téves pozitív ember által írt orvosi absztraktokon egy láb- és bokasebészeti tanulmányban |
| Originality.ai | 99%+ pontosság / alacsony téves pozitív állítások, a modelltől függően | 76% teljes pontosság a Scribbr 2024-es áttekintésében; 69% teljes pontosság egy 2026-os akadémiai kontextusú tanulmányban |
| Copyleaks | Több mint 99% pontosság | A pontosság 71%-ra esett humanizált, DeepSeek által generált szövegen egy 2025-ös detektortanulmányban |
| OpenAI osztályozó | N/A | 26% valós pozitív arány, 9% téves pozitív arány; 2023. július 20-án leállítva alacsony pontosság miatt |
Ezek a számok benchmark-pontszámokként nem közvetlenül összehasonlíthatók, mert minden teszt eltérő adathalmazokat, küszöböket és írási körülményeket használt. A lényeg a visszatérő eltérés a kontrollált gyártói állítások és a kuszább valós vagy független kiértékelések között.
Gyakran ismételt kérdések
Mit észlel valójában egy AI-szövegdetektor: AI-t, vagy egy írástípust?
Egy írástípust észlel. Egy detektor azt méri, hogy a szöveg statisztikailag hasonlít-e az AI-kimenethez: alacsony perplexitás és alacsony burstiness, vagy egy betanított osztályozó tanult mintázataira való egyezés. Nem tudja ellenőrizni a szerzőséget. A magas pontszám azt jelenti, hogy az írás úgy néz ki, mint az az AI-szöveg, amelyen az eszközt betanították, nem azt, hogy gép állította elő.
Miért jelölték meg az ember által írt esszémet AI által generáltként?
Mert az írása osztozik azon az alacsony perplexitású statisztikai profilon, amelyet a detektorok AI-ként olvasnak, egy profilon, amely gyakori a csiszolt, műszaki vagy nem anyanyelvi angol írásban. A detektor a kiszámítható szókincsre és az egyforma mondatszerkezetre reagál, nem a szerzőségre. Egy megjelölés a szöveged statisztikájáról szóló állítás, nem bizonyíték arra, hogy AI-t használtál.
Elfogultak az AI-detektorok a nem anyanyelvi angol beszélőkkel szemben?
Igen, mérhetően. Liang és munkatársai (2023) átlagos 61.3%-os téves pozitív arányt találtak TOEFL-esszéken nem anyanyelvi íróktól, szemben a közel nullával az anyanyelvi beszélők esszéin. A BAID benchmark később hasonló eltéréseket talált hét tengely mentén, köztük a dialektus, a formalitás és a téma tengelyén. Az ok statisztikai: a kötött szókincs alacsony perplexitásként olvasható, amelyet a detektorok tévesen AI-ként értelmeznek.
Miért kap ugyanaz a szöveg különböző AI-detektálási pontszámokat ismételt szkennelésekkor?
Mert a detektorpontszámok modellalapú becslések, nem a szerzőség közvetlen megfigyelései. A küszöbök, az osztályozó viselkedése, az előfeldolgozás és az eszközfrissítések mind befolyásolhatják a végső százalékot, így egy pontszámot gyenge jelként kell kezelni, nem pedig stabil mérésként.
Mit használjanak a szervezetek az AI-szövegdetektorok helyett?
Provenancia-eszközöket (SynthID vízjelezés és C2PA Content Credentials) a megfelelő generátoroktól származó tartalomhoz, folyamatbizonyítékkal, mint a piszkozattörténet, a verziócommitok és az órai munka, párosítva, plusz újratervezett értékeléseket, amelyek valódi részvételt igényelnek. Bármely detektorkimenetnek egy beszélgetést kell elindítania, sohasem szolgálhat egyedüli bizonyítékként egy olyan döntésben, amely valakinek a státuszát érinti.
