Risposta secca: NO. ZeroGPT non è affidabile.

Ma guarda il video per capire il perché.

L’ascesa dei modelli linguistici come ChatGPT ha portato alla nascita di una nuova categoria di software: i detector di intelligenza artificiale. Tra i più popolari del web c’è ZeroGPT, uno strumento che promette di analizzare la sintassi e la prevedibilità di un testo per stabilire se sia stato scritto da un essere umano o da un algoritmo.

Ma quanto ci si può davvero fidare di questi verdetti? Per scoprirlo, abbiamo sottoposto a ZeroGPT 9 testi differenti — dai grandi classici della letteratura a documenti storici, fino a contenuti generati ad hoc con l’IA. I risultati mostrano un quadro ben lontano dall’infallibilità.

1. Grandi classici e saggi umani: quando il detector indovina

Nei testi letterari tradizionali e nei saggi di autori in carne e ossa, ZeroGPT tende a comportarsi bene, riconoscendo la variabilità tipica della scrittura umana.

  • La Divina Commedia (Dante Alighieri)Esito: 100% Umano (Corretto). La complessità metrica e il lessico del Trecento non lasciano dubbi allo strumento.
  • I Promessi Sposi (Alessandro Manzoni)Esito: 100% Umano (Corretto). La ricchezza narrativa della prosa manzoniana viene riconosciuta senza esitazioni.
  • Managing Oneself (Peter Drucker)Esito: 100% Umano (Corretto). Un pilastro della saggistica manageriale moderna che supera il test a pieni voti.
  • Articolo d’opinione personaleEsito: 100% Umano (Corretto). Un testo informale e inedito, scritto da un autore umano, viene identificato correttamente.

2. I Falsi Positivi: quando la storia e i manifesti diventano “IA”

I problemi iniziano quando il testo umano presenta una struttura rigida, formale o molto ritmata. In questi casi, lo strumento scambia la precisione stilistica per un output algoritmico.

  • La Dichiarazione di Indipendenza AmericanaEsito: 97,49% IA (Errore grave). Uno dei documenti più importanti della storia umana viene bollato quasi come interamente scritto da una macchina. Lo stile solenne e ripetitivo del 1776 trae in inganno i pattern statistici di ZeroGPT.
  • Le 10 verità di GoogleEsito: 16,79% IA (Errore). Il celebre manifesto aziendale, organizzato per punti chiari e sintetici, attiva ingiustificatamente i campanelli d’allarme del software.

3. I Falsi Negativi: l’incapacità di scovare la vera IA

Il punto debole più critico di ZeroGPT si manifesta quando gli si chiede di fare ciò per cui è stato creato: individuare il testo sintetico.

  • Primo testo generato da IAEsito: 100% Umano (Errore clamoroso). Un testo interamente prodotto da un LLM sfugge del tutto al rilevamento, venendo scambiato per un elaborato umano perfetto.
  • Testo IA con prompt avanzatoEsito: 17,2% IA (Errore). Applicando qualche semplice istruzione di stile nel prompt (variare la lunghezza delle frasi, usare un tono sfaccettato), l’IA inganna lo strumento, che rileva solo una percentuale irrisoria di artificialità.
  • Secondo testo generato da IAEsito: 100% Umano (Errore). Un ulteriore contenuto sintetico passa del tutto inosservato, confermando come i modelli generativi recenti superino facilmente le barriere di ZeroGPT.

Quadro riassuntivo dei test

Testo analizzatoNatura del testoRisultato ZeroGPTValutazione esito
Divina CommediaUmana100% UmanoCorretto
I Promessi SposiUmana100% UmanoCorretto
Managing OneselfUmana100% UmanoCorretto
Articolo PersonaleUmana100% UmanoCorretto
Dichiarazione d’IndipendenzaUmana97,49% IAFalso Positivo (Errore)
10 Verità di GoogleUmana16,79% IAFalso Positivo (Errore)
Testo IA #1Generato da IA100% UmanoFalso Negativo (Errore)
Testo IA con PromptGenerato da IA17,2% IAFalso Negativo (Errore)
Testo IA #2Generato da IA100% UmanoFalso Negativo (Errore)

Con 5 errori su 9 test effettuati, ZeroGPT ha dimostrato un’accuratezza inferiore al 45% nel nostro esperimento, risultando statisticamente meno preciso del lancio di una moneta.

In conclusione, ZeroGPT non è affidabile.

Il rischio di questi strumenti è bidirezionale e profondo: da un lato penalizzano ingiustamente autori umani (accusando persino Thomas Jefferson di aver usato ChatGPT), dall’altro offrono una falsa sensazione di sicurezza lasciando passare quasi tutti i contenuti generati artificialmente. Affidarsi a ZeroGPT in ambito scolastico, accademico o editoriale per valutare l’autenticità di un testo è un’operazione priva di basi scientifiche che rischia di generare gravi ingiustizie.

Vuoi pubblicare questo articolo su un blog di tecnologia, su LinkedIn o in una newsletter tecnica? Posso adattare il tono di voce o aggiungere una sezione specifica sulle metriche che traggono in inganno questi software (come perplexity e burstiness).

Ascolta anche: ZeroGPT non è affidabile. Ma Pangram? ⬇️

Leggi anche: Come scrivere un testo 100% “umano” sfruttando l’AI e aggirare Pangram

Leggi anche: Pangram è davvero affidabile?