Pangram è nettamente più preciso rispetto a strumenti datati come ZeroGPT, ma non è un giudice infallibile. Dai test che abbiamo condotto, la piattaforma dimostra una maggiore capacità di individuare il testo AI “grezzo”, ma continua a mostrare limiti strutturali pesanti: soffre di falsi positivi e va in crisi non appena il testo viene minimamente rielaborato.

pangram è affidabile? il test
È bastato spiegare a Gemini con un semplice prompt di creare un test che aggirasse il rilevatore di Pangram, e la macchina ha restituito un rilevamento completamente sbagliato.

Cos’è Pangram e perché se ne parla tanto

Integrato di recente su piattaforme come Substack per arginare l’invasione di contenuti automatici, Pangram nasce con l’obiettivo di restituire trasparenza ai lettori. Attraverso la scansione dei testi, il software assegna un punteggio percentuale che definisce quanto un contenuto sia stato scritto da una persona o generato da modelli come ChatGPT o Claude.

L’intento è condivisibile: proteggere gli spazi editoriali dalla proliferazione di articoli fotocopia prodotti in serie. Tuttavia, trasformare un calcolo probabilistico in un “bollino di autenticità” comporta diversi rischi tecnici e concettuali.

Ma la domanda è: Pangram è affidabile?

Pangram vs ZeroGPT: cosa dicono i test reali

Per capire se ci si possa davvero fidare di queste metriche, abbiamo messo alla prova l’algoritmo su un campione di testi variamente strutturati.

I dati emersi dai nostri test evidenziano un quadro chiaro:

  • Migliore sensibilità al testo base: Rispetto a strumenti storicamente imprecisi come ZeroGPT, Pangram riconosce con maggiore continuità gli articoli generati “di getto” dall’AI senza alcuna modifica.
  • Margine di errore ancora elevato: Il software tende a fallire quando si trova davanti a testi umani particolarmente puliti, formali o tecnici, classificandoli ingiustamente come artificiali.
  • Facilità di bypass: È sufficiente modificare il ritmo delle frasi, inserire variazioni sintattiche o personalizzare il vocabolario per far passare un testo assistito dall’AI come 100% umano.

Pangram alza l’asticella della rilevazione rispetto al passato, ma rimane un sistema basato su stime e non su certezze scientifiche.

Come funzionano questi algoritmi (e perché sbagliano)

I detector di intelligenza artificiale non cercano una firma digitale invisibile all’interno delle parole. Analizzano invece due parametri statistici:

  • Perplessità (Perplexity): La misura di quanto una parola sia prevedibile all’interno di una frase.
  • Variazione (Burstiness): L’alternanza nella lunghezza e nella struttura delle frasi.

L’intelligenza artificiale tende a scrivere in modo uniforme, prevedibile e bilanciato. Il problema nasce dal fatto che anche un buon autore umano, quando cerca chiarezza e sintesi, tende a strutturare il discorso in modo fluido e ordinato. Di conseguenza, più una prosa è pulita e priva di ridondanze, più rischia di sembrare generata da un algoritmo.

Oltre la caccia alle streghe: focalizzarsi sul valore

Fidarsi ciecamente di una barra percentuale rischia di penalizzare chi scrive con cura e premiare chi utilizza semplici espedienti per ingannare la scansione. La vera domanda da porsi quando si legge o si produce un contenuto non è con quale strumento è stato digitato, ma quanto valore reale offre a chi legge.

Per approfondire questo tema con un’analisi critica e diretta sul funzionamento dei detector e sulle dinamiche della scrittura moderna, ti consigliamo di leggere l’articolo di Dario De Micheli:

Leggi anche:

Come scrivere un testo 100% “umano” sfruttando l’AI e aggirare Pangram di Dario De Micheli

Ti spiego perché gli AI detector sbagliano clamorosamente (dati alla mano) e come scrivere testi “umani” sfruttando comunque l’AI.

Leggi su Substack

Nelle sue riflessioni, l’autore mostra perché la demonizzazione dello strumento sia un vicolo cieco e come sia possibile integrare l’AI nel proprio flusso di lavoro senza snaturare il pensiero originale.

In definitiva, l’intelligenza artificiale può fare da assistente, riorganizzare le idee o velocizzare la ricerca, ma l’esperienza, l’opinione e il punto di vista rimangono prerogative unicamente umane. Nessun algoritmo di scansione potrà mai sostituire il giudizio critico dei lettori.