Ferrari, Trinacrian e l'IA

Mi sono accorto oggi dell'ennesima dimostrazioni delle difficoltà di it.wiki a gestire l'IA in maniera costruttiva senza pregiudizi negativi.

Il 15 gennaio Giammarco Ferrari (uno degli utenti da tempo nella lista nera degli admin) ha creato una voce da 73k sui Propositi_statunitensi_di_acquisizione_della_Groenlandia, e Trinacriam la cancella in C3 per uso di IA e poi inserisce l'avviso innescando una discussione che sorprendentemente non trascende oltre i limiti. Ferrari con invidiabile calma prova a negare l'accusa e invita a leggere la voce dicendo di aver impiegato una settimana per metterla a punto mentre Trinacriam risponde di aver eseguito dei test automatici che hanno indicato 100% di positivo (se cinque diversi tool concordano nel risultato devo crederci) e quindi la cancellazione é inevitabile. Il problema però è che questi test che sono abbastanza inaffidabili, tanto che persino la linea guida in italiano dice di prenderli con le pinze e guardare piuttosto  "se vi siano allucinazioni, sia nel testo (es. informazioni non vere), sia nel rapporto tra fonti e testo (con fonti che non riportano le informazioni presenti nel testi che dovrebbero fontare)" e giustamente Ferrari invita a spiegare in quali parti la voce fosse carente.

La discussione muore per tre giorni poi il 18 Ferrari si rifà vivo in maniera più decisa con un messaggio decisamente pungente, e stavolta Trinacrian cede e sposta in Sandbox personale. Come si può vedere la voce non era assolutamente da immediata, anzi risulta scritta meglio di tantissime altre voci in NS0. La voce viene portata in NS0 e dopo una (quasi certa) discussione nei canali riservati viene lasciata stare imponendo solo una modifica al titolo comunque condivisibile.

Che dire? Se l'idea di it.wiki è di impedire tout-court l'utilizzo di IA per la creazione delle voci il progetto imploderà ancora piú velocemente di quanto stia facendo. Se un utente si fa aiutare da un LLM o da un traduttore per la creazione di una voce ma la rielabora a mano e non ci sono allucinazioni perché impedirglielo? Capisco che sia più facile far girare un tool automatico che mettersi a leggere 73k di voce ma anche per rispetto ad un vecchio wikipediano con un edit count da far invidia probabilmente si poteva gestire meglio la situazione. Mi chiedo quali siano le fazioni in gioco e se non sia stato un episodio simile ad aver causato anche l'abbandono polemico di Friniate.

Jimbo Jambo wrote

Mi sono accorto oggi dell'ennesima dimostrazioni delle difficoltà di it.wiki a gestire l'IA in maniera costruttiva senza pregiudizi negativi.

Il 15 gennaio Giammarco Ferrari (uno degli utenti da tempo nella lista nera degli admin) ha creato una voce da 73k sui Propositi_statunitensi_di_acquisizione_della_Groenlandia, e Trinacriam la cancella in C3 per uso di IA e poi inserisce l'avviso innescando una discussione che sorprendentemente non trascende oltre i limiti. Ferrari con invidiabile calma prova a negare l'accusa e invita a leggere la voce dicendo di aver impiegato una settimana per metterla a punto mentre Trinacriam risponde di aver eseguito dei test automatici che hanno indicato 100% di positivo (se cinque diversi tool concordano nel risultato devo crederci) e quindi la cancellazione é inevitabile. Il problema però è che questi test che sono abbastanza inaffidabili, tanto che persino la linea guida in italiano dice di prenderli con le pinze e guardare piuttosto  "se vi siano allucinazioni, sia nel testo (es. informazioni non vere), sia nel rapporto tra fonti e testo (con fonti che non riportano le informazioni presenti nel testi che dovrebbero fontare)" e giustamente Ferrari invita a spiegare in quali parti la voce fosse carente.

La discussione muore per tre giorni poi il 18 Ferrari si rifà vivo in maniera più decisa con un messaggio decisamente pungente, e stavolta Trinacrian cede e sposta in Sandbox personale. Come si può vedere la voce non era assolutamente da immediata, anzi risulta scritta meglio di tantissime altre voci in NS0. La voce viene portata in NS0 e dopo una (quasi certa) discussione nei canali riservati viene lasciata stare imponendo solo una modifica al titolo comunque condivisibile.

Che dire? Se l'idea di it.wiki è di impedire tout-court l'utilizzo di IA per la creazione delle voci il progetto imploderà ancora piú velocemente di quanto stia facendo. Se un utente si fa aiutare da un LLM o da un traduttore per la creazione di una voce ma la rielabora a mano e non ci sono allucinazioni perché impedirglielo? Capisco che sia più facile far girare un tool automatico che mettersi a leggere 73k di voce ma anche per rispetto ad un vecchio wikipediano con un edit count da far invidia probabilmente si poteva gestire meglio la situazione. Mi chiedo quali siano le fazioni in gioco e se non sia stato un episodio simile ad aver causato anche l'abbandono polemico di Friniate.

Davvero poco corretto Trinacrian, un comportamento davvero antipatico e insultante nei confronti di GF. L'arrampicata sui vetri per giustificare l’ingiustificabile è palese, e dal resto della talk si vede che GF è preso spesso a male parole da admin molto supponenti e arroganti.

Questa voce è stata scritta ben due volte con IA, ma secondo i tool non lo era, con certezza al 100% secondo Parma come si vede nella discussione in Wikisource (e i controtest fatti anche da me dopo).
Fra l'altro noto che dell'intera vicenda non v'è traccia nella talk della voce interessata su WP.

Invece la voce di GF che non è fatta con IA viene bollata al 100% come IA.

Quando è IA, segnano 100% non-IA, e quando non è IA segnano 100% è-IA.

Tanto basta per dire che i tool per individuare le IA fanno letteralmente cagare ed andrebbero semplicemente vietati, e chi li usa nel modo di TG punito alla pari di chi fa traduzioni di merda.

Interessante e anche leggermente paradossale: se l'uso di AI è in linea di principio vietato, allora è vietato anche l'uso degli AI-detector. Gli AI-detector, infatti, usano l'AI. Quindi quando TG scrive "Ho proceduto a verifica con diversi strumenti, tutti concordi nell'indicare al 100% il testo come prodotto da intelligenza artificiale in violazione di questa linea guida", in realtà sta ammettendo di aver violato anche lui quella linea guida, laddove dice: "l'uso dell'intelligenza artificiale su Wikipedia è limitato a casistiche specifiche delineate dalla presente linea guida (...) i tool automatici (...) non possono essere usati da soli per determinare se un testo sia frutto di IA o meno. Per determinarlo andrà quindi sempre fatto un controllo umano".

In realtà, l'AI per la scrittura di Wikipedia è una grande risorsa ma anche un grande problema. Tutti i progetti ne discutono in modo febbrile, ed è impossibile arrivare a una conclusione che piaccia a tutti. Alcuni utenti sono favorevoli a vietarne l'uso del tutto, salvo limitate eccezioni (anche Blackcat, leggo qui), ma secondo me è un errore. La regola dovrebbe essere che è vietata la pubblicazione di testi non rivisti e corretti manualmente dall'utente.

Qualche tempo fa mi sono divertito a creare la voce sugli Ideologues usando l'IA. Il testo pubblicato è questo (con oggetto modifica "LLM-assisted (ChatGPT 5.2). All content carefully reviewed and extensively rewritten by me", secondo le regole di en.wiki). Venti giorni prima, avevo chiesto a ChatGPT di creare una bozza di voce nella mia sandbox, questa. La bozza erano 6 KB, la voce finale 48 KB; e la bozza iniziale contenteva numerosissimi errori, alcuni dei quali gravi e relativamente evidenti (collocava gli ideologues "between the late 1780s and the early 1800s", invece che che tra il 1795 e il 1815; parlava di una "scuola" degli ideologues e, come fa anche fr.wiki, parlava di una "Société des idéologues", che non è mai esistita), altri più sottili o impercettibili (attribuiva a Foucault tesi che non ha mai sostenuto, includeva Condorcet tra gli ideologues, attribuiva a Cabanis una frase che gli è stata spesso attribuita, ma che non ha mai né prounciato né scritto).

Tutto questo per dire: se sospetti che qualcuno abbia usato un'IA, fai benissimo ad approfondire; ma prima di contattarlo per chiedere spiegazione (o addirittura cancellargli la voce), devi documentare un elenco di errori o "allucinazioni" che dimostrino che il testo è inaffidabile.

Gitz wrote

in realtà sta ammettendo di aver violato anche lui quella linea guida, laddove dice: "l'uso dell'intelligenza artificiale su Wikipedia è limitato a casistiche specifiche delineate dalla presente linea guida (...) i tool automatici (...) non possono essere usati da soli per determinare se un testo sia frutto di IA o meno. Per determinarlo andrà quindi sempre fatto un controllo umano".

Ennesima brutalizzazione di regole, principi e linee guida di un sysop di (r)it.wiki e nessuno, NESSUNO, che non dico lo cartellini ma che almeno glielo faccia notare. Non si capisce se questi abusi plateali li facciano volontariamente proprio per godere apertamente dell'impunità o se, a causa di una scarsa comprensione dell'italiano prescrittivo, neanche si rendano conto di commettere.

itawikinostra wrote

Ennesima brutalizzazione di regole, principi e linee guida di un sysop di (r)it.wiki e nessuno, NESSUNO, che non dico lo cartellini ma che almeno glielo faccia notare. Non si capisce se questi abusi plateali li facciano volontariamente proprio per godere apertamente dell'impunità o se, a causa di una scarsa comprensione dell'italiano prescrittivo, neanche si rendano conto di commettere.

Non se ne rendono conto.
Un po' perché  "io so io e voi non siete un cazzo".
Un po' perché alcuni non hanno abbastanza intelligenza e/o onestà intellettuale da applicare a sé quel che applicano agli altri.
Un po' perchè le regole non le legge nessuno e si ricordano solo la sigletta WP:* e poi il resto lo decidono "a sentimento" come gli gira.