OpenAI, l’organizzazione no-profit di ricerca sull’intelligenza artificiale che ha sempre reso pubblici brevetti e ricerche al pubblico, ha deciso di cambiare rotta con GPT-2.
L’organizzazione è stata fondata nel 2015 da Elon Musk e Sam Altma, con lo scopo di sviluppare un’IA da cui l’uomo possa trarre beneficio. Pochi giorni fa ha rilasciato un comunicato in cui spiega che il codice di GPT-2, l’ultimo modello di generazione di linguaggio, non sarà reso pubblico. Il motivo? Le grandi preoccupazioni destate dalle possibili implicazioni negative del suo utilizzo.
L’obiettivo di GPT-2
OpenAI presenta il nuovo modello, successore di GPT, come un modello di linguaggio non supervisionato pensato per predire la parola successiva di un testo. Con un miliardo e mezzo di parametri e 8 milioni di pagine web utilizzate come data-set, GPT-2 offre un set di possibilità molto vario, tra le quali emerge la capacità di scrivere un testo di qualità sorprendente. Leggendo alcuni degli esempi presenti sul blog, si nota subito come il testo generato sia molto vicino allo stile e alla qualità della scrittura umana. In particolare, fornito un input di testo scritto da una persona, il modello è in grado di elaborare un testo coerente sia nei contenuti che nello stile del testo di partenza, riuscendo quindi ad adattarsi non solo all’argomento, ma anche ai tratti espressivi dell’autore.
I test sul modello del gruppo di ricercatori hanno riguardato la comprensione del testo(con una serie di domande a cui il modello doveva rispondere), la traduzione, il riassunto di un testo e la predizione della parola finale di una frase. I risultati mostrano però diversi fallimenti, ritrovabili in particolare nella ripetitività delle frasi e nel repentino cambio di argomento. Nel caso dei riassunti si è notato che il modello tende spesso a inserire dettagli troppo specifici. Per la traduzione poi, nel caso “Inglese-Francese”, il risultato è stato peggiore di una traduzione parola per parola. Molto meglio invece per il “Francese-Inglese”.
La percentuale di risultati buoni o accettabili dipende ovviamente da quanto il modello è familiare con un certo contesto, vista l’eterogeneità del dataset fornitogli. Lavorando con argomenti molto frequenti nel set di training, il modello è in grado di produrre testi ottimali nel circa 50% dei casi. Nel caso di topic estremamente tecnici o esoterici, le performance sono decisamente basse. Ovviamente, con il dovuto tuning degli esempi orientato ad una specifica area, il modello sarebbe in grado di generare testi migliori.
Le implicazioni
Perché, nonostante i risultati non eccezionali, OpenAI ha deciso di non rendere pubblico il codice del modello? La motivazione va ricercata nel fatto che, sebbene attualmente la qualità non è quella ottimale, i modelli di questo tipo saranno sempre più facili da guidare verso una generazione del testo coerente. Già un risultato del 50% di ottimalità è in realtà un dato significativo, che nel corso dei prossimi 5 anni (almeno da come ipotizzato dai ricercatori) potrebbe aumentare vertiginosamente. Se questo permetterà di trarre ampio beneficio, dall’altra parte anche i costi della generazione di contenuti falsi e disinformativi si abbasserà.
Nel paper pubblicato sul blog di OpenAI vengono descritti alcuni scenari di utilizzo da parte di malintenzionati. Alcuni di questi, verificandosi già attualmente in forma limitata, potrebbero sfruttare le capacità di GPT-2 per migliorarsi e verificarsi più spesso. I contesti presi in esame riguardano la sicurezza digitale, fisica e politica.
Nel primo caso i modi per minare la sicurezza riguardano i cyber attacchi e il black-hat hacking. Un’IA sofisticata permetterebbe di migliorare i software per l’automazione dell’hacking. Utilizzando pattern storici, sarà possibile velocizzare la ricerca di nuove vulnerabilità e la creazione di codice per sfruttarle, così come migliorare l’automazione dell’attacco vero e proprio. Il tipico attacco DoS sarà molto più semplice da realizzare, e il sistema sarebbe in grado di imitare la velocità di click degli essere umani e il loro pattern di visita dei siti web. La capacità di mimare sempre meglio lo stile di scrittura di una persona influirebbe sicuramente nel miglioramento degli attacchi di social engineering, automatizzando il processo ma rendendolo del tutto uguale al comportamento di una persona reale.
Nel secondo caso si parla di sistemi utilizzati in attacchi terroristici e in guerra. I sistemi di IA potrebbero essere riprogrammati per agire in maniera dannosa, ad esempio utilizzando droni o veicoli a guida autonoma per trasportare esplosivi o provocare incidenti. La scala e l’entità degli attacchi cambierebbe utilizzando una grande quantità di droni armati e autonomi. Anche le abilità della persona potrebbero essere migliorate: i fucili a mira autonoma ridurrebbero l’esperienza richiesta per gli attacchi da sferrare.
Per quanto riguarda l’ambito politico, un’IA in grado di confezionare testi dallo stile impeccabile agirebbe nel mondo dell’informazione, manipolandola. Fake news, campagne di disinformazione o di influenzamento delle masse automatizzate, attacchi “denial of information” sono solo alcuni esempi degli scopi per cui utilizzare un sistema come GPT-2.
La decisione di OpenAI
Il rovescio della medaglia è troppo rischioso da sopportare: questa la conclusione a cui sono arrivati i ricercatori. Per questo motivo hanno deciso di rilasciare una versione molto ridotta di GPT-2, con parti di codice di esempio. Inaccessibili invece il dataset, il codice di training e i pesi utilizzati nel modello. Dal blog si leggono queste parole:
“We are aware that some researchers have the technical capacity to reproduce and open source our results. We believe our release strategy limits the initial set of organizations who may choose to do this, and gives the AI community more time to have a discussion about the implications of such systems.”
La decisione dei ricercatori rimane, come detto da loro, un esperimento e una scelta di cui non sono ancora del tutto sicuri. Poi passano la palla alla community dell’IA e ai governi: ai primi concedono il beneficio del dubbio, dichiarandosi pressoché convinti della buona fede delle persone; ai secondi chiedono un’espansione delle iniziative di monitoraggio delle tecnologie di IA, e dell’impatto sociale che hanno.
