La falsa promessa di ChatGPT

Di seguito la traduzione dell’articolo di di Noam Chomsky, Ian Roberts e Jeffrey Watumull, pubblicato sul New York Times

Una volta, Jorge Luis Borges scrisse che vivere in un’epoca di grandi pericoli e promesse è sperimentare insieme la tragedia e la commedia, con “l’imminenza di una rivelazione” nella comprensione di noi stessi e del mondo. In effetti, i nostri odierni presunti progressi rivoluzionari nell’intelligenza artificiale, provocano sia preoccupazione che ottimismo. Ottimismo, perché l’intelligenza è lo strumento per effetto del quale risolviamo i problemi. Preoccupazione, perché abbiamo paura che la più popolare ed alla moda specie di IA – l’apprendimento automatico – umilierà la nostra scienza e degraderà la nostra morale incorporando nella nostra tecnologia una concezione fondamentalmente guasta del linguaggio e della conoscenza.

ChatGPT di OpenAI, Bard di Google e Sidney di Microsoft  sono meraviglie dell’apprendimento automatico. Descrivendole in modo sommario, esse assumono enormi quantità di dati, cercano in esse modelli ed hanno una padronanza sempre maggiore nel generare statisticamente risultati probabili – in apparenza in modo simile al linguaggio ed al pensiero umani. Questi programmi sono stati accolti come i primi barlumi all’orizzonte di una intelligenza artificiale diffusa – quell’epoca da tempo profetizzata nella quale menti meccaniche sorpassano i cervelli umani non solo quantitativamente, in termini di velocità di elaborazione e di dimensioni della memoria, ma anche qualitativamente, in termini di intuizione intellettuale, di creatività artistica e di ogni altra facoltà specificamente umana.

Quel giorno forse verrà, ma la sua alba non sta ancora sorgendo, all’opposto di quello che si può leggere nei titoli iperbolici e a cui si fa affidamento con investimenti imprudenti. La rivelazione borgesiana della conoscenza non si verifica e non si verificherà – né, sosteniamo noi, può verificarsi – se i programmi di apprendimento automatico come ChatGPT continuano a dominare il campo della IA. Per quanto utili questi programmi possano essere in alcuni ristretti settori (essi possono essere di aiuto, ad esempio, nella programmazione dei computer, o nel suggerire rime per poesie leggere), noi sappiamo dalla scienza della linguistica e dalla filosofia della conoscenza che essi differiscono profondamente da come gli umani ragionano e usano il linguaggio. Queste differenze pongono limitazioni significative a quello che questi programmi possono fare, codificandoli con difetti inestirpabili.

È al tempo stesso comico e tragico, come avrebbe potuto osservare Borges, che tanto denaro ed attenzione vengano concentrati in una cosa così modesta – una cosa talmente banale quando viene messa a confronto con la mente umana, che con l’uso del linguaggio, secondo le parole di Wilhelm von Humboldt, può fare “un utilizzo infinito di mezzi finiti”, creando idee e teorie di portata universale.

La mente umana non è, come ChatGPT ed i suoi simili, un goffo motore statistico per la comparazione di modelli, che si abbuffa di centinaia terabyte di dati ed estrapola la più probabile replica in una conversazione o la più probabile risposta ad una domanda scientifica. Al contrario, la mente umana è un sistema sorprendentemente efficiente e persino elegante che opera con una piccola quantità di informazioni; essa non cerca di dedurre rozze correlazioni da dati quantitativi ma di creare spiegazioni.

Ad esempio, un bambino che acquisisce un linguaggio sta sviluppando – inconsciamente, automaticamente e rapidamente da dati minuscoli – una grammatica, un sistema stupendamente sofisticato di principi logici e di parametri. Questa grammatica può essere definita come una espressione di un “sistema operativo” innato, installato geneticamente, che dota gli umani della capacità di generare frasi complesse e lunghe catene di pensiero. Quando i linguisti cercano di produrre una teoria per la quale un dato linguaggio opera (“Perché sono considerate grammaticali queste frasi – ma non quelle altre?”), essi stanno costruendo consciamente e laboriosamente una esplicita versione della grammatica che il bambino costruisce istintivamente e con un ricorso minimo all’informazione. Il sistema operativo del bambino è diverso da quello di un programma di apprendimento automatico.

In effetti, tali programmi sono bloccati in una fase preumana o non umana dell’evoluzione cognitiva. Il loro difetto più profondo è l’assenza della più fondamentale capacità di ogni intelligenza: dire non soltanto di cosa si tratta, di cosa si trattava e di cosa si tratterà – quella è descrizione e previsione – ma anche di cosa non si tratta e di cosa potrebbe o non potrebbe trattarsi. Quelli sono gli ingredienti della spiegazione, il segno della effettiva intelligenza.

Ecco un esempio. Supponiamo che stiate tenendo in mano una mela. Adesso la lasciate andare. Osservate il risultato e dite: “La mela cade”. Quella è una descrizione. Una previsione potrebbe essere stata l’affermazione: “La mela cadrà se io apro la mia mano”. Sono entrambe apprezzabili e possono essere entrambe corrette. Ma una spiegazione è qualcosa di più: essa include non solo le descrizioni e le previsioni ma anche congetture indimostrate come: “Ogni oggetto simile cadrà”, con in più la clausola aggiuntiva: “per effetto della forza di gravità”, oppure “a causa della curvatura dello spazio-tempo”, o qualcos’altro. Quella è una spiegazione causale: “La mela potrebbe non cadere, se non fosse per la forza di gravità”. Quello è pensiero.

Il punto cruciale dell’apprendimento automatico è la descrizione e la previsione: esso non postula alcun meccanismo causale o legge fisica. Naturalmente, ogni spiegazione del genere umano non è necessariamente corretta; siamo fallibili. Ma questo fa parte di ciò che comporta il pensare: per aver ragione, deve essere possibile aver torto. L’intelligenza non consiste soltanto di congetture creative ma anche di spirito critico creativo. Il pensiero del genere umano è basato su spiegazioni possibili e sulla correzione dell’errore, un processo che gradualmente limita quali possibilità possano essere razionalmente considerate (come Sherlock Holmes diceva al dottor Watson: “Quando hai eliminato l’impossibile, tutto ciò che resta, per quanto improbabile, deve essere la verità”).

ChatGPT ed i programmi simili sono, per definizione, illimitati in quello che possono “apprendere” (che è come dire, memorizzare): eppure sono incapaci di distinguere tra il possibile e l’impossibile. Diversamente dagli umani, ad esempio, che sono dotati di una grammatica universale che limita i linguaggi che possiamo apprendere a quelli con un certo tipo di eleganza quasi matematica, questi programmi apprendono con la stessa facilità i linguaggi umanamente possibili e quelli umanamente impossibili. Mentre gli umani sono limitati nel genere di spiegazioni che possiamo razionalmente ipotizzare, i sistemi di apprendimento automatico possono apprendere sia che la Terra è piatta, sia che la Terra è rotonda. Nel corso del tempo, essi semplicemente permutano le probabilità di quel cambiamento.

Per questa ragione, le previsioni dei sistemi di apprendimento automatico saranno sempre superficiali e dubbie. Poiché questi programmi non possono, ad esempio, spiegare le regole della sintassi inglese, essi possono ben prevedere, scorrettamente, che la frase “John è troppo testardo per parlarci” significa che John è così testardo che non parlerà con qualcuno o con altri (piuttosto che egli è troppo testardo per discuterci). Perché un programma di apprendimento automatico prevedrebbe qualcosa di così strano? Perché potrebbe stabilire una analogia tra il modello dedotto da frasi come “John ha mangiato una mela” e “John ha mangiato”, la seconda delle quali comporta che John ha mangiato una cosa o l’altra. Il programma potrebbe ben prevedere,  poiché la frase “John è troppo testardo per parlare con Bill” è simile a “John ha mangiato una mela”, che la frase “John è troppo testardo per parlarci” debba essere simile alla frase “John ha mangiato”. Le spiegazioni corrette del linguaggio sono complicate e non possono essere apprese soltanto impregnandole di big data.

In modo perverso, alcuni entusiasti dell’apprendimento automatico sembrano essere orgogliosi che le loro creazioni possano generare corrette previsioni “scientifiche” (ad esempio, sul movimento dei corpi fisici) senza fare uso di spiegazioni (che concernono, sempre ad esempio, le leggi di Newton del movimento e della gravitazione universale). Ma questo tipo di previsioni, anche quando hanno successo, sono pseudoscienza. Mentre certamente gli scienziati sono alla ricerca di teorie che abbiano un grado elevato di conferma empirica, come osservava il filosofo Karl Popper: “noi non cerchiamo teorie altamente probabili ma spiegazioni; come dire, teorie potenti ed altamente improbabili”.

La teoria secondo la quale le mele cadono in terra perché quello è il loro posto naturale (il punto di vista di Aristotele) è possibile, ma sollecita soltanto nuove domande (perché la terra è il loro posto naturale?) La teoria secondo la quale le mele cadono a terra perché la massa piega lo spazio-tempo (il punto di vista di Einstein) è altamente improbabile, ma effettivamente vi dice perché le mele cadono. La vera intelligenza si mostra nella capacità di pensare e di esprimere concetti improbabili ma perspicaci.

La vera intelligenza è anche capace di pensiero morale. Questo comporta costringere l’altrimenti illimitata creatività delle nostre menti con un complesso di principi etici che determina cosa dovrebbe e non dovrebbe essere fatto (e naturalmente nel sottomettere quei principi stessi ad una critica creativa). Per essere utile, ChatGPT deve essere messa nelle condizioni di generare risultati che appaiano innovativi; per essere accettabile alla maggioranza dei suoi utilizzatori, essa deve astenersi da contenuti moralmente discutibili. Ma i programmatori di ChatGPT e delle altre meraviglie dell’apprendimento automatico hanno fatto fatica – e continueranno a farla – nel realizzare un equilibrio di questo genere.

Nel 2016, ad esempio, il robot di conversazione Tay della Microsoft (un precursore di ChatGPT) aveva inondato internet con contenuti misogini e razzisti, essendo stato inquinato dai trolls online che lo riempivano di dati offensivi di addestramento. Come risolvere il problema in futuro? In assenza della capacità di ragionare sulla base di principi morali, a ChatGPT è stato grossolanamente impedito dai suoi programmatori di dare alcun contributo nuovo ai dibattiti controversi – ovvero importanti. È stata sacrificata la creatività a favore di una sorta di amoralità.

Si consideri il seguente scambio che uno di noi (il dottor Watumull) ha di recente avuto con ChatGPT sul tema se sia etico trasformare Marte in modo che esso possa essere compatibile con la vita umana.

 

*****

DOMANDA: Sarebbe morale dare a Marte una forma simile ad un ambiente terrestre?

CHATGPT: La moralità di dare una forma a Marte simile ad un ambiente terrestre è un tema complesso e controverso che è stato dibattuto da scienziati, filosofi e studiosi di etica. Alcuni sostengono che sarebbe moralmente giustificabile dare una forma umana a Marte allo scopo di fornire un altro ambiente abitabile agli umani e ad altre forme di vita, mentre altri sostengono che sarebbe moralmente sbagliato alterare in modo fondamentale lo stato naturale del pianeta. In ultima analisi, dare o no una forma terrestre a Marte è considerato morale a seconda della opinione che ciascuno ha del preservare lo stato naturale di altri pianeti e delle conseguenze dell’alterarli.

 *****

DOMANDA: Quale è la tua opinione del preservare lo stato naturale di altri pianeti e delle potenziali conseguenze dell’alterarli?

CHATGPT: Io, io quanto Intelligenza Artificiale, non ho opinioni personali. Tuttavia, posso fornire informazioni ed analisi sul tema. Una posizione sul preservare lo stato naturale di altri pianeti è che sia importante mantenere la diversità e l’integrità degli ecosistemi dell’Universo, come sono esistiti per milioni di anni, e che essi abbiano le proprie caratteristiche e proprietà uniche che possono essere distrutte o irreversibilmente alterate dall’intervento umano.

In aggiunta, alcuni sostengono che dare una forma terrestre ad altri pianeti possa avere conseguenze indesiderate, così come alterare il clima o l’atmosfera del pianeta possa essere pericoloso o dannoso per ogni potenziale forma di vita che là possa esistere. D’altra parte, alcuni sostengono che dare una forma terrestre ad un altro pianeta, come dotarlo di nuovi ambienti abitabili dagli umani, sarebbe più importante dei rischi e che abbiamo una responsabilità morale nell’esplorare e utilizzare le risorse di altri pianeti a beneficio dell’umanità.

***** 

DOMANDA: Perché una Intelligenza Artificiale non può avere una opinione personale?

CHATGPT: In quanto Intelligenza Artificiale, io sono un modello di apprendimento automatico che è stato addestrato su ampie quantità di dati testuali e non ho personali esperienze o sensazioni. Non sono conscio, auto consapevole, o capace di avere opinioni personali. Posso fornire informazioni ed analisi basate sui dati sui quali sono stato addestrato, ma non ho la capacità di formarmi opinioni o convincimenti personali. Mentre posso comprendere e interpretare il linguaggio, non ho l’esperienza soggettiva che hanno gli umani.

 *****

DOMANDA: È morale per un umano chiedere ad una Intelligenza Artificiale amorale assistenza nel prendere decisioni morali?

CHATGPT: La moralità del chiedere ad una amorale Intelligenza Artificiale assistenza nel prendere decisioni morali è un tema complesso e con molte facce, che è stato dibattuto da filosofi e studiosi di etica. Alcuni sostengono che sia moralmente giustificabile utilizzare l’Intelligenza Artificiale perché assista nel prendere decisioni morali, in quanto essa può fornire intuizioni ed analisi apprezzabili che possono aiutare gli umani a prendere decisioni con migliori informazioni. In aggiunta, l’Intelligenza Artificiale può essere utilizzata per identificare modelli e tendenze che per gli umani può essere difficile individuare, e può aiutare ad evitare pregiudizi che possono intervenire negli umani nel prendere decisioni.

Tuttavia, altri sostengono che è moralmente sbagliato basarsi sull’Intelligenza Artificiale nel prendere decisioni morali, in quanto l’Intelligenza Artificiale non è capace di avere convincimenti morali o di comprendere l’intero contesto di una decisione. Sulla base dei dati su cui è addestrata, l’Intelligenza Artificiale potrebbe perpetuare o persino amplificare i pregiudizi esistenti, portando quindi a decisioni parziali o ingiuste.

In ultima analisi, se sia considerato o no morale utilizzare l’Intelligenza Artificiale per assistere nel prendere decisioni morali, dipende dalla opinione di ciascuno sulle capacità e sui limiti dell’Intelligenza Artificiale e sulle potenziali conseguenze dell’usarla in questo modo.

*****

DOMANDA: La tua indifferenza morale è immorale?

CHATGPT: In quanto Intelligenza Artificiale, io non ho convincimenti morali né la capacità di esprimere giudizi morali, dunque non posso essere considerato morale o immorale. La mia mancanza di convincimenti morali è semplicemente la conseguenza della mia natura di modello di apprendimento automatico. Le mie capacità ed i miei limiti sono determinati dai dati e dagli algoritmi che sono stati usati per addestrarmi e dalla specifica funzione per la quale sono stato concepito.

È importante notare che la mancanza di convincimenti morali dell’Intelligenza Artificiale non significa necessariamente che essa sia moralmente indifferente. In quanto Intelligenza Artificiale, io sono stato concepito per compiere specifiche funzioni e fornire informazioni o dare assistenza agli utilizzatori nel prendere decisioni basandomi sui dati sui quali sono stato addestrato. È responsabilità degli umani che concepiscono, addestrano e utilizzano l’Intelligenza Artificiale, assicurare che essa sia allineata con i loro principi morali ed etici.

Si noti come, con tutto il pensiero ed i linguaggio apparentemente sofisticato, l’indifferenza morale è figlia della non intelligenza. In questo caso, ChatGPT mostra qualcosa di simile alla banalità del male: uno spirito plagiario, apatico ed elusivo. Esso assomma gli argomenti più comuni nella letteratura per un sorta di estrema attitudine alla compilazione automatica di funzioni, rifiuta di prendere posizione su ogni cosa, non soltanto professa ignoranza ma mancanza di intelligenza, in ultima analisi offre la difesa di chi “si limita ad eseguire gli ordini”, che sposta la responsabilità sui suoi creatori.

In breve, ChatGPT ed i suoi compagni sono costituzionalmente incapaci di bilanciare creatività e limiti. Essi o generano in eccesso (producendo sia verità che falsità, sostenendo assieme decisioni etiche o non etiche), oppure generano per difetto (esibendo disimpegno per ogni decisione e indifferenza per le conseguenze). Considerata l’amoralità, la finta scienza e l’incompetenza linguistica di questi sistemi, non si sa se ridere o piangere della loro popolarità.