Scrittura, programmazione, analisi, traduzione, design, ricerca. Le macchine oggi fanno ciascuna di queste cose più in fretta e a costo minore della maggior parte dei professionisti, e il divario si riduce un po' di più ogni pochi mesi. Qualunque sia la cosa in cui sei bravo, un pronostico onesto a cinque anni probabilmente include un modello che è bravo anche lui.
La cosa che continua a non comparire in quell'elenco è il giudizio: decidere se ciò che stai per fare vada fatto, prima ancora di come.
Gli amplificatori non hanno opinioni
Uno strumento amplifica chiunque lo impugni. L'IA è il più grande amplificatore mai costruito, e non ha opinioni sulla direzione. Lo stesso modello che redige una proposta di ricerca contro il cancro redige una campagna di disinformazione senza notare la differenza. Per gran parte della storia questo contava meno di oggi, perché le cattive intenzioni erano frenate dall'incompetenza: fare danni seri richiedeva soldi, personale, competenze e tempo. Quel freno è quasi del tutto saltato. Una sola persona con un portatile può operare con la portata di una piccola istituzione, il che significa che il tipo di persona che agisce comincia a contare più di ciò di cui è tecnicamente capace.
L'etica non è un tratto di carattere
Si tende a trattare l'etica come un'atmosfera o come un manuale di regole: o hai buoni valori o non li hai, o hai rispettato il codice di condotta oppure no. Costruire una piattaforma di valutazione proprio attorno a questa domanda mi ha convinto che non è né l'una né l'altra cosa. L'etica si comporta come una competenza. Ha dei componenti, le persone sono misurabilmente più o meno brave in ciascuno di essi, e migliorano con la pratica.
Il componente più sottovalutato è semplicemente accorgersene: registrare che la decisione che hai davanti ha una dimensione morale, punto. La maggior parte dei fallimenti etici non avviene nel momento della scelta sbagliata. Avviene prima, quando qualcuno ottimizza una metrica senza mai registrare che dentro quella metrica c'era una persona. Gli ingegneri dietro il modello sperimentale di Amazon per lo screening dei CV presumibilmente non si erano mai proposti di penalizzare le donne; il modello lo ha imparato da solo da un decennio di dati di assunzione dell'azienda, e declassava in silenzio i curriculum che menzionavano college femminili o club di scacchi femminili. Amazon se ne è accorta e ha rottamato lo strumento nel 2018. Parecchi team il loro non l'hanno ancora scoperto.
Dopo l'accorgersi viene la parte che richiede vero esercizio: ragionare quando due beni entrano in conflitto. I dilemmi autentici raramente sono bene contro male. Sono velocità contro sicurezza, lealtà contro sincerità, questo trimestre contro questo decennio, e attraversarli senza ridursi a uno slogan si impara come si impara a negoziare: per lo più facendolo male qualche volta, all'inizio.
Poi c'è il farsi carico di ciò che il tuo lavoro rende possibile dopo che ti è uscito di mano. Tom Lehrer lo cantava già nel 1965: 'una volta che i razzi sono su, chi se ne importa di dove ricadono? Non è il mio reparto, dice Wernher von Braun'. Non era una gran difesa allora, ed è invecchiata male.
E infine il componente che separa davvero le persone: agire quando ti costa. Sapere qual è la scelta giusta costa poco. Volkswagen aveva ingegneri che capivano esattamente a cosa servisse il dispositivo per truccare le emissioni, e almeno uno di loro è finito in prigione per essere stato al gioco comunque. Niente, in quel fallimento, era un problema di conoscenza.
Perché l'IA alza la posta
In parte è questione di scala. Un responsabile delle assunzioni con dei pregiudizi danneggia la manciata di persone che gli passa sulla scrivania; lo stesso pregiudizio incorporato in un modello prende la decisione identica un milione di volte prima di pranzo. Gli errori etici erano al dettaglio. Ora sono all'ingrosso.
In parte è questione di velocità. Leggi e tribunali vanno ad anni, il rilascio va a settimane, e il lento processo esterno che prima o poi ti raggiungeva ha smesso di stare al passo. Se il controllo non è interno, sempre più spesso non c'è.
Ma la parte più corrosiva, credo, è la distanza. Il caso che farei studiare a tutti è lo scandalo dei sussidi per l'infanzia nei Paesi Bassi: un algoritmo di rischio dell'agenzia delle entrate segnalò decine di migliaia di famiglie, in modo sproporzionato quelle di origine straniera, come truffatrici del welfare. A quelle famiglie fu ordinato di restituire soldi che non dovevano. Alcune finirono in bancarotta, dei bambini finirono in affido, e il governo olandese alla fine si dimise per questo. La cosa impressionante, a cose fatte, fu che nessuno lungo la catena si sentiva la persona che l'aveva fatto. Uno aveva scritto una specifica, un altro aveva addestrato un sistema, un altro l'aveva messo in produzione, migliaia di funzionari ne avevano seguito l'output. La responsabilità diffusa è il modo in cui danni enormi vengono compiuti da persone che stavano, ciascuna, semplicemente facendo il proprio lavoro.
Il problema della delega
La risposta allettante è incorporare l'etica nei sistemi stessi, con modelli allineati, guardrail e livelli di sicurezza, e smettere di preoccuparsi degli umani. I guardrail vale la pena costruirli; io ci faccio affidamento. Ma qualcuno decide comunque cosa un modello debba valorizzare, quali compromessi accetti e cosa conti come tasso di errore accettabile. Sono giudizi morali, presi in anticipo, da persone che non incontrerai mai. Non puoi esternalizzare l'etica a un sistema la cui etica qualcuno ha dovuto specificare. Hai solo spostato il giudizio a monte, concentrato in meno mani, e reso più difficile da vedere.
Il problema più silenzioso è l'atrofia. Una popolazione che smette di esercitare il giudizio morale perché ci pensa una macchina è una popolazione che a un certo punto non sa più valutare la macchina. Le competenze sbiadiscono se non le usi; io ormai le divisioni in colonna le faccio a malapena. Per la maggior parte delle competenze va bene così. Questa preferirei che ce la tenessimo.
Guarda chi sta vincendo
E qui arriva la parte scomoda, quella su cui so meno cosa fare.
Guarda cosa selezionano oggi i sistemi politici. Nelle democrazie come nelle autocrazie, le persone in ascesa condividono un profilo riconoscibile: disinvolte nel mentire, a proprio agio con la manipolazione, capaci di proiettare certezza su qualsiasi cosa, indifferenti a essere colte in fallo. Non credo che gli elettori vogliano bugiardi. Credo sia un effetto filtro. La politica moderna è una gara permanente per l'attenzione, tutta trasmissione continua e indignazione virale, senza memoria e senza sanzione per la contraddizione, e quella gara è semplicemente più facile da vincere se non hai un freno interno. Una persona con scrupoli autentici esita, concede punti, rifiuta l'attacco a basso costo. Ognuna di queste cose è uno svantaggio competitivo, e così, giro dopo giro, il filtro promuove chi non prova nulla.
Ora consegna a quella categoria di persone una tecnologia che fabbrica persuasione su scala industriale. Prima delle primarie del New Hampshire, nel gennaio 2024, migliaia di elettori ricevettero una robocall con la voce clonata di Joe Biden che diceva loro di restare a casa. Il consulente dietro l'operazione avrebbe pagato 150 dollari a un mago di strada per generare l'audio. Il costo di produrre un inganno un tempo cresceva con la sua portata; non è più così.
Non ho una soluzione per il problema della selezione, e diffido di chiunque sostenga di averla. Sta a monte dei singoli individui, negli incentivi, nella responsabilità, nel fatto che mentire abbia o meno un costo, e cambiare tutto questo è un lavoro lento e senza gloria. Ciò che è davvero alla portata della maggior parte di noi è l'altro capo della filiera: cosa costruiamo, a cosa stiamo al gioco, e cosa siamo disposti a dire ad alta voce nelle stanze in cui ci troviamo.
Come si traduce nella pratica
Niente di tutto questo assomiglia a un seminario di filosofia. In pratica è una manciata di abitudini senza gloria. Chiediti chi viene toccato da ciò che stai costruendo, comprese le persone che non hanno mai dato il proprio consenso. Dai per scontato che il tuo lavoro prima o poi arriverà a qualcuno con motivazioni peggiori delle tue, e progetta per quella persona, non per te. Di' la cosa scomoda in riunione mentre dirla costa ancora poco. Accorgiti di quando stai cercando una giustificazione invece di una ragione, e tratta 'lo fanno tutti' e 'tecnicamente è legale' come segnali d'allarme, perché di solito è quello che sono.
Non so esattamente come andrà a finire il prossimo decennio, e ho smesso di fidarmi di chi dice di saperlo. Ma una scommessa sembra sicura. Man mano che la capacità diventa economica e universale, smette di essere ciò che distingue qualcuno, e quello che resta è il giudizio: se la persona che impugna tutta quella leva sa distinguere ciò che è possibile da ciò che vale la pena fare, e se terrà il punto quando le costerà qualcosa.