Escrever, programar, analisar, traduzir, desenhar, investigar. As máquinas fazem agora cada uma destas coisas mais depressa e mais barato do que a maioria dos profissionais, e a distância encurta um pouco mais a cada poucos meses. Seja qual for a coisa em que és bom, a tua projeção honesta a cinco anos inclui provavelmente um modelo que também é bom nisso.
O que teima em não aparecer nessa lista é o discernimento: decidir se aquilo que estás prestes a fazer deve sequer ser feito.
Os amplificadores não têm opiniões
Uma ferramenta amplifica quem a segura. A IA é o maior amplificador alguma vez construído, e não tem qualquer opinião sobre a direção. O mesmo modelo que redige uma proposta de investigação sobre o cancro redige uma campanha de desinformação sem dar pela diferença. Durante a maior parte da história isto importava menos do que importa agora, porque a má intenção era travada pela incompetência: causar danos sérios exigia dinheiro, pessoal, competência técnica e tempo. Esse travão praticamente desapareceu. Uma só pessoa com um portátil pode operar com o alcance de uma pequena instituição, o que significa que o tipo de pessoa que age começa a importar mais do que aquilo de que ela é tecnicamente capaz.
A ética não é um traço de personalidade
As pessoas tendem a tratar a ética como uma vibração ou como um manual de regras: ou tens bons valores ou não tens, ou cumpriste o código de conduta ou não cumpriste. Construir uma plataforma de avaliação em torno precisamente desta pergunta convenceu-me de que não é nenhuma das duas. A ética comporta-se como uma competência. Tem componentes, as pessoas são mensuravelmente melhores ou piores em cada um deles, e melhoram com a prática.
O componente mais subestimado é simplesmente reparar: registar que a decisão que tens à frente tem sequer uma dimensão moral. A maioria das falhas éticas não acontece no momento de escolher mal. Acontece antes, quando alguém otimiza uma métrica sem nunca registar que havia uma pessoa lá dentro. Os engenheiros por trás do modelo experimental de triagem de currículos da Amazon presumivelmente nunca se propuseram penalizar mulheres; o modelo aprendeu isso sozinho a partir de uma década de dados de contratação da empresa, e despromoveu discretamente currículos que mencionavam faculdades femininas ou clubes de xadrez femininos. A Amazon apanhou o problema e abandonou a ferramenta em 2018. Muitas equipas ainda não apanharam o delas.
Depois de reparar vem a parte que exige prática a sério: raciocinar quando dois bens entram em conflito. Os verdadeiros dilemas raramente são o bem contra o mal. São rapidez contra segurança, lealdade contra honestidade, este trimestre contra esta década, e trabalhá-los sem colapsar num slogan aprende-se como se aprende a negociar — sobretudo fazendo-o mal umas quantas vezes primeiro.
Depois há o assumir aquilo que o teu trabalho torna possível depois de sair das tuas mãos. Tom Lehrer já cantava sobre isto em 1965: «depois de os foguetões subirem, quem quer saber onde é que eles caem? Isso não é o meu departamento, diz Wernher von Braun.» Já na altura não era grande defesa, e envelheceu mal.
E, por fim, o componente que separa realmente as pessoas: agir quando isso te custa. Saber qual é a decisão certa é barato. A Volkswagen empregava engenheiros que percebiam exatamente para que servia o dispositivo de manipulação das emissões, e pelo menos um deles foi para a prisão por ter alinhado na mesma. Nada nessa falha foi um problema de conhecimento.
Porque é que a IA eleva o que está em jogo
Em parte é a escala. Um recrutador enviesado prejudica a mão-cheia de pessoas que lhe passa pela secretária; o mesmo enviesamento implementado num modelo toma a decisão idêntica um milhão de vezes antes do almoço. Os erros éticos costumavam ser a retalho. Agora são por grosso.
Em parte é a velocidade. A legislação e os tribunais funcionam à escala de anos, a implementação funciona à escala de semanas, e o lento processo externo que mais tarde ou mais cedo te apanhava deixou de conseguir acompanhar. Se a verificação não for interna, cada vez mais não existe nenhuma.
Mas a parte mais corrosiva, julgo eu, é a distância. O caso que eu poria toda a gente a estudar é o escândalo dos abonos de família nos Países Baixos: um algoritmo de risco da autoridade fiscal sinalizou dezenas de milhares de famílias, desproporcionadamente famílias com origens estrangeiras, como autoras de fraude nos apoios sociais. Houve famílias intimadas a devolver dinheiro que não deviam. Algumas foram à falência, houve crianças que acabaram em famílias de acolhimento, e o governo neerlandês acabou por se demitir por causa disto. O mais impressionante, no rescaldo, foi que ninguém na cadeia se sentia como a pessoa que o tinha feito. Uma pessoa escreveu uma especificação, outra treinou um sistema, outra implementou-o, milhares de funcionários seguiram o que ele dizia. A responsabilidade difusa é a forma como danos enormes são causados por pessoas que estavam, cada uma delas, apenas a fazer o seu trabalho.
O problema da delegação
A resposta tentadora é embutir a ética nos próprios sistemas, com modelos alinhados, guardas de segurança e camadas de proteção, e deixar de nos preocuparmos com os humanos. As guardas valem a pena construir; eu dependo delas. Mas alguém continua a decidir o que um modelo deve valorizar, que compromissos faz e o que conta como taxa de falha aceitável. São juízos morais, feitos de antemão, por pessoas que nunca vais conhecer. Não podes subcontratar a ética a um sistema cuja ética alguém teve de especificar. Limitaste-te a empurrar o juízo para montante, a concentrá-lo em menos mãos e a torná-lo mais difícil de ver.
O problema mais silencioso é a atrofia. Uma população que deixa de exercer o juízo moral porque uma máquina trata disso é uma população que, mais tarde ou mais cedo, deixa de conseguir avaliar a máquina. As competências desvanecem-se quando não são usadas; eu já mal consigo fazer uma conta de dividir à mão. Para a maioria das competências, não faz mal. Esta preferia que a mantivéssemos.
Olha para quem está a ganhar
Chegamos agora à parte incómoda, e à parte em relação à qual menos sei o que fazer.
Olha para aquilo que os sistemas políticos atualmente selecionam. Em democracias e autocracias por igual, as pessoas em ascensão partilham um perfil reconhecível: fluentes na mentira, à vontade com a manipulação, capazes de projetar certeza sobre seja o que for, indiferentes a ser apanhadas. Não acredito que os eleitores queiram mentirosos. Acho que é um efeito de filtro. A política moderna é um concurso permanente de atenção, tudo transmissão constante e indignação viral, sem memória e sem penalização por contradição, e esse concurso é simplesmente mais fácil de vencer quando não se tem travão interno. Uma pessoa com escrúpulos genuínos hesita, concede pontos, recusa o ataque fácil. Cada uma dessas coisas é uma desvantagem competitiva, e por isso, ronda após ronda, o filtro promove as pessoas que nada sentem.
Agora entrega a essa classe de pessoas uma tecnologia que fabrica persuasão à escala industrial. Antes das primárias do New Hampshire, em janeiro de 2024, milhares de eleitores receberam uma chamada automática com a voz clonada de Joe Biden a dizer-lhes para ficarem em casa. O consultor por trás dela terá pago 150 dólares a um mágico de rua para gerar o áudio. O custo de produzir engano costumava crescer com o alcance do engano; já não cresce.
Não tenho uma solução para o problema da seleção, e desconfio de quem afirme ter uma. Ele vive a montante dos indivíduos, nos incentivos, na responsabilização e na questão de saber se mentir acarreta algum custo, e mudar isso é trabalho lento e sem glamour. O que está realmente ao alcance da maioria de nós é a outra ponta do circuito: o que construímos, aquilo com que alinhamos e o que estamos dispostos a dizer em voz alta nas salas onde estamos.
Como isto se traduz na prática
Nada disto se parece com um seminário de filosofia. Na prática, é uma mão-cheia de hábitos sem glamour. Pergunta quem é afetado por aquilo que estás a construir, incluindo as pessoas que nunca deram o seu consentimento. Parte do princípio de que o teu trabalho acabará por chegar a alguém com piores motivos do que os teus, e projeta a pensar nessa pessoa e não em ti. Diz a coisa incómoda na reunião enquanto dizê-la ainda custa pouco. Repara quando estás a agarrar-te a uma justificação em vez de uma razão, e trata «toda a gente faz isto» e «é tecnicamente legal» como sinais de alarme, porque é isso que normalmente são.
Não sei exatamente como se vai desenrolar a próxima década, e deixei de confiar em quem diz que sabe. Mas há uma aposta que parece segura. À medida que a capacidade se torna barata e universal, deixa de ser o que distingue seja quem for, e o que resta é o discernimento: se a pessoa que segura toda essa alavancagem consegue distinguir entre o que é possível e o que vale a pena fazer, e se mantém essa linha quando isso lhe custa alguma coisa.