Écrire, coder, analyser, traduire, concevoir, chercher. Les machines font désormais chacune de ces choses plus vite et moins cher que la plupart des professionnels, et l'écart se resserre encore un peu tous les quelques mois. Quelle que soit la chose que vous savez bien faire, votre pronostic honnête à cinq ans inclut probablement un modèle qui la fait bien aussi.
Ce qui continue de ne pas figurer sur cette liste, c'est le jugement : décider si la chose que vous vous apprêtez à faire mérite d'être faite, tout court.
Les amplificateurs n'ont pas d'opinion
Un outil amplifie celui qui le tient. L'IA est le plus grand amplificateur jamais construit, et elle n'a aucune opinion sur la direction. Le même modèle qui rédige un projet de recherche contre le cancer rédigera une campagne de désinformation sans remarquer la différence. Pendant la majeure partie de l'histoire, cela comptait moins qu'aujourd'hui, parce que les mauvaises intentions étaient bridées par l'incompétence : causer de sérieux dégâts demandait de l'argent, du personnel, de l'expertise et du temps. Ce frein a presque entièrement disparu. Une seule personne avec un ordinateur portable peut opérer avec la portée d'une petite institution, ce qui veut dire que le genre de personne qui agit commence à compter davantage que ce dont elle est techniquement capable.
L'éthique n'est pas un trait de caractère
On a tendance à traiter l'éthique soit comme une ambiance, soit comme un règlement : on a de bonnes valeurs ou on n'en a pas, on a respecté le code de conduite ou on ne l'a pas respecté. Construire une plateforme d'évaluation autour de cette question précise m'a convaincu qu'elle n'est ni l'un ni l'autre. L'éthique se comporte comme une compétence. Elle a des composantes, les gens sont mesurablement meilleurs ou moins bons à chacune d'elles, et elles progressent avec la pratique.
La composante la plus sous-estimée est simplement de percevoir : enregistrer que la décision devant vous comporte, ne serait-ce qu'un peu, une dimension morale. La plupart des échecs éthiques ne se produisent pas au moment de choisir le mauvais camp. Ils se produisent plus tôt, quand quelqu'un optimise une métrique sans jamais remarquer qu'une personne se trouvait à l'intérieur. Les ingénieurs derrière le modèle expérimental de tri de CV d'Amazon ne se sont vraisemblablement jamais donné pour but de pénaliser les femmes ; le modèle l'a appris tout seul, à partir d'une décennie de données de recrutement de l'entreprise, et rétrogradait discrètement les CV qui mentionnaient des universités pour femmes ou des clubs d'échecs féminins. Amazon s'en est aperçu et a abandonné l'outil en 2018. Bien des équipes n'ont pas encore repéré le leur.
Après la perception vient la partie qui demande un vrai entraînement : raisonner quand deux biens s'affrontent. Les vrais dilemmes n'opposent presque jamais le bien au mal. Ils opposent la vitesse à la sécurité, la loyauté à l'honnêteté, ce trimestre à cette décennie, et les traverser sans se réfugier dans un slogan s'apprend comme s'apprend la négociation, c'est-à-dire surtout en s'y prenant mal quelques fois d'abord.
Vient ensuite le fait d'assumer ce que votre travail rend possible une fois qu'il vous a échappé. Tom Lehrer chantait déjà cela en 1965 : « une fois les fusées en l'air, qui se soucie de savoir où elles retombent ? Ce n'est pas mon rayon, dit Wernher von Braun. » Ce n'était déjà pas une grande défense à l'époque, et elle a mal vieilli.
Et enfin, la composante qui sépare vraiment les gens : agir quand cela vous coûte. Savoir quelle est la bonne décision ne coûte rien. Volkswagen employait des ingénieurs qui comprenaient exactement à quoi servait le dispositif de fraude aux émissions, et au moins l'un d'eux est allé en prison pour avoir malgré tout suivi le mouvement. Rien dans cet échec n'était un problème de connaissance.
Pourquoi l'IA élève les enjeux
Il y a d'abord l'échelle. Un recruteur biaisé lèse la poignée de personnes qui passent sur son bureau ; le même biais déployé dans un modèle prend la décision identique un million de fois avant le déjeuner. Les erreurs éthiques se faisaient autrefois au détail. Désormais, elles se font en gros.
Il y a aussi la vitesse. La législation et les tribunaux fonctionnent à l'échelle des années, le déploiement à l'échelle des semaines, et le lent processus externe qui finissait par vous rattraper ne suit plus. Si le garde-fou n'est pas intérieur, de plus en plus souvent il n'y en a pas.
Mais le plus corrosif, je crois, c'est la distance. Le cas que je ferais étudier à tout le monde, c'est l'affaire des allocations familiales aux Pays-Bas : un algorithme d'évaluation des risques de l'administration fiscale a signalé des dizaines de milliers de familles, de façon disproportionnée celles d'origine étrangère, comme fraudeuses aux aides sociales. Des familles ont reçu l'ordre de rembourser de l'argent qu'elles ne devaient pas. Certaines ont fait faillite, des enfants se sont retrouvés en famille d'accueil, et le gouvernement néerlandais a fini par démissionner à cause de cette affaire. Ce qui frappe, après coup, c'est que personne dans la chaîne n'avait le sentiment d'être celui qui l'avait fait. Une personne a rédigé une spécification, une autre a entraîné un système, une autre l'a déployé, des milliers d'agents ont suivi ce qu'il produisait. La responsabilité diluée, c'est ainsi que d'énormes torts sont commis par des gens qui, chacun, individuellement, ne faisaient que leur travail.
Le problème de la délégation
La réponse tentante consiste à intégrer l'éthique dans les systèmes eux-mêmes, avec des modèles alignés, des garde-fous et des couches de sécurité, et à cesser de s'inquiéter des humains. Ces garde-fous valent la peine d'être construits ; je m'y fie. Mais quelqu'un décide encore de ce qu'un modèle doit valoriser, des arbitrages qu'il opère et de ce qui compte comme un taux d'échec acceptable. Ce sont des jugements moraux, pris à l'avance, par des gens que vous ne rencontrerez jamais. Vous ne pouvez pas sous-traiter l'éthique à un système dont quelqu'un a dû spécifier l'éthique. Vous avez juste déplacé le jugement en amont, vous l'avez concentré dans moins de mains, et vous l'avez rendu plus difficile à voir.
Le problème plus discret, c'est l'atrophie. Une population qui cesse d'exercer son jugement moral parce qu'une machine s'en charge est une population qui, à terme, ne peut plus évaluer la machine. Les compétences s'effacent quand on ne les utilise pas ; je sais à peine encore poser une division. Pour la plupart des compétences, ce n'est pas grave. Celle-ci, je préférerais qu'on la garde.
Regardez qui gagne
Voici la partie inconfortable, et celle où je sais le moins quoi faire.
Regardez ce que les systèmes politiques sélectionnent en ce moment. Dans les démocraties comme dans les autocraties, ceux qui montent partagent un profil reconnaissable : l'aisance dans le mensonge, le confort dans la manipulation, la capacité à projeter de la certitude sur n'importe quel sujet, l'indifférence à se faire prendre. Je ne crois pas que les électeurs veuillent des menteurs. Je pense que c'est un effet de filtre. La politique moderne est un concours d'attention permanent, tout en diffusion incessante et en indignation virale, sans mémoire et sans sanction pour la contradiction, et ce concours est tout simplement plus facile à gagner quand on n'a aucun frein intérieur. Quelqu'un doté de véritables scrupules hésite, concède des points, refuse l'attaque facile. Chacune de ces choses est un désavantage compétitif, alors tour après tour, le filtre promeut ceux qui ne ressentent rien.
Confiez maintenant à cette catégorie de personnes une technologie qui fabrique de la persuasion à l'échelle industrielle. Avant la primaire du New Hampshire, en janvier 2024, des milliers d'électeurs ont reçu un appel automatisé, avec la voix clonée de Joe Biden, leur disant de rester chez eux. Le consultant derrière l'opération aurait payé 150 dollars à un magicien de rue pour générer l'audio. Le coût de production de la tromperie croissait autrefois avec sa portée ; ce n'est plus le cas.
Je n'ai pas de remède au problème de sélection, et je me méfie de quiconque prétend en avoir un. Il se situe en amont des individus, dans les incitations, la responsabilité et le fait que mentir ait ou non un coût, et changer cela est un travail lent et sans gloire. Ce qui est réellement à notre portée, pour la plupart d'entre nous, c'est l'autre bout de la chaîne : ce que nous construisons, ce que nous acceptons de cautionner, et ce que nous sommes prêts à dire tout haut dans les pièces où nous nous trouvons.
À quoi cela ressemble en pratique
Rien de tout cela ne ressemble à un séminaire de philosophie. En pratique, c'est une poignée d'habitudes sans gloire. Demandez-vous qui est affecté par ce que vous construisez, y compris les gens qui n'ont jamais donné leur accord. Partez du principe que votre travail finira un jour entre les mains de quelqu'un aux motivations pires que les vôtres, et concevez pour cette personne-là plutôt que pour vous. Dites la chose inconfortable en réunion tant que la dire coûte encore peu. Remarquez quand vous cherchez une justification plutôt qu'une raison, et traitez « tout le monde le fait » et « c'est techniquement légal » comme des signaux d'alarme, parce que c'est généralement ce qu'ils sont.
Je ne sais pas exactement de quoi la prochaine décennie sera faite, et j'ai cessé de faire confiance à ceux qui disent le savoir. Mais un pari me semble sûr. À mesure que la capacité devient bon marché et universelle, elle cesse d'être ce qui distingue qui que ce soit, et ce qui reste, c'est le jugement : est-ce que la personne qui tient tout ce levier sait distinguer ce qui est possible de ce qui mérite d'être fait, et est-ce qu'elle tiendra cette ligne quand cela lui coûtera quelque chose.