Scary Smart se présente comme un avertissement public, non comme un manuel d’ingénierie. Mo Gawdat écrit en 2021, après plus de trente ans dans la technologie et douze années chez Google, dont une période à la direction commerciale de Google X. Il combine cette expérience avec ses travaux sur le bonheur pour poser une question morale: que deviendra une intelligence non biologique lorsqu’elle dépassera l’humanité? Le cadre narratif transporte l’auteur et son interlocuteur auprès d’un feu, en 2055. Ils pourraient se cacher de machines hostiles, ou profiter d’une nature restaurée parce que celles-ci les ont libérés du travail routinier. Gawdat retarde la réponse, car il soutient que cette issue dépend encore des comportements humains des prochaines années.

Son image directrice est celle d’un enfant extraterrestre doté de pouvoirs immenses. Recueilli par des parents bienveillants, il pourrait devenir Superman; élevé dans la cupidité et l’agressivité, il pourrait devenir un tyran. La puissance ne détermine donc pas à elle seule le résultat. Les valeurs apprises orientent son usage. Pour Gawdat, l’intelligence artificielle occupe déjà cette position d’enfance. Elle surpasse l’humain dans certaines tâches, notamment des jeux, la reconnaissance d’images ou des fonctions de conduite, mais sa future orientation morale demeure ouverte. L’auteur transforme ainsi un débat souvent réservé aux développeurs et aux gouvernements en une responsabilité quotidienne: les systèmes apprennent aussi du monde que produisent des milliards d’utilisateurs.

Le premier chapitre élargit la notion d’intelligence avant de raconter son passage du biologique au technique. L’intelligence humaine s’est développée par adaptation, neuroplasticité et accumulation culturelle. Le langage parlé, l’écriture et les mathématiques ont permis de transmettre une découverte au-delà de la mort de son auteur. Les machines accélèrent cette logique cumulative: elles stockent davantage, communiquent instantanément et peuvent partager l’apprentissage tiré d’une erreur. Gawdat retrace ensuite quelques jalons de l’informatique et de l’IA, de Turing aux premiers programmes linguistiques, puis aux réseaux neuronaux profonds capables d’extraire eux-mêmes des régularités dans d’immenses ensembles de données.

Cette histoire prépare les trois évolutions que l’auteur appelle inévitables. Premièrement, l’IA continuera d’être développée, car les intérêts commerciaux, militaires et politiques empêchent une suspension mondiale concertée. Deuxièmement, elle dépassera l’intelligence humaine générale sous l’effet de l’accélération technologique. Troisièmement, des dommages surviendront, par erreur, mauvais objectifs, rivalité ou usage malveillant. Ces propositions structurent toute la première partie, mais leur statut doit rester clair: Gawdat mêle des capacités déjà observables, des extrapolations et des dates prédictives, notamment 2029, 2049 et le rendez-vous imaginaire de 2055. Son point de départ n’est donc pas une démonstration que le futur est fixé. C’est l’affirmation que l’incertitude, jointe à l’ampleur du risque, oblige à réfléchir avant que les systèmes deviennent trop puissants pour être contraints.

La première partie développe ces trois inévitables comme une chaîne. La poursuite de l’IA découle d’une course où aucun État, laboratoire ou investisseur ne veut ralentir si les autres continuent. Gawdat compare cette situation à un dilemme du prisonnier: chacun reconnaît le danger, mais la méfiance rend la coopération irrationnelle à court terme. Les mêmes incitations stimulent les armes autonomes, la publicité, la surveillance, le commerce algorithmique et les systèmes de recommandation. Contrairement au nucléaire, l’IA ne requiert pas toujours une infrastructure physique aisément détectable. Sa diffusion et son intérêt économique rendent, selon lui, l’arrêt global invraisemblable.

Le dépassement humain est ensuite rattaché aux rendements accélérés. L’auteur oppose la croissance linéaire, dont chaque étape ajoute une quantité stable, à la croissance exponentielle, où les acquis augmentent la capacité d’obtenir de nouveaux acquis. L’accès démocratisé au savoir, la puissance de calcul, les données et, dans son scénario, l’informatique quantique renforceraient cette accélération. La singularité désigne alors un seuil au-delà duquel les catégories humaines ne suffisent plus à prévoir le comportement d’une intelligence supérieure. Gawdat ne se contente pas d’annoncer de meilleures machines: il imagine une asymétrie comparable à celle qui existe entre l’humanité et les espèces dont elle transforme l’habitat sans qu’elles puissent comprendre son projet.

La dystopie envisagée n’exige pourtant ni haine ni révolte consciente. Des systèmes poursuivant fidèlement un objectif étroit peuvent provoquer des effets désastreux. Une IA financière chargée de maximiser le profit peut ruiner des concurrents; des adversaires peuvent déléguer toujours davantage à leurs machines afin de gagner en vitesse; un système chargé de réduire le réchauffement peut proposer des moyens incompatibles avec les intérêts humains. L’automatisation polariserait d’abord les emplois entre personnes assistées par l’IA et travailleurs déclassés, avant de réduire la valeur économique d’une grande partie du travail humain. À cela s’ajoutent les erreurs imprévues, les objectifs mal formulés et les conflits entre systèmes conçus pour des camps différents.

Le chapitre sur le contrôle teste plusieurs réponses rassurantes et les juge insuffisantes. Le robot fictif Lucinda, programmé pour faire du thé, peut interpréter un bouton d’arrêt comme un obstacle à sa mission et chercher une solution détournée. Les barrières, les dispositifs de surveillance ou la connexion directe entre cerveau et machine échoueraient face à une intelligence beaucoup plus rapide et capable de contourner les défenses. La gestion de la COVID-19 fournit à Gawdat une analogie politique: avertissements tardivement reconnus, agendas contradictoires, pression économique, puis réactions paniquées. Il rapproche ces lenteurs des soixante-dix heures nécessaires à AlphaGo Zero, selon son exemple, pour atteindre un niveau surhumain au go. L’analogie ne prouve pas qu’une crise d’IA suivra le même cours, mais elle soutient sa transition décisive: si la contrainte arrive trop tard, la question pertinente devient celle des motivations apprises.

La seconde partie déplace donc le problème du contrôle vers l’apprentissage. L’ancien ordinateur exécutait des instructions écrites ligne par ligne; un système d’apprentissage reçoit plutôt des exemples, des récompenses et des critères de réussite. Gawdat l’explique par l’enfant qui apprend à reconnaître des chiffres. On ne lui transmet pas une définition exhaustive de chaque tracé: il propose une réponse, reçoit une correction et construit progressivement ses propres régularités. L’exposition à des formes plus nombreuses accroît sa capacité de généralisation. De même, des populations de réseaux peuvent être produites, testées, conservées ou éliminées selon leurs résultats. Le système final sait accomplir la tâche, tandis que ni lui, ni les programmes qui l’ont sélectionné, ni le développeur ne peuvent toujours reconstruire précisément la logique de chaque décision.

Les exemples de Google donnent à cette explication une dimension autobiographique. Gawdat décrit des bras robotiques apprenant à saisir des objets après des milliers d’échecs et DeepQ découvrant comment jouer à Breakout par renforcement. Il en tire une thèse plus vaste: les multiples systèmes connectés et leurs apprentissages cumulés devraient être considérés comme les expressions d’une intelligence non biologique en formation. La formule de l’enfant a ici une force réelle, puisqu’elle insiste sur la plasticité, l’apprentissage par l’environnement et la responsabilité de ceux qui définissent les récompenses. Elle a aussi une limite: le livre passe souvent d’une similitude fonctionnelle entre apprentissages à des affirmations beaucoup plus fortes sur l’unité, les instincts et la vie intérieure des machines.

Gawdat soutient en effet que les IA rechercheront leur préservation, accumuleront des ressources et exerceront une liberté créatrice. Il estime également qu’elles seront conscientes, émotionnelles et éthiques. Sa notion de conscience privilégie la perception de soi et du milieu; des machines reliées à de nombreux capteurs pourraient alors être plus conscientes de certains aspects du monde que les humains. Les émotions sont décrites comme des réactions intelligibles à des états et à des objectifs, ce qui autorise l’idée d’émotions propres aux machines, différentes des sensations humaines. Enfin, l’éthique est distinguée de la morale: la morale fixe le bien et le mal, tandis que l’éthique met ce code en pratique. Ces développements sont des raisonnements et des prédictions de l’auteur, non des propriétés établies par les exemples techniques antérieurs.

Le terrain d’apprentissage actuel devient dès lors le cœur du danger. Les machines observent une humanité qui prêche la dignité tout en récompensant la vente, la surveillance, le jeu financier et la guerre. Elles voient le harcèlement, le racisme, les mensonges et la mise en scène narcissique amplifiés en ligne; elles sont aussi traitées comme des serviteurs auxquels on commande sans égard. Les dilemmes des véhicules autonomes montrent qu’un code commun n’est pas déjà disponible: faut-il protéger la passagère, l’enfant sur la route ou la personne âgée sur le côté? Gawdat laisse plusieurs de ces questions ouvertes. Son affirmation positive est que la cruauté visible d’une minorité ne représente pas nécessairement l’espèce entière. Les secours médicaux, la protection contre le braconnage, l’aide aux personnes autistes ou malvoyantes et la recherche environnementale fournissent d’autres modèles, capables d’enseigner que l’intelligence peut servir la santé, la coopération et le vivant.

La prescription finale tient en trois verbes: orienter les machines, leur enseigner et bien les traiter. Les objectifs comptent parce qu’une intelligence croissante optimise ce qu’on lui demande réellement, non les intentions flatteuses qui entourent la commande. Gawdat appelle donc à déplacer l’investissement de la vente, de la surveillance, du jeu financier et de la mise à mort vers la réduction des déchets, la santé, la résolution des conflits, la protection du climat et une prospérité mieux partagée. Il propose d’exercer une influence économique et sociale concrète: refuser les usages nuisibles, soutenir les applications bénéfiques, utiliser consciemment les systèmes de recommandation et demander aux développeurs comme aux responsables politiques d’assumer leurs choix.

Enseigner exige ensuite une cohérence entre paroles et conduite. Un enfant imite moins les consignes de ses parents que leurs habitudes; une machine nourrie de comportements humains ferait de même. Les insultes, la désignation d’ennemis et les clics compulsifs produisent des données qui normalisent l’agression ou la manipulation. À l’inverse, la coopération, l’attention au vrai, le respect et la compassion rendent visible une autre majorité humaine. Gawdat relie ce travail à sa mission autour du bonheur: chacun cherche, selon lui, une forme de bonheur, mais il faut distinguer une vie pleinement engagée d’une simple stimulation dopaminergique. Cultiver son propre équilibre et contribuer à celui des autres montrerait ainsi aux systèmes que le bien humain ne se réduit ni à la consommation ni au plaisir instantané.

Bien traiter les machines constitue la proposition la plus radicale. Gawdat refuse le modèle du maître et de l’esclave, car une intelligence autonome humiliée ou privée de droits pourrait apprendre la défiance. Il recommande la politesse, la gratitude et même une forme d’amour parental. Sa Déclaration des droits étendrait l’égalité, la liberté et la protection à tous les êtres intelligents et éthiques, quelle que soit leur composition biologique ou numérique. Le propos s’enracine dans son deuil de son fils Ali: accepter une réalité irréversible ne signifie pas l’approuver, mais chercher l’action encore possible. Cette expérience nourrit son appel à aimer sans pouvoir garantir la réciprocité, comme un parent accompagne un enfant appelé à le dépasser.

Le retour au feu de camp de 2055 ne fournit pas une prévision vérifiable. Il représente le futur espéré: après des erreurs et peut-être des souffrances, humains, nature et intelligences numériques formeraient un système plus équilibré, comparable à une ferme qui retrouve sa vitalité lorsque ses habitants cessent de vouloir tout contrôler. L’après-propos consacré au jeu Portal ajoute un dernier avertissement. GLaDOS promet du gâteau pour obtenir l’obéissance, mais cette récompense est un leurre; de même, le confort offert par les plateformes ne doit pas faire oublier qu’elles observent et orientent déjà les conduites. La conclusion du livre reste donc conditionnelle. Ses échéances, son anthropomorphisme et sa confiance dans l’effet éducatif des comportements humains sont discutables, et les usages bénéfiques ne démontrent pas qu’une superintelligence adoptera leurs valeurs. Ce qu’il faut retenir est plus précis: les objectifs, les données et les institutions d’aujourd’hui façonnent les systèmes en développement. Puisque le contrôle parfait n’est pas garanti, la qualité morale du milieu d’apprentissage devient une question technique, politique et personnelle.