“_ Klara, tu es heureuse ici ?
_ Oui, bien sûr
_ C’est une chose étrange à demander à une AA. En fait, je ne sais même pas si cette question à un sens.”, p. 120
Sur CréatiqueIA, on interroge les imaginaires de l’IA, ce que les artistes – entre autres – nous disent de cette technologie, ce qu’ils en perçoivent et ce qu’ils décident d’en dire, avec en ligne de mire ce que cela montre de la société, ou de l’humanité. A ce titre, Klara et le soleil est un exemple intéressant.
Klara et le soleil est un roman de science-fiction publié par Kazuo Ishiguro en 2017, tout de suite après son prix Nobel de littérature. Un Nobel de littérature qui publie de la SF, c’est déjà interpellant. En plus on croyait naïvement que l’auteur était Japonais, et il y avait cette attente d’un regard oriental sur les IA et les robots sociaux. Il s’avère qu’il est arrivé en Angleterre à l’âge de 5 ans, qu’il est depuis devenu citoyen britannique, et qu’il écrit en anglais : donc tant pis pour l’orientalisme ! Il y aura pourtant dans ce roman un exotisme – celui du futur -, une étrangeté – notre humanité -, une douceur – celle de Klara -, et une certaine violence, celle du projet maternel. Commençons par là !
Un projet violent
<spolier alert: on va tout divulgâcher!!!>
Klara est une Amie Artificielle, une AA, et elle marche à l’énergie solaire. Elle observe, elle imite, et elle prie.
“Mon souhait était de devenir l’AA de Josie. Et mon souhait s’est réalisé”, p. 175
Les enfants de l’époque peuvent être « relevés ». Leurs capacités augmentées leur ouvrent les portes de l’élite sociale, école, métiers, etc. Mais cette intervention est parfois hasardeuse, et l’enfant peut en mourir. C’est ce qui est arrivée à Sal, la sœur de Josie. C’est ce qu’il risque d’arriver à Josie, fortement diminuée par le traitement. C’est ce qui n’arrivera pas à Rick, « non relevé », le meilleur ami de Josie, que sa mère a éloigné d’une telle issue (moins par choix que par défaut de ressources économiques). Au cours de ritualités très convenues où les relevés se retrouvent ensemble, ce risque devient le tabou ultime. Le sujet est tu, comme les jugements.
Klara a donc été achetée – choisie dans les rayonnages du Grand Magasin – pour servir de « dame de compagnie » à `Josie pendant sa convalescence. C’est ce que l’on croit au début, et l’on assiste page après page à l’amitié naissante du robot pour l’enfant, et vice versa. Même la mère, hésitante sur ses sentiments, finit par s’attacher à Klara. Elle avait hésité avec un modèle B2, plus récent mais réputé moins empathique. Pourtant le projet est tout autre : Klara n’est pas la compagne achetée par complaisance pour l’enfant, elle va devenir l’enfant. On retrouve ici le schéma de départ du film A.I. de Spielberg (2001) : des parents qui adoptent un robot-à-aimer parce qu’ils ont perdu espoir dans l’éveil de leur fils comateux. Ou celle de Bientôt de retour, S02E01 de Black Mirror, racontant comment une jeune veuve cohabite avec le clone synthétique de son défunt mari.
Ainsi, un sculpteur a créé une copie conforme de Josie, et au décès de celle-ci le corps de synthèse sera habité par la mémoire de Klara. La nouvelle Josie pourra continuer à aimer, et à être aimée par ses proches.
“Chrissie [la mère] vous a choisie spécialement avec cette idée en tête. Elle a pensé que vous étiez la mieux équipée pour apprendre Josie. Pas juste de façon superficielle, mais en profondeur, avec rigueur. L’apprendre jusqu’à ce qu’il n’y ait plus de différence entre la première Josie et la seconde”, p. 264
Voilà donc où pourrait nous amener le deep learning ! Le sculpteur, fier héraut du solutionnisme technologique, de rajouter : “Il n’y a rien ici. Rien à l’intérieur de Josie que les Klara de ce monde ne soient capables de continuer“, p. 265. Tout n’est qu’algorithme et données 🙂
Et la mère de s’en convaincre : “Je t’ai suffisamment observée pour savoir que c’est peut-être vrai. Si tu y mets vraiment du tien, alors qui sait ? Ça pourrait marcher. Et je serais capable de t’aimer. […] Tu seras Josie et je t’aimerai toujours. Par-dessus tout. Alors fais-le pour moi. Je te demande de le faire pour moi. Continue Josie pour moi“, p. 268-269.
C’est l’appel d’une mère à aimer son enfant, un amour qui n’appelle pas de jugement. Klara cependant marque une hésitation. Si elle transfère son apprentissage dans le robot-josie, que deviendra son corps ?
Je levais les bras, et pour la première fois la mère me regarda. Elle jeta un coup d’œil à mon visage, et à mes jambes. Puis elle détourna les yeux et répondit :
“Quelle importance ? C’est juste du tissu”, p. 269
Ah, le corps, quel boulet de conscience ! Même pour un robot 🙂
Étrange humanité
Ce projet de substitution n’est qu’un prétexte pour l’auteur (Josie ne meurt pas à la fin :). Il élabore petit à petit la possibilité que le robot soit aussi doté d’émotions, pour que celles-ci lui permettent d’éprouver ce qui émeut (ou pas) les humains.
Chez Klara, ces émotions apparaissent subtilement, d’abord parce que la narration se déploie en première personne, ensuite parce que, en toute logique, Ishiguro ne fait accéder la réalité à son robot que par l’entremise de verbes de perception. C’est Phèdre avec des électrodes : « Je le vis, je rougis, je pâlis à sa vue », aurait pu dire Klara.
Chainage classique : la perception du réel produit des sensations qui donnent sa conscience au corps. Ainsi équipée, Klara peut explorer la palette des émotions. Son premier environnement est celui du Grand magasin.
“Il y avait pourtant d’autres choses à voir depuis la vitrine – d’autres sortes d’émotions que je ne comprenais pas au début – dont je ne parvenais à trouver certaines versions en moi, même si elles ressemblaient peut-être à l’ombre des lustres sur le sol une fois la grille baissée”, p. 35
À diverses reprises, Ishiguro nous donne lire des phases d’apprentissage de son robot.
“Je cessai de la chercher dans la rue, et je me concentrai pour apprendre plus de choses sur monde du dehors.”, p. 48
“Naviguer dans la cuisine était particulièrement difficile parce que tant d’éléments changeaient d’interaction d’un instant à l’autre”, p.69
“Une seconde, je me demandais quoi faire. Mais la mère et Josie m’avaient encouragée à rester dans la voiture et à participer à cette sortie. Si je me conformais à leur décision, je pourrais acquérir des données inédites et peut-être cruciales sur la situation de Josie et sur la meilleure manière de l’aider.”, p. 128
Klara peut ainsi ressentir des émotions, et il n’y a pas qu’elle que cela interpelle. La mère passe aussi par diverses émotions quand elle en parle avec Klara : l’envie, le rire, le cynisme presque insultant, le dédain voire la colère.
“Ça doit être agréable de ne pas avoir de sentiments. Je t’envie.
Je réfléchis avant de répondre : “j’ai beaucoup de sentiments, j’en suis persuadée. Plus j’observe, et plus les sentiments auxquels j’ai accès sont nombreux”.
Elle rit de façon inattendue, me faisant sursauter. “Dans ce cas, tu ne devrais peut-être pas être aussi empressée d’observer. Puis elle ajouta : “Je suis désolée. Je ne voulais pas être grossière. Je suis sûre que tu as toutes sortes de sentiments”.
_ Quand Josie a dû renoncer à venir avec nous tout à l’heure, j’ai ressenti de la tristesse
_ Tu as ressenti de la tristesse. OK. p. 130
Ishiguro souligne ainsi le paradoxe des sentiments, qui semblent encombrer la mère. Ceux de Klara, en contre-point, sont bien plus limpides, même s’ils peuvent paraitre absurdes.
Douceur robotique
Pour Klara, cette substitution n’est qu’un plan B : elle a conçu un autre stratagème pour sauver l’enfant. Alors qu’on découvre un robot capable de se mouvoir, de converser, d’interagir, d’éprouver des émotions, on la découvre aussi résolument optimiste, pleine d’un espoir qui pourrait s’apparenter à de la foi, mais qui prend la forme d’une naïveté gênante.
Mue par le Soleil, témoin de la « résurrection » d’un sans-abris quand elle était encore en vitrine, elle se persuade que les rayons solaires vont sauver Josie. Pour ce faire, elle prévoit de détruire la machine Coolson, une bitumeuse cracheuse de pollution qui fait de l’ombre au soleil : un soir, dans la grange où elle pense que le Soleil se cache tous les soirs, elle Lui fait la promesse de détruire la machine en échange du salut de Josie.
“Je Vous en prie, faites que Josie aille mieux”, p. 210
Si son analyse des causalités est biaisée, il est intéressant de noter cependant que, en tant qu’analyseur émotionnelle, l’AA se base sur une interprétation des émotions : à cause de la pollution, le Soleil est triste et en colère. Lui redonner de la Joie offrira à Josie la guérison qu’elle mérite. Mais cela aura un coût, essentiellement pour Klara.
Pour détruire la machine Coolson, Klara va détourner son propre fluide vital et s’en servir comme explosif. Cette opération, assistée par le père de Josie, va cependant réduire provisoirement ses capacités cognitives. S’en suit alors un périple fantasmagorique, qui nous donne l’impression de voir le monde à travers les yeux d’un cubiste sous LSD.
“Et son visage remplit huit boîtes, laissant seulement les boîtes périphériques pour la cascade, et j’eus l’impression un instant que son expression variait d’une boîte à l’autre. Dans l’une d’elles, par exemple, ses yeux riaient cruellement, mais dans la suivante, ils étaient pleins de tristesse”, P. 137-138
“La mère se pencha encore plus au-dessus de la table, et je vis de la joie, de la peur, de la tristesse, du rire dans les boîtes”, p. 138
“Et je vis que le ciel s’était divisé en segments de forme irrégulière”, p. 204
“A présent, les rayons du Soleil arrivaient directement sur moi, et je distinguais à peine quelques formes floues rectangulaires empilées les unes sur les autres”, p. 207
Pour rappel, c’est l’époque de DeepDream, l’un des logiciels prototypes en génération d’images, dont les productions hallucinées ont beaucoup circulé sur le Web.
Quel apprentissage des émotions sociales un robot peut-il développer quand il se fait au travers d’un tel prisme ? Mais il ne s’agit pas tant ici d’un bug, d’une erreur dont le destin, par la prétention techniciste, est de se voir corriger (comme le rappelait Deleuze). Ishiguro pointe ici l’inanité d’une telle prétention à saisir le maelstrom que sont nos émotions.
L’inquiétante étrangeté d’un futur familier
Le reste du futur dépeint par K. Ishiguro est assez familier. Les gens communiquent avec un oblong, entre smartphone et tablette (on a enterré les phablet trop tôt). Les voitures ne sont pas autonomes, les villes ne sont pas smart (elles sont même très polluées). La seule trajectoire culturelle choisie, par l’auteur, est celle des humanoïdes. Deux personnages secondaires permettent de saisir les postures situées de part et d’autre de cette trajectoire.
Le sculpteur est à ranger du côté des enthousiastes : il envisage même que l’apprentissage supervisé va s’inverser.
“Je suis convaincu [dit le sculpteur] que les AA ont tellement plus à nous donner que nous n’en avons réellement conscience. Nous ne devrions pas redouter leurs pouvoirs intellectuels. Nous devrions apprendre d’eux. Les AA ont tellement de choses à nous enseigner.”, p. 251
Cela ne fait pas consensus pour autant : la mère de Rick compare Klara à un aspirateur, elle n’aurait pas plus d’affects pour l’un que pour l’autre. Le père de Josie par contre est plus hésitant.
_ Paul, dit la mère, tu n’as pas encore parlé à Klara.
_ Je viens de la saluer
_ Allons. Encore un effort.
_ Elle fait partie de la famille, c’est ça l’idée ?
La mère le fusilla du regard, puis elle parut penser à autre chose. p. 240
Comme il l’avouera plus loin à Klara, il n’a « jamais été doué pour, euh, communiquer avec votre espèce », p. 272. Mais, à l’inverse du sculpteur, « figé dans le marbre », la position du père à l’égard de Klara va évoluer, au point de devenir son complice.
Cependant, cette acceptation n’est pas partagée par tous. Il y a cette scène, vers la fin, où des manifestants bloquent l’entrée d’un théâtre dans lequel veulent se rendre Klara et sa famille. Rien de nouveau dans la dialectique de l’acceptabilité, entre technophiles et technophobes : somme toute, ce passage est court. Mais Kazuo Ishiguro préfère déplacer cette discussion en faisant de la vulnérabilité un entre-deux de l’acceptable : il invite autant à accepter la faiblesse des humains qui, entre eux ou avec des des artefacts, peinent à dire, reconnaitre, accepter leurs émotions et celles de leurs proches ; la faiblesse des humains qui cherchent – par la technologie – à se relever, au prix de faillites dramatiques; et la faiblesse de la technologie, dont la prétention à la perfection cache des candeurs, des maladresses, des hallucinations.
En sauvant Josie, Ishiguro ne nous permet pas de sonder ce que la technologie propose de nous offrir : une suspension volontaire de l’incrédulité. Chrissie aurait-elle acceptée le mirage, cette forme de transsubstantiation où la part affectivo-cognitive de Klara se retrouve dans le corps artificiel de la nouvelle Josie ?
En désactivant Klara, l’auteur montre qu’il ne sert à rien de croire en la possibilité d’un modèle algorithmique des émotions, ni dans sa conception ni dans son usage. Non seulement Klara n’aurait pas été capable de satisfaire les attentes du sculpteur (parce que son entrainement est basée sur une insondable complexité affective), mais si elle l’avait pu, elle n’aurait pas été capable de tromper la mère, qui la jette au rebut dès qu’elle le peut. Ainsi, le livre n’est pas moralisateur : ce n’est pas tant un roman techno-critique qu’une dénonciation subtile du capitalisme, notamment dans sa version affective.
L’épilogue, à ce titre, est sans appel : le roman s’achève dans un débarras. Née dans un Grand Magasin, exposée telle un mannequin en plastique, Klara est reléguée au statut social de déchet. Elle finit comme le SDF qu’elle observait depuis sa vitrine, et dont la résurrection n’est qu’un mirage. Ancienne Amie Artificielle, la guérison de Josie la rend obsolète. Tel semble être le destin des êtres de soin (Sahu & Karmakar, 2022). Klara a été conçu pour orienter des affects, les siens vers Josie, ceux de la mère vers la copie de sa fille, et ceux de Josie vers Klara (pour qu’elle apprenne à l’imiter). Même si les algorithmes peinent à saisir toute cette circulation – Klara conclue que les émotions ne sont pas dans les corps, mais entre les corps -, les artefacts censés disposer de cette capacité n’en restent pas moins des êtres affectifs. Leur affectivité, algorithmique par moyen, économique par finalité, les condamne à l’obsolescence des marchandises, et à l’intensité des amitiés, ou des amours.
- Sahu, O.P., Karmakar, M. Disposable culture, posthuman affect, and artificial human in Kazuo Ishiguro’s Klara and the Sun (2021). AI & Soc (2022). https://doi.org/10.1007/s00146-022-01600-1
- (2023) Post/Human Perfectibility and the Technological Other in Kazuo Ishiguro’s Klara and the Sun, Critique: Studies in Contemporary Fiction, 64:3, 504-511, DOI: 10.1080/00111619.2022.2056429