La SF et les agents conversationnels

La lecture récente d’un article de Lord sur ces saloperies d’IA génératives et les salopards qui les entraînent¹Lisez l’article et si vous vous sentez encore concerné, posez vous des questions., m’a rappelé l’existence d’un bouquin de SF sympathique mais pas incroyable et étonnamment juste sur certains points. Le lien entre le billet de blog et ce bouquin pas ouf, c’est l’agacement de Lord vis-à-vis du terme « la machine ».

Le Lendemain de la Machine (Tomorrow Sometimes Come en anglais), de Francis G. Rayer, nous raconte l’histoire de Mantley Rawson, un major de l’armée qui suite à un concours de circonstance, se retrouve dans le coma pendant plusieurs dizaines d’années, anesthésié dans un sous-sol pendant qu’éclate une guerre nucléaire. Se réveillant avec une sacré gueule de bois, Rawson se rend compte que tout le monde pense qu’il est responsable de la guerre nucléaire du siècle dernier et veut lui péter les genoux. Pas de bol Anatole, moi j’appelle ça un lundi. Évidemment l’histoire devient un peu plus complexe mais ça serait divulgacher que d’en dire plus.

Un des fils rouge du roman cependant est l’existence d’un ordinateur géant et omniscient nommé la Mens Magna (MM)²Latin pour « Le grand esprit ». On est pas vraiment dans une histoire subtile: la capitale détruite par la bombe s’appelle « Kaput ». auquel toute la population laisse le soin de prendre toutes ses décisions et d’apporter les réponses à toutes leurs questions. Une scène laisse même un bibliothécaire nous expliquer pourquoi il ne sert plus à rien parce que tout le monde pose toutes les questions possibles à la MM. Francis Rayer a inventé le concept de CharGPT³Quand je dis ChatGPT, il faut comprendre tous les agents conversationnels. Je me fous des subtilités, ils sont tous aussi cons par design. avant l’heure, rien que ça.⁴Ce n’est pas le seul ceci dit, Ira Levin a aussi des histoires avec des ordinateurs du même type. Bon la MM va jusqu’à remplacer les juges pour les décisions de justice et autres joyeusetés ce qui n’est pas vraiment le cas de ChatGPT, mais d’une part, toutes les professions intellectuelles ont actuellement peur d’être remplacées par des LLM, et à raison,⁵Hubert Guillaud documente le cas des psy ici, celui des cadres dans la logistiques là et plus récemment du déploiement des LLMs en Excel2.0 par là. Récemment j’entendais un ingénieur en IA en conférence dire que la recherche pourrait être faite entière par IA bientôt. Bon. J’attends de voir. et je n’ai pas besoin de réaliser un florilège de posts de blogs ou Linkedin pour illustrer les témoignages de gens qui constatent autour d’eux que de plus en plus de personnes laissent leur processus créatifs ou intellectuels à des agents conversationnels fondés sur des LLM. Et ces personnes vont des ingénieurs informaticiens qui ne se font même plus chier à faire du code de merde, aux membres de notre famille qui ne se font même plus chier à trouver une activité de merde à faire le week-end prochain ou quel cadeau pourri nous offrir pour notre anniversaire, en passant par les profs qui ne se font même plus chier à rédiger leurs contrôles et leurs cours.⁶Le bonjour amical aux collègues.

Mais il y a une différence fondamentale entre la MM du livre et le ChatGPT du monde de la réalité véritable: Il n’aura échappé à personne que ChatGPT est complètement con, pour peu que l’on prenne le temps de lire ce qu’il écrit. Quelque chose dont je doute de plus en plus que les utilisateurs prennent la peine de le faire.

En effet la raison pour laquelle tout le monde se repose sur une intelligence artificielle dans le livre de Rayer est que cette dernière est systématiquement « meilleure » que les humains. Et par meilleure, il faut comprendre « plus logique », l’objectif étant, dans le contexte du livre, d’éviter une nouvelle guerre nucléaire. Alors évidemment tout ne se passe pas comme prévu, patati patata, mais la MM est un personnage a part entière du récit. Elle a ses objectifs, elle manipule, elle est intelligente. ChatGPT est juste complètement con. Tout le monde le sait, et pourtant beaucoup de gens s’en servent abusivement. Et c’est désolant.

Pire encore, les institutions politiques nous poussent à nous en servir. Les académies ne manquent pas de contenu didactique pour intégrer l’IA à la pédagogie. Les universités elle-mêmes comme celle de Genève ou d’Orléans se dotent de chartes de « bonnes pratiques »⁷J’aime beaucoup cet extrait de la charte d’Orléans: « Attention : l’IA générative ne doit pas être utilisée pour fabriquer des données de recherche (ce qui n’est pas la même chose que la génération de données synthétiques), y compris des figures ou pour échapper à la détection du plagiat en utilisant des outils de paraphrase. Cela constitue un cas de fraude. » Et bah, si la paraphrase est un cas de fraude, la recherche a pas le cul sorti des ronces. comme si ces dernières avaient un quelconque impact et les appels d’offre se multiplient pour pisser du fric en veux-tu en voilà sur tous les projets à la con.⁸Vous pouvez lire le document promotionnel de l’ANR, c’est vraiment con. contenant le sigle IA. Notez qu’avec le nombre de projets financés visant à créer des « leaders sur le plan de l’IA » tout le monde sera leader sur le plan de l’IA et donc personne ne sera leader. Comme je le dis pour parodier les forains: « Pas de gagnant, pas de perdant, que des peluches! ».

Le contraste avec le terrain où il n’est pas difficile de trouver des collègues profs ou chercheurs très critiques de cette stratégie, qui consiste à mettre tout son fric dans une bulle économique sur le point d’éclater, est saisissant. Aussi bien au niveau du lycée ou certains, comme Louis Paternault, explique clairement pourquoi intégrer l’IA générative à la pédagogie est un non-sens, d’autres plus proche de la recherche en informatique comme Florence Maraninchi, qui explique pourquoi ces dernières seront très probablement un problème énergétique et technique à long terme. Un article récent d’Épsiloon titrait d’ailleurs que la pollution crée par les IA avait transformé internet en gigantesque poubelle, alimentée à environ 57% par des IA générative (ChatGPT ayant été mis en ligne en 2022, ça n’aura pris que 3 ans).⁹Article à retrouver dans le numéro 46 d’Epsiloon.

Je n’ai pas de conclusion grandiose à tirer de tout ça. Mais je pense que cela dit quelque chose de l’imaginaire autour de l’IA, ou au moins ces agents conversationnels. Tout le monde a été influencé par la SF des 70 dernières années et, à mon avis, beaucoup de monde, en voyant un texte généré par ChatGPT ou une voix générée par une IA vocale, a l’impression d’entendre Al-9000 ou d’avoir affaire à Mother¹⁰Les IA des navettes de 2001 Odyssée de l’espace et Alien., que ça y est, c’est super cool, on a des robots intelligents pour réfléchir à notre place. « Sans déconner? » me direz-vous. Mais là où je veux finir, c’est par rappeler que Al-9000 ou Mother sont des robots intelligents crées par des grosses boites capitalistes pour les « aider dans leur travail » et qui finissent par se retourner contre eux en raison des intérêts réels de la compagnie qui les a construits.¹¹C’est très clair pour Mother, cela nécessite de lire le livre de 2001 et ses suites pour le savoir dans le cas de Al-9000. La différence avec le livre de Rayer c’est que ce dernier ne présente pas une IA fabriquée par une société privée dans un but capitaliste, mais une IA altruiste qui vise à décharger les humains de leurs responsabilités décisionnelles. Elle finit d’ailleurs par décider que la meilleure décision c’est de retourner dans un monde dans lequel elle n’existe pas.¹²Pour ne jamais être débranchée et ne pas avoir à « mourir ». Mais c’est un autre sujet et j’avais dit que je ne divulgacherai pas.

Or nous vivons dans le pire mélange de ces deux types de scénarios: nous vivons dans un monde où des IA présentées comme des aides à la décision sont détenues par des entreprises capitalistes. Je ne vois franchement pas ce qu’il peut y avoir de réjouissant ou d’enthousiasmant dans une telle perspective.

• 1
  Lisez l’article et si vous vous sentez encore concerné, posez vous des questions.
• 2
  Latin pour « Le grand esprit ». On est pas vraiment dans une histoire subtile: la capitale détruite par la bombe s’appelle « Kaput ».
• 3
  Quand je dis ChatGPT, il faut comprendre tous les agents conversationnels. Je me fous des subtilités, ils sont tous aussi cons par design.
• 4
  Ce n’est pas le seul ceci dit, Ira Levin a aussi des histoires avec des ordinateurs du même type.
• 5
  Hubert Guillaud documente le cas des psy ici, celui des cadres dans la logistiques là et plus récemment du déploiement des LLMs en Excel2.0 par là. Récemment j’entendais un ingénieur en IA en conférence dire que la recherche pourrait être faite entière par IA bientôt. Bon. J’attends de voir.
• 6
  Le bonjour amical aux collègues.
• 7
  J’aime beaucoup cet extrait de la charte d’Orléans: « Attention : l’IA générative ne doit pas être utilisée pour fabriquer des données de recherche (ce qui n’est pas la même chose que la génération de données synthétiques), y compris des figures ou pour échapper à la détection du plagiat en utilisant des outils de paraphrase. Cela constitue un cas de fraude. » Et bah, si la paraphrase est un cas de fraude, la recherche a pas le cul sorti des ronces.
• 8
  Vous pouvez lire le document promotionnel de l’ANR, c’est vraiment con.
• 9
  Article à retrouver dans le numéro 46 d’Epsiloon.
• 10
  Les IA des navettes de 2001 Odyssée de l’espace et Alien.
• 11
  C’est très clair pour Mother, cela nécessite de lire le livre de 2001 et ses suites pour le savoir dans le cas de Al-9000.
• 12
  Pour ne jamais être débranchée et ne pas avoir à « mourir ». Mais c’est un autre sujet et j’avais dit que je ne divulgacherai pas.