« Nous avons construit un tapis roulant géant dont nous ne pouvons pas descendre »: le prophète de la science-fiction Ted Chiang sur la meilleure façon de penser à l’IA
Depuis au moins la publication de 1818 de Frankenstein, nos petits êtres humains imaginatifs ont redouté le moment où nos inventions prendront enfin le dessus sur nous. Dans la culture pop, les histoires d’avancées technologiques – et de catastrophes qui en ont résulté – ont duré précisément pour leur capacité à chatouiller nos cerveaux dans cet endroit idéal où l’émerveillement se transforme en horreur. À l’époque, nous avions Mary Shelley et HG Wells, Fahrenheit 451 et Une odyssée de l’espace. Ces jours-ci, vous ne pouvez pas passer à travers de petites discussions au niveau civil sur nos vies spoliées par la technologie sans faire référence Miroir noir, Le Truman Show, ou robot Arnold Schwarzenegger au moins une fois.
Ted Chiang, l’auteur de la science-fiction la plus prestigieuse de notre temps (c’est-à-dire quatre prix Hugo, quatre prix Nebula et une adaptation de long métrage répartis sur une œuvre maigre, selon les normes de la science-fiction, d’une douzaine et demie de nouvelles sur trois décennies) comprend cette impulsion humaine. Dans la fiction de Chiang, des personnages de toutes sortes d’univers se débattent avec les limites de notre espèce alors qu’ils s’efforcent d’atteindre la transcendance via des automates et des langues extraterrestres. Dans la fiction et dans la vie, nous, les humains, aimons penser que nous pouvons le voir venir.
Dernièrement, Chiang a réfléchi à cette réalité actuelle : via des essais viraux pour Le new yorker, il a pataugé dans le discours public de cette année pour expliquer ChatGPT et l’IA générative en des termes que tout utilisateur de smartphone peut réellement traiter. Pour une espèce à jamais en désaccord avec nos propres pouvoirs imaginatifs, l’auteur de science-fiction est devenu la voix la plus lucide de la pièce – un crédit autant à cette prose compacte de Chiang qu’au chaos total du paysage technologique de 2023 .
Quelque temps entre Marc Andreessen blogs sur la façon dont l’IA va sauver le monde et la sortie du nouveau Miroir noir saison, Chiang et moi nous sommes assis sur Zoom pour discuter de notre moment actuel dans la technologie et des métaphores que nous utilisons pour donner un sens à tout cela.
Cette conversation a été condensée et modifiée.
Salon de la vanité : En termes de repères culturels, quelles ont été vos premières influences ?
Ted Chang : Quand j’avais peut-être 11 ans, j’ai commencé à lire Isaac Asimov – sa science-fiction et ses écrits de vulgarisation scientifique. La lecture des deux m’a donné une idée très claire de la différence entre les deux. Quand j’étais plus jeune, disons en quatrième année, j’avais vraiment adoré les livres sur les serpents de mer, le Bigfoot et les anciens astronautes. Ce que je n’avais pas réalisé, c’est le mélange de faits et de fiction qui est impliqué dans ces sujets, alors quand j’ai commencé à lire Asimov, cela a clarifié pour moi la nature de mon intérêt. Parce que, oui, il y a des trucs sympas en science, et il y a des trucs vraiment sympas à spéculer sur la science, mais en proposant vos scénarios fictifs inspiré par la science, vous devriez être très clair sur celui avec lequel vous êtes engagé à tout moment.
Vous avez commencé à écrire et à soumettre des nouvelles au lycée. Vous souvenez-vous encore du premier que vous avez envoyé ?
C’était une histoire d’aventure se déroulant dans l’espace, à propos d’une tentative de sauvetage d’un navire abandonné. J’ai fait une quantité ridicule de recherches pour cela – je me souviens d’avoir recherché « Quelle est la longueur d’onde du rayonnement gamma des collisions électron-positon ? »
Au cours de votre carrière dans la science-fiction, votre moyenne au bâton est plutôt légendaire en termes de rapport histoire/récompenses et d’éloges. Saviez-vous que vous êtes référencé dans la dernière saison de Netflix Toi?
J’ai été mis au courant.
Y a-t-il un seul prix ou honneur que vous avez reçu qui vous ait marqué ? Comme, quel Hugo signifiait le plus?
Je ne pense pas avoir de bonne réponse à cela. Cela a été une longue série d’événements totalement inattendus.
À quel point êtes-vous branché sur le roulement quotidien de l’actualité technologique ? Je suis curieux de savoir si vous suivez des choses comme Marc Andreessen article de blog sur l’IA.
Je ne le suis pas, même si je suppose que je dois dire que je ne suis pas très intéressé par ce que Marc Andreessen a à dire. En général, je ne peux pas dire que je me maintiens vraiment de manière systématique. Mais de nos jours, il faut presque faire un effort délibéré pour éviter d’entendre parler d’IA.
Vous considérez-vous comme un adopteur précoce ?
Pas de la plupart des technologies. J’ai l’impression qu’être un adopteur précoce nécessite un réel engagement à s’habituer constamment à une nouvelle interface utilisateur. Je suis intéressé de voir ce qui se passe dans le domaine de la technologie, mais en ce qui concerne mon travail quotidien, je ne cherche pas de nouveau logiciel à moins qu’il y ait un problème réel que j’ai. J’aimerais pouvoir encore utiliser une version de Word beaucoup plus ancienne que nécessaire.
Comment s’est passée votre relation avec Le new yorker arriver? Les premières choses que vous avez écrites pour eux en 2016 et 2017 ne concernaient pas la technologie en soi. Qui a décidé que vous devriez faire ces explications sur l’IA ?
La première chose que j’ai écrite était celle sur les caractères chinois – ils m’ont approché et j’ai été totalement sidéré. Vous savez, je viens d’un milieu de la science-fiction, et au sein de la communauté de la science-fiction, il y a une frontière très claire entre la science-fiction et l’establishment littéraire. Cela m’a abasourdi que quiconque à Le new yorker avait même entendu parler de moi.
Il y a un article de 2021, « Why Computers Won’t Make Themselves Smarter? », qui parle de certaines réflexions que j’ai eues pendant longtemps sur tout le discours autour de la singularité et de l’explosion de l’intelligence artificielle, dont je suis super, super sceptique of.. Plus tôt cette année, j’avais lu des articles sur ChatGPT, essayant de lui donner un sens pour mes propres besoins, et à cette époque, (mon éditeur) m’a envoyé un e-mail et m’a dit : « Avez-vous des idées sur ChatGPT ? » J’étais comme, par coïncidence, je le fais!
Quant à la pièce la plus récente, elle a commencé en octobre, lorsque j’ai été invité à donner une conférence lors d’une conférence sur l’IA. Au départ, j’avais l’intention de parler de la raison pour laquelle je sentais que la menace que l’IA devienne plus intelligente que nous et prenne le relais n’est pas crédible. Mais au fur et à mesure que je l’écrivais, je me tournais de plus en plus vers ce que je pensais être les vrais problèmes, alors j’ai donné cette conférence sur l’IA en tant que capitalisme. Et quelques personnes présentes à l’événement m’ont suggéré de publier ce discours sous forme d’essai.
Comment trouvez-vous l’expérience de l’écriture dans ce format journalistique ?
Je ne peux pas dire que je suis super à l’aise avec ça. Quand je pense à mon désir d’explications claires, c’est surtout dans le contexte d’essayer de rendre une idée compréhensible pour les gens qui ne savent pas comment quelque chose fonctionne mais qui sont intéressés. C’est une sorte de chose que font les manuels et les livres de vulgarisation scientifique; il y a beaucoup d’explications. C’est un mode d’écriture. Mais ces essais, ce ne sont pas que des explicatifs. Ce sont en fait des essais au sens originel du terme : une tentative d’argumentation. C’est un peu différent pour moi.
Dans l’essai le plus récent, « L’IA deviendra-t-elle le nouveau McKinsey ? », vous parlez de notre dépendance à l’égard de métaphores problématiques, comme comparer l’IA à un génie dans une bouteille, des trucs comme ça. J’ai pensé à la façon dont nous aimons aussi utiliser les mêmes pierres de touche de la culture pop par défaut lorsqu’il s’agit de parler de technologie que nous ne comprenons pas – fonctionne comme Le Terminateur, Miroir noir, Son, etc. Que pensez-vous des limites d’avoir ces références par défaut sous la main ?
En personnifiant les choses, il est facile de raconter une histoire dramatique. Si vous pensez à ce qu’on appelle actuellement « IA », cela ressemble plus à un système. Il y a des histoires sur les effets de la bureaucratie et des systèmes qui écrasent les gens, mais ceux-ci sont un peu plus difficiles. Ils ne sont pas aussi viscéraux.
Peut-être que le plus grand récit populaire de ces dernières années sur la bureaucratie est Le fil. C’est une émission de télévision fabuleuse, mais il est probablement plus difficile de dire, d’accord, ce qui se passe avec l’IA, c’est comme la saison 2 de Le fil, ou la saison 4, où les choix des personnages étaient contraints ou leurs efforts contrecarrés par le système. Ce ne sont tout simplement pas faciles à résumer comme Sarah Connor dans Le Terminateur. Ce n’est pas aussi collant ou mémorable.
Regardez-vous personnellement ces films et émissions ? Comme, allez-vous regarder le nouveau Miroir noir saison?
Si les critiques sont bonnes, oui.
L’article « AI as McKinsey » articule également une critique capitaliste sous-jacente dans votre travail. Vous êtes clairement très sceptique quant à l’idée que la Silicon Valley puisse apporter des solutions magiques aux maux sociaux ; tu as écrit ceci Essai BuzzFeed News en 2017 c’était tellement coquin. En lisant « Soixante-douze lettres », votre nouvelle de 2000, je gravite autour de cette conversation entre un artisan et un inventeur essayant de créer des robots économes en main-d’œuvre, où l’artisan dit à l’inventeur :
« Votre désir de réforme vous honore. Permettez-moi cependant de suggérer qu’il existe des remèdes plus simples aux maux sociaux que vous citez : une réduction du temps de travail ou l’amélioration des conditions. Vous n’avez pas besoin de perturber l’ensemble de notre système de fabrication.
À un moment où l’on nous promet une IA « économe en main-d’œuvre », cela semble… pertinent.
Il y a ce dicton : « Il y a deux sortes d’imbéciles. Le premier dit, ‘C’est vieux et donc bon.’ Et le second dit : ‘C’est nouveau et donc meilleur.’ » J’y pense beaucoup. Comment pouvez-vous évaluer équitablement les mérites de quelque chose sans penser que c’est bon simplement parce que c’est nouveau ? Je pense que c’est super difficile.
Il fut probablement une époque de l’histoire où la plupart des gens pensaient : « C’est vieux et donc bon », et ils l’ont emporté. Maintenant, je pense que nous vivons à une époque où tout le monde dit : « C’est nouveau et donc meilleur. » Je ne crois pas que les gens qui disent cela aient toujours raison, mais il est très difficile de les critiquer et de suggérer que quelque chose de nouveau n’est peut-être pas meilleur.
Ou c’est comme, mieux pour qui?
Oui. Parce que nous vivons aussi à une époque où il y a beaucoup de gens qui ont des incitations financières pour nous convaincre que quelque chose est meilleur parce que c’est nouveau. Il y a une autre citation où Upton Sinclair a dit qu’il est très difficile de faire comprendre quelque chose à une personne si son salaire dépend du fait qu’elle ne le comprenne pas. Les entreprises qui vendent ces produits — les personnes qui travaillent pour elles, vous savez, peuvent être tout à fait sincères. ce n’est pas exactement de la méchanceté. C’est juste que, vous savez, ils ont une sorte de raisonnement motivé pour croire que ces choses sont bonnes.
Ma dernière question porte sur votre très courte histoire, « L’évolution des sciences humaines », également de 2000. Je lis cela comme une histoire assez optimiste sur un univers où les humains peuvent exister pacifiquement et de manière productive aux côtés de « métahumains », qui sont ces entités superintelligentes. ils ont créé. Il y a cette belle ligne qui dit : « Nous devrions toujours nous rappeler que les technologies qui ont rendu les métahumains possibles ont été inventées à l’origine par des humains, et qu’ils n’étaient pas plus intelligents que nous.
Est-ce une interprétation juste? Et cet optimisme s’applique-t-il à l’endroit où vous pensez que nous nous situons dans le monde réel par rapport à quelque chose comme l’IA ?
Cette histoire a été écrite en réponse à une idée il y avait environ 2000, quand les gens parlaient de la singularité et que nous transcenderions en quelque chose de beaucoup plus grand. Je pensais surtout, eh bien, pourquoi tout le monde est-il si certain qu’ils seront ceux à transcender ? Peut-être que la transcendance ne sera pas disponible pour nous tous, alors à quoi cela ressemblerait-il de vivre dans un monde où il se passe ces choses incompréhensibles, et où vous êtes en quelque sorte sur la touche ?
Mais je ne pense pas que cela s’applique réellement à notre situation actuelle ici, car il n’y a pas de machines super intelligentes. Il n’y a pas de logiciel que quiconque ait construit qui soit plus intelligent que les humains. Ce que nous avons créé, ce sont de vastes systèmes de contrôle. Toute notre économie est ce genre de moteur que nous ne pouvons pas vraiment arrêter. C’est autre chose que de dire que nous avons créé des machines plus intelligentes que nous. Nous avons construit un tapis roulant géant dont nous ne pouvons pas descendre. Peut être.
C’est probablement est possible de descendre, mais nous devons reconnaître que nous sommes tous sur ce tapis roulant de notre propre fabrication, puis nous devons convenir que nous voulons tous descendre. Il y a d’autres pays qui ont une relation plus saine avec le récit du progrès ; il y a des pays où ils ont des attitudes beaucoup plus saines envers le travail que nous avons aux États-Unis. Je pense donc que ces choses sont possibles. Mais nous avons créé un système, et maintenant c’est tout ce que nous savons. Il nous est difficile d’imaginer la vie en dehors de cela. Et nous ne faisons que construire plus d’outils qui renforcent et renforcent ce système.
Est-ce que ce travail que vous faites autour de notre situation actuelle avec l’IA fait partie de votre préparation pour une future nouvelle ?
Non non.
