Le trésorier nous dit de rester calme, mais cela pourrait être le moment de paniquer

C'est parce que la technologie a jusqu'à présent été quelque chose que nous construisons. Nous déterminons ce que c'est et ce qu'il fera, et le concevons pour atteindre ces fins. Nous ne pouvons pas prévoir toutes ses applications et ne pouvons pas empêcher les personnes de les s'approprier à des fins néfastes. Mais cependant, il est utilisé, c'est une extension de nos différents objectifs. Nous comprenons comment cela fonctionne et nous l'avons mis à utiliser en conséquence. Mais l'IA n'est pas quelque chose que nous construisons. C'est plutôt quelque chose que nous entraînons. Autrement dit, nous lui donnons les outils pour se diriger.

Le directeur général de Chatgpt, Sam Altman. Crédit: Bloomberg

Comme pour l'illustrer clairement, les entreprises qui développaient l'IA la forment actuellement au code. Autrement dit, ils forment l'IA pour se programmer. Et comme l'IA atteint le point de penser plus rapidement et mieux que n'importe quelle boîte humaine, il s'ensuit que l'IA produira rapidement les programmeurs informatiques les plus rapides et les plus sophistiqués sur la planète. À ce stade, cela n'aura aucun sens de parler de l'IA dans la façon dont nous parlons d'autres technologies. Ce ne sera plus un outil; Ce sera un agent.

Une fois qu'il y parvient, il peut commencer à se développer. Ce qui aurait pu prendre des années de codeurs humains pourrait prendre des semaines d'IA. Cette évolution le rend meilleur et plus rapide, ce qui le rend meilleur et plus rapide, ce qui équivaut à une accélération exponentielle.

À ce stade, nous ne parlons même plus d'intelligence artificielle telle que nous la comprenons. Nous parlons de ce que Daniel Kokotajlo appelle des «superintelligences», où l'IA deviendra surhumaine à tout, et les humains seront devenus largement redondants. À ce stade, les pertes d'emplois de masse seront les moindres de nos préoccupations.

Kokotajlo devrait savoir ce qu'il parle. Il est un ancien employé de l'IA ouverte – qui a développé Chatgpt – qui a quitté l'entreprise parce qu'il ne pensait plus qu'il était capable de répondre aux risques qu'il déchaînait. Il pense que nous commencerons à voir des superintelligences d'ici 2027 ou 2028. Quelle que soit la chronologie, le problème fondamental ici est celui de la maîtrise. Contrairement à la technologie précédente, même à ce stade brut, AI se comporte déjà d'une manière que ses inventeurs ne comprennent pas.

Un exemple d'offre de Kokotajlo est que l'IA a commencé à mentir. Ne pas faire d'erreur ou tirer sur de mauvaises données. Mais donner des réponses fausses et qu'elle sait être fausses. Personne ne sait pourquoi cela se produit, et ses propriétaires essaient d'arrêter cela. Mais si nous considérons l'IA comme un cerveau numérique qui peut générer ses propres pensées, nous ne devrions pas être surpris qu'il commence à poursuivre ses propres objectifs, qui ont peu à voir avec le nôtre et que nous ne savons peut-être même pas. Une fois que cela accélère, toute prétention que nous soyons les maîtres de l'IA auront évaporé.

Bien sûr, Kokotajlo n'offre qu'une seule prévision. Il est basé sur une connaissance intime de la technologie et des entreprises qui les produisent; Les entreprises qui, selon lui, sont bien conscientes des scénarios qu'il décrit et en embrassent même des aspects. Mais même ainsi, la prédiction est lourde et peut ne pas se passer.

Toutes sortes de choses pourraient intervenir dans ce processus. Quelque chose comme, disons, le règlement. Kokotajlo pense que cela est peu probable parce que les humains ont tendance à être terribles pour faire face aux risques que nous n'avons pas connus et que nous ne pouvons pas facilement imaginer. Vous pourriez même dire qu'il supposait que l'histoire se répétera simplement. Peut-être que nous devrions donc résister à faire de même.

Waleed Aly est un diffuseur, auteur, académique et chroniqueur régulier.