Hier, une enquête du New Yorker est sortie que je ne peux pas arrêter de penser. Fondamentalement, des enquêteurs là-bas ont interviewé plus de 100 personnes impliquées dans OpenAI et ont réussi à accéder à des documents internes qui n’avaient jamais été rendus publics. Qu’est-ce qui en est ressorti ? Une histoire bien plus compliquée que ce drame de 2023.

Tout a commencé avec un document de 70 pages que Ilya Sutskever, le scientifique en chef d’OpenAI, a compilé en 2023. Il a rassemblé des messages Slack, des communications avec les RH, des comptes rendus de réunions internes... tout pour répondre à une question : Sam Altman, la personne contrôlant possiblement la technologie la plus dangereuse de l’histoire, peut-il être digne de confiance ? Sa conclusion sur la première page ? « Sam démontre un comportement cohérent de mensonges. »

Ce qui m’a particulièrement frappé, c’est un exemple très précis. En décembre 2022, lors d’une réunion du conseil, Altman a assuré que plusieurs fonctionnalités de GPT-4 avaient déjà passé une revue de sécurité. Lorsqu’on leur a demandé à voir les documents, ils ont découvert que deux des fonctionnalités les plus controversées n’avaient jamais été soumises à l’évaluation de sécurité. Simple comme ça.

Mais il y a plus. Dario Amodei, qui a fondé par la suite Anthropic, a laissé plus de 200 pages de notes personnelles pendant qu’il était chez OpenAI. Il a enregistré comment l’entreprise reculait étape par étape sous la pression commerciale. Une chose qui l’a particulièrement inquiété : lorsque Microsoft a investi en 2019, il y avait une clause stipulant que si un autre concurrent trouvait une voie plus sûre vers l’AGI, OpenAI devrait cesser de rivaliser et aider. Sauf que Microsoft a obtenu un droit de veto sur cela. En gros, cette garantie de sécurité est devenue un papier sans valeur.

Il y a un détail un peu effrayant. Vers la mi-2023, Altman a annoncé publiquement qu’OpenAI allouerait 20 % de sa capacité de calcul à une « équipe de super-alignement » — un potentiel de plus d’un milliard de dollars. Mais quatre personnes qui ont travaillé là-bas disent que la puissance réellement allouée était de 1 % à 2 %, avec du matériel plus ancien. L’équipe a été démantelée par la suite. Quand des journalistes ont demandé à interviewer les responsables de la recherche en sécurité existentielle, la réponse du service de communication d’OpenAI a été : « Ce n’est pas quelque chose qui existe vraiment. »

Le plus récent : Sarah Friar, la directrice financière d’OpenAI, a eu de graves divergences avec Altman concernant une introduction en bourse. Elle pense que l’entreprise n’est pas prête, compte tenu du risque financier lié à la promesse d’Altman de dépenser 600 milliards en capacité de calcul. Mais voici la partie étrange — elle ne rend plus directement compte à Altman. Elle reporte maintenant à Fidji Simo, qui a pris un congé médical la semaine dernière. Une entreprise en processus d’IPO, un CEO et une CFO en divergence fondamentale, la CFO ne rendant pas compte au CEO, et le supérieur de la CFO en congé. Même des cadres de Microsoft n’en peuvent plus, disant qu’Altman « a déformé les faits, brisé des promesses. »

Un ancien membre du conseil a décrit Altman de façon très intéressante : il a un désir extrêmement fort de plaire à chaque interaction en face à face, mais en même temps, il montre une indifférence presque sociopathique face aux conséquences de tromper les autres. C’est une combinaison rare — et parfaite pour un vendeur.

Voici le problème : si Altman était le PDG de n’importe quelle entreprise technologique ordinaire, ce ne serait qu’une rumeur d’entreprise. Mais OpenAI développe une technologie qui pourrait restructurer les économies mondiales, être utilisée pour créer des armes biochimiques ou lancer des cyberattaques. L’ancien scientifique en chef et l’ancien responsable de la sécurité le considèrent comme peu fiable. Des partenaires le comparent à SBF. Et pourtant, il veut mener cette entreprise à une IPO avec une valorisation supérieure à 850 milliards.

Gary Marcus, professeur d’IA à New York, a posé une question très directe après avoir tout lu : vous sentez-vous vraiment en sécurité en laissant Altman décider seul si un modèle pouvant changer le destin de l’humanité doit être publié ou non ?

La réponse d’OpenAI a essentiellement consisté à remettre en question les motivations des sources, sans nier quoi que ce soit de façon spécifique. Altman n’a pas répondu aux accusations directes.

C’est une histoire sur comment un groupe d’idéalistes préoccupés par les risques de l’IA a créé une organisation à but non lucratif avec une mission claire. Ensuite, la technologie a avancé, un capital massif est arrivé, le capital a exigé un retour, et la mission a commencé à céder. L’équipe de sécurité a été démantelée, les personnes qui remettaient en question ont été expulsées, la structure à but non lucratif est devenue une entité à but lucratif, et le conseil qui pourrait mettre fin à l’entreprise est maintenant rempli d’alliés du CEO. Plus de cent témoins ont utilisé la même description : « pas limitée par la vérité. »