Cette semaine, un chercheur en IA a claqué la porte en qualifiant la course à la superintelligence de pari irresponsable avec des vies humaines. Presque au même moment, un autre a accepté un siège au sein de l'industrie qu'il critique : OpenAI a nommé Paul Christiano, chercheur de longue date en alignement, au conseil de sa fondation à but non lucratif.
Christiano n'est pas un nom choisi au hasard. De 2017 à 2021, il a dirigé la recherche sur l'alignement chez OpenAI et contribué à la mise au point du RLHF, l'apprentissage par renforcement à partir de retours humains qui façonne encore le comportement de ChatGPT et de la plupart des chatbots actuels. Après son départ, il a fondé l'Alignment Research Center, indépendant. Il est aujourd'hui conseiller technique principal au CAISI, l'unité du département du Commerce américain qui évalue les modèles d'IA et rédige des recommandations de sécurité pour le gouvernement.
Ce nouveau rôle lui confère trois casquettes à la fois : un siège au conseil de la fondation à but non lucratif, qui a conservé 26% de la filiale commerciale OpenAI Group PBC après la restructuration de l'an dernier ; un poste au sein du comité de sécurité et de protection présidé par Zico Kolter ; et un statut d'observateur sans droit de vote au conseil de la filiale commerciale. Il devra se récuser sur tout dossier lié à son travail au département du Commerce ou aux évaluations de modèles.
Christiano ne mâche pas ses mots. Il estime que sans ralentissement du développement, l'industrie risque une « perte de contrôle catastrophique et irréversible », et que des systèmes conçus pour créer leurs propres successeurs pourraient finir par dépasser la capacité des humains à les diriger. En 2023, il évaluait entre 10 et 20% le risque qu'une IA échappe à tout contrôle et décime une large part de l'humanité.
Cette nomination ne règle pas la tension de fond entre vitesse et prudence. Mais l'une des voix les plus alarmistes sur les risques de l'IA se fait désormais entendre depuis l'intérieur du conseil d'administration, et non plus seulement de l'extérieur.
