Esta semana, un investigador de IA renunció calificando la carrera hacia la superinteligencia como una apuesta imprudente con vidas humanas. Casi al mismo tiempo, otro aceptó un asiento en la industria que él mismo cuestiona: OpenAI incorporó a Paul Christiano, veterano investigador de alineación, a la junta de su fundación sin fines de lucro.
Christiano no es un nombre cualquiera. Entre 2017 y 2021 dirigió la investigación de alineación en OpenAI y ayudó a desarrollar el RLHF, el aprendizaje por refuerzo con retroalimentación humana que todavía moldea el comportamiento de ChatGPT y la mayoría de los chatbots actuales. Al salir, fundó el Alignment Research Center, independiente. Hoy es asesor técnico senior en el CAISI, la unidad del Departamento de Comercio de EE. UU. que evalúa modelos de IA y redacta pautas de seguridad para el gobierno.
El nuevo cargo le da tres funciones a la vez: un puesto en la junta de la fundación sin fines de lucro, que tras la reestructuración del año pasado conserva el 26% de la empresa con fines de lucro OpenAI Group PBC; membresía en el Comité de Seguridad y Protección, presidido por Zico Kolter; y un puesto de observador sin voto en la junta comercial. Se abstendrá en cualquier asunto relacionado con su trabajo en el Departamento de Comercio o con evaluaciones de modelos.
Christiano no suaviza sus advertencias. Sostiene que, sin un desarrollo más lento, la industria corre el riesgo de una 'pérdida de control catastrófica e irreversible', y que los sistemas diseñados para crear a sus sucesores podrían acabar superando la capacidad humana de dirigirlos. En 2023 calculó entre un 10% y un 20% la probabilidad de que la IA se descontrole y acabe con buena parte de la humanidad.
El nombramiento no resuelve la tensión de fondo entre velocidad y cautela. Pero una de las voces más críticas con los riesgos de la IA ahora se escucha dentro de la sala del consejo, no solo desde fuera.
