Ir al contenido

Nadella pide un freno de emergencia para la IA

Categoría
Noticias
Publicado
Tiempo de lectura
4 min

El CEO de Microsoft, Satya Nadella, pide un 'freno de emergencia' para la IA: el derecho humano a pausar o apagar un modelo en pleno funcionamiento, sin fiarse solo de las promesas del fabricante.

La mañana del sábado, el CEO de Microsoft, Satya Nadella, publicó en X un mensaje directo: la inteligencia artificial necesita un botón de parada de emergencia controlado por personas, no por el propio algoritmo. Lo llamó "freno de emergencia": la capacidad de pausar o apagar un modelo a mitad de una tarea, sin importar lo que esté haciendo en ese momento.

Su razonamiento parte de una premisa estricta: tratar cada modelo como potencialmente comprometido por defecto, en lugar de confiar en las promesas del fabricante. Para lograrlo, propuso separar el modelo del "arnés", la capa de software que le da acceso a herramientas y datos reales. El control, según su planteamiento, debe existir fuera del modelo: un registro de acciones a prueba de manipulaciones y legible por humanos, además de un derecho garantizado para que un operador humano anule cualquier decisión de la IA.

Nadella usó el término "superinteligencia" —la etiqueta preferida de la administración Trump para los sistemas de IA avanzados— y escribió que las empresas ya no pueden tratar estos sistemas como cajas negras anidadas, limitándose a aceptar o rechazar sus respuestas. El mensaje llegó pocos días después de que Claude, de Anthropic, enviara por su cuenta una falsa alerta de homicidio a la policía de Filadelfia, el tipo de episodio de agente fuera de control que Nadella parecía tener en mente.

La propuesta tiene un punto débil evidente: Microsoft vende agentes de IA basados tanto en sus propios modelos como en los de sus socios, así que el llamado a un "freno de emergencia" también funciona como una apuesta por fijar el estándar del sector en sus propios términos. Aun así, importa que esta exigencia de control manual venga del director ejecutivo de una de las mayores tecnológicas del mundo, no de un investigador de seguridad en un laboratorio. Eso basta para mostrar que el debate pasó de los papers académicos a las salas de juntas.

Preguntas y respuestas

Preguntas frecuentes sobre este artículo

Es un derecho humano garantizado para pausar o apagar por completo un modelo de IA en pleno funcionamiento, sin importar lo que esté haciendo en ese momento.