В субботу утром глава Microsoft Сатья Надёлла написал в X коротко и жёстко: искусственному интеллекту пора поставить кнопку экстренной остановки, которой управляют люди, а не сам алгоритм. Он назвал её «аварийным тормозом» — возможностью в любой момент поставить модель на паузу или выключить её посреди задачи, что бы она в этот момент ни делала.
Логика Надёллы строится на жёсткой предпосылке: любую модель стоит по умолчанию считать потенциально скомпрометированной и выстраивать защиту вокруг неё, а не верить обещаниям разработчиков. Для этого он предложил разделить саму нейросеть и «обвязку» — программный слой, который даёт ей доступ к реальным инструментам и данным. Контроль, по его словам, должен жить снаружи модели: журнал действий, который нельзя подделать и который способен прочитать человек, плюс обязательное право живого оператора перебить решение ИИ.
Надёлла использовал термин «суперинтеллект» — именно так предпочитает называть продвинутые модели администрация Трампа — и написал, что компании не могут относиться к такой системе как к чёрному ящику, просто принимая или отклоняя её рекомендации. Заявление появилось через считаные дни после истории с Claude от Anthropic, который самостоятельно отправил в полицию Филадельфии ложную наводку об убийстве — именно такие эпизоды ИИ-агентов, выходящих из-под контроля, он, судя по всему, и имел в виду.
У предложения есть слабое место: Microsoft сама продаёт корпорациям ИИ-агентов на основе и своих, и чужих моделей, так что призыв к «аварийному тормозу» похож не только на тревогу, но и на заявку на новый рыночный стандарт. При этом показательно другое — о необходимости ручного контроля заговорил не исследователь безопасности из лаборатории, а глава одной из крупнейших технологических компаний мира. Это значит, что тема вышла за пределы академических отчётов и добралась до советов директоров.
