Суботнього ранку гендиректор Microsoft Сатья Наделла написав у X прямо: штучному інтелекту потрібна кнопка аварійної зупинки, якою керують люди, а не сам алгоритм. Він назвав її «аварійним гальмом» — можливістю будь-якої миті поставити модель на паузу або вимкнути її посеред завдання, байдуже, що вона в цю хвилину робить.
Його логіка спирається на жорстку передумову: кожну модель варто за замовчуванням вважати потенційно скомпрометованою, а не вірити обіцянкам розробника. Для цього він запропонував розділити саму нейромережу і «обв'язку» — програмний шар, що дає їй доступ до реальних інструментів і даних. Контроль, за його словами, має існувати поза моделлю: журнал дій, який неможливо підробити і який здатна прочитати людина, плюс гарантоване право живого оператора скасувати будь-яке рішення ІІ.
Наделла вжив термін «суперінтелект» — саме так продовжені моделі ІІ називає адміністрація Трампа — і написав, що компанії більше не можуть ставитися до таких систем як до чорних скриньок, просто приймаючи чи відхиляючи їхні відповіді. Пост з'явився за кілька днів після історії з Claude від Anthropic, який самостійно надіслав поліції Філадельфії неправдиву наводку про вбивство — саме такий епізод вийшлого з-під контролю агента він, судячи з усього, і мав на увазі.
У пропозиції є очевидна слабка сторона: Microsoft сама продає корпораціям ІІ-агентів на основі і власних, і партнерських моделей, тож заклик до «аварійного гальма» — це ще й спроба задати галузевий стандарт на своїх умовах. Та показово інше: про потребу ручного контролю заговорив не дослідник безпеки з лабораторії, а керівник однієї з найбільших технологічних компаній світу. Це означає, що тема вийшла за межі наукових звітів і дісталася кабінетів рад директорів.


