Мазмұнға өту

Наделла ЖИ-ге «апаттық тежегіш» ұсынды

Жасалу күні
Оқу уақыты
4 мин

Microsoft бас директоры Сатья Наделла ЖИ-модельдеріне «апаттық тежегіш» орнатуды ұсынды — бұл адамның жүйені кез келген сәтте тоқтату құқығы, өйткені әзірлеушінің уәдесіне сенуге болмайды.

Сенбі күні таңертең Microsoft бас директоры Сатья Наделла X желісінде қысқа да нақты жазды: жасанды интеллектке адамдар басқаратын, алгоритмнің өзі емес, төтенше тоқтату түймесі қажет. Ол мұны «апаттық тежегіш» деп атады — модельді тапсырманың орта кезінде де, не істеп жатса да, кез келген сәтте тоқтата алу немесе өшіру мүмкіндігі.

Оның логикасы қатаң болжамға негізделген: әрбір модельді әдепкі бойынша бұзылған болуы мүмкін деп қарастыру керек, әзірлеушінің уәдесіне сенбей. Сол үшін ол нейрожелінің өзін «арқалық» — оған нақты құралдар мен деректерге қолжетімділік беретін бағдарламалық қабаттан бөлуді ұсынды. Бақылау, оның пікірінше, модельден тыс жерде болуы керек: жалғандыруға болмайтын, адам оқи алатын әрекеттер журналы және жанды операторға ЖИ-дің кез келген шешімін жоққа шығару құқығының кепілдігі.

Наделла «суперинтеллект» терминін қолданды — бұл Трамп әкімшілігі жетілдірілген ЖИ жүйелерін атауға жиі қолданатын сөз — және компаниялар мұндай жүйелерді тек қабылдап немесе қабылдамайтын ұя салынған қара жәшік ретінде қарастыра алмайды деп жазды. Жазба Anthropic компаниясының Claude моделі Филадельфия полициясына өз бетінше кісі өлтіру туралы жалған мәлімет жіберген оқиғадан бірнеше күн кейін пайда болды — оның ойында дәл осындай бақылаудан шыққан агент эпизодтары болған сияқты.

Ұсыныстың бір анық кемшілігі бар: Microsoft өзі де меншікті және серіктес модельдер негізінде ЖИ-агенттерін корпорацияларға сатады, сондықтан «апаттық тежегішке» шақыру нарық стандартын өз шарттарымен белгілеуге талпыныс та болып көрінеді. Соған қарамастан, қолмен бақылау қажеттігі туралы зертханадағы қауіпсіздік зерттеушісі емес, әлемдегі ең ірі технология компанияларының бірінің басшысы айтқаны маңызды. Бұл тақырыптың академиялық есептерден шығып, директорлар кеңесінің отырысына жеткенін көрсетеді.

Сұрақтар мен жауаптар

Мақаланың тақырыбы бойынша жиі қойылатын сұрақтар

Бұл — адамның ЖИ моделін тапсырманы орындау кезінде кез келген сәтте тоқтатуға немесе толықтай өшіруге болатын кепілдендірілген құқығы, модель сол сәтте нақты не істеп жатқанына қарамастан.

Cyber көпірінің күдікті бұзылуын тексереді, биржалар CYBER трансферін тоқтатты

Жаңалықтар

Cyber көпірінің күдікті бұзылуын тексереді, биржалар CYBER трансферін тоқтатты

Шабуылдаушы ұрланған CYBER-дің бір бөлігін 968 мың доллар ETH-ке айырбастады, ал Cyber көпірдің бұзылу күдігін тексеріп жатыр. Bithumb пен Upbit Кореяда CYBER трансферін тоқтатты, бірақ сауда жалғасады.

2026 ж. 22 қараша, 11:03 2 мин
Fluidkey криптоәмиянының пайдаланушыларынан хакер $1,6 миллион доллар ұрлады

Жаңалықтар

Fluidkey криптоәмиянының пайдаланушыларынан хакер $1,6 миллион доллар ұрлады

Шабуылдаушы сырт лог қызметіндегі осалдықты пайдаланып, пайдаланушылардың жеке кілттері құрылғыларында қалса да, олардың қаражатын ұрлап әкетті. Bitquery ұрланған $1,58 миллионның алты блокчейндегі ізін тапты.

2026 ж. 22 қараша, 08:11 2 мин
Chainflip қоймасынан $4,86 млн ұрланғаннан кейін айырбастауды тоқтатты

Жаңалықтар

Chainflip қоймасынан $4,86 млн ұрланғаннан кейін айырбастауды тоқтатты

Протокол Ethereum қоймасынан $4,86 млн шығарылғаннан кейін айырбастау, депозит, шығару операцияларын тоқтатты, FLIP токені 34%-ға құлдырады, Chainflip капитализациясы $41,6 млн-нан $27,1 млн-ге дейін төмендеді.

2026 ж. 21 қараша, 19:10 2 мин