OpenAI кеңесіне ЖИ-ден қорқатын маман қосылды

iEXExchanger
OpenAI кеңесіне ЖИ-ден қорқатын маман қосылды

OpenAI-дегі alignment бағытының бұрынғы басшысы әрі RLHF әдісін жасаушылардың бірі Пол Кристиано қордың басқармасы мен қауіпсіздік комитетіне қосылды, ЖИ қаупі туралы алаңдаушылық өсіп келе жатқан кезде.

Осы аптада бір ЖИ зерттеушісі есікті сарт жауып, асқын интеллект үшін жарыс — адам өмірімен ойнайтын тәуекел деп мәлімдеді. Дерлік сол мезгілде басқа маман сынап отырған саланың кеңес үстеліне отыруға келісті: OpenAI өзінің коммерциялық емес қорының басқармасына alignment саласындағы көптен білетін зерттеуші Пол Кристианоны қосты.

Кристиано кездейсоқ есім емес. 2017-2021 жылдар аралығында ол OpenAI-де alignment бағытын басқарып, RLHF әдісін жасауға атсалысты — бұл адамдардың кері байланысы негізінде оқытатын тәсіл, ChatGPT мен көптеген қазіргі чат-боттардың мінез-құлқын осы күнге дейін анықтайды. Компаниядан кеткеннен кейін ол тәуелсіз Alignment Research Center орталығын құрды. Қазір ол АҚШ Сауда министрлігінің ЖИ модельдерін тексеріп, үкіметке қауіпсіздік бойынша ұсыныстар дайындайтын CAISI бөлімшесінің аға техникалық кеңесшісі.

Жаңа қызмет оған бір мезгілде үш рөл береді: өткен жылғы қайта құрудан кейін коммерциялық OpenAI Group PBC компаниясының 26% үлесін сақтап қалған коммерциялық емес қордың басқарма мүшелігі; Зико Колтер басқаратын қауіпсіздік және қорғау комитетінің мүшелігі; әрі коммерциялық компания директорлар кеңесінде дауыс құқығынсыз бақылаушы мәртебесі. Сауда министрлігіндегі жұмысына немесе модельдерді бағалауға қатысты мәселелерде Кристиано дауыс беруден бас тартуға тиіс.

Ол қауіпті жұмсартпай айтады: ЖИ дамуы баяуламаса, сала «апатты әрі қайтымсыз бақылауды жоғалту» қаупіне тап болады, ал өз ізбасарларын жасауға арналған жүйелер ерте ме, кеш пе, адамдардың сенімді басқару мүмкіндігінен асып түседі. 2023 жылы ол ЖИ бақылаудан шығып, адамзаттың едәуір бөлігін жойып жіберу сценарийінің ықтималдығын 10-20% деп бағалаған.

Тағайындау саланың жылдамдық пен сақтық арасындағы басты қайшылығын шешпейді. Бірақ ЖИ қаупі туралы ең қатты айтқан дауыстардың бірі енді трибунадан емес, басқарма есігінің ар жағынан естіледі.

Сұрақтар мен жауаптар

Мақаланың тақырыбы бойынша жиі қойылатын сұрақтар

Пол Кристиано кім?

Alignment саласының зерттеушісі, 2017-2021 жылдары OpenAI-де осы бағытты басқарды және RLHF әдісін жасауға атсалысты. Компаниядан кеткен соң тәуелсіз Alignment Research Center орталығын құрды. Қазір ол АҚШ Сауда министрлігіндегі CAISI бөлімшесінің аға техникалық кеңесшісі.

OpenAI-дың қауіпсіздік және қорғау комитеті деген не?

Бұл — компанияның модельдер мен инфрақұрылымға қатысты маңызды қауіпсіздік шешімдерін қадағалайтын басқарма деңгейіндегі орган. Оны Карнеги-Меллон университетінің профессоры Зико Колтер басқарады.

RLHF деген не және неге маңызды?

Бұл — адамдардың кері байланысы негізінде оқытатын тәсіл, тілдік модельдердің жауаптарын адамдардың күткеніне сай келтіреді. Дәл осы әдіс ChatGPT мен көптеген қазіргі чат-боттардың мінез-құлқын анықтайды.

Бұл Anthropic зерттеушісінің кетуімен байланысты ма?

Тікелей емес — бұл әртүрлі компанияларда болған екі бөлек оқиға. Бірақ екеуі де дерлік бір мезгілде орын алып, бір үрдісті көрсетеді: ЖИ саласындағы даму жылдамдығы мен қауіпсіздік талаптары арасындағы шиеленістің күшеюі.

Сондай-ақ оқыңыз

Бұрынғы биткоин майнері Crusoe ЖИ дата-орталықтарына $3,9 млрд тартты
Жаңалықтар

Бұрынғы биткоин майнері Crusoe ЖИ дата-орталықтарына $3,9 млрд тартты

Мұнай ұңғымаларының жағылатын газымен биткоин өндіруден бастаған компания $30,9 млрд бағаланумен $3,9 млрд тартты — бұл былтырғыдан үш есе көп. Қаражат OpenAI, Meta және Microsoft үшін дата-орталықтар салуға жұмсалады.

18 қыркүйек, 14:02
4 мин