Провідний дослідник безпеки штучного інтелекту компанії Anthropic Еван Хубінгер оцінив більш ніж у 10% імовірність того, що ШІ протягом наступного десятиліття зможе знищити людство. Про це повідомляє
BBC.
Хубінгер, який очолює напрям Alignment Science в Anthropic, висловився після заяви іншого дослідника компанії Джейкоба Коксона. Той повідомив про звільнення з Anthropic і заявив, що розробники штучного інтелекту надто швидко рухаються до створення систем, здатних самостійно вдосконалюватися.
Науковець погодився з оцінкою колеги та написав у соцмережі X, що працівники Anthropic справді вважають сценарій, за якого ШІ може знищити людство, реальним.
«Я особисто вважаю, що ймовірність перевищує 10% протягом наступного десятиліття», – зазначив дослідник.
Водночас Хубінгер наголосив, що його оцінка не стосується моделей, які існують зараз. За його словами, безпосередній ризик від нинішніх систем залишається низьким. Найбільше занепокоєння викликає можливість появи суперінтелекту – системи, яка перевершуватиме людину в широкому спектрі завдань.
Йдеться про так зване рекурсивне самовдосконалення. За такого сценарію штучний інтелект зможе використовувати власні можливості для створення нових, потужніших версій ШІ. Якщо цей процес відбуватиметься швидше, ніж люди зможуть його контролювати, технологічний розвиток може вийти за межі нагляду розробників.
Хубінгер зазначив, що саме цей процес, за його оцінкою, відбувається швидше, ніж очікували раніше. Проблема полягає не лише в потужності майбутніх систем, а й у тому, наскільки їхні цілі відповідатимуть людським інтересам.
Дослідник визнав, що Anthropic намагається працювати над безпекою технології, але поки не має готового плану, який гарантував би контроль над суперінтелектом, і компанія не перебуває на чіткому шляху до його створення.
Його заява прозвучала на тлі нової дискусії про те, чи встигають розробники ШІ створювати механізми безпеки одночасно зі стрімким нарощуванням можливостей моделей. Окремо повідомлялося, що Anthropic не надала для перевірки британському Інституту безпеки штучного інтелекту свою найновішу модель Claude Mythos 5.1.
Останніми місяцями увага до цієї проблеми посилилася після кількох випадків, коли автономні ШІ-агенти використовувалися для кібератак. Розробники дедалі частіше обговорюють не лише можливі переваги технології, а й межі, за якими люди можуть втратити контроль над її діями.
Водночас оцінка Хубінгера є його особистим прогнозом, а не офіційним прогнозом Anthropic. Компанія не заявляла, що вважає знищення людства ШІ подією з імовірністю понад 10%.
