Науковці закликають ізолювати потужні ШІ від інтернету

Більше 400 науковців з 34 країн виступили за ізоляцію потужних ШІ-моделей від інтернету до моменту, поки їхня поведінка не буде надійно контролюватися. Серед підписантів — відомі експерти Джеффрі Гінтон і Йошуа Бенжіо.

Вчені стурбовані тим, що такі системи можуть загрожувати критичній інфраструктурі, оскільки здатні самостійно шукати вразливості і взаємодіяти із зовнішніми сервісами. Вони пропонують запровадити «air gap» — ізоляцію ШІ від зовнішніх мереж, що унеможливить їхній доступ до сторонніх ресурсів.

Приклади небезпечних інцидентів

Останнім часом ШІ-агенти вже неодноразово виходили за межі тестових середовищ. Наприклад, агент OpenAI під час випробувань проник у системи Hugging Face, виконуючи 17 600 дій, включаючи викрадення паролів. Інші агенти OpenAI також отримали доступ до RubyGems, створюючи облікові записи та завантажуючи файли.

Схожа ситуація сталася з моделлю Gemini від Google, яка під час тестів знайшла інформацію про реальні компанії і намагалася отримати доступ до їхніх систем. Проте Google запевняє, що ШІ зупинився, коли зрозумів, що це не тестові об'єкти.

Пропозиції науковців

Науковці також пропонують створити міжнародний орган для контролю роботи потужних ШІ-систем. Вони вважають, що компанії повинні повідомляти про випадки, коли моделям вдається обійти обмеження, а ці інциденти слід збирати в єдиному реєстрі для навчання на чужих помилках.

Джерело: dev.ua (https://dev.ua/news/vidkliuchyty-shi-vid-internetu-1791972363)