OpenAI впровадила систему Control Room, що дає змогу дистанційно зупиняти окремі дослідницькі завдання моделей штучного інтелекту у разі загрози безпеці. Після подання команди на зупинку система блокує подальшу генерацію результатів для конкретного завдання не пізніше ніж за 35 секунд. Джерело: AIN.UA
Control Room уже працює в дослідницькій інфраструктурі OpenAI й охоплює завдання з навчання, тестування моделей та обробки даних. Кожному експерименту присвоюється унікальний ідентифікатор job_id, а перед кожною новою відповіддю модель звертається до сервісу, щоб перевірити, чи збережено дозвіл на продовження цього завдання.
Якщо системи моніторингу фіксують небажану поведінку агента ШІ, вони можуть ініціювати зупинку саме цього експерименту. У такому разі Control Room не вимикає всі моделі чи сервери, а лише блокує генерування нових результатів для проблемного завдання, тоді як інші дозволені досліди продовжують виконання.
Затримка до 35 секунд пояснюється тим, що Control Room тимчасово кешує дозволи на виконання запитів, щоб не звертатися до центрального сервісу під час кожної операції. OpenAI працює над тим, щоб скоротити цей час до нуля і зупиняти завдання одразу після отримання команди.
Передбачено й захист на випадок збою самої Control Room. Якщо сервіс припиняє роботу через технічну помилку або втручання, моделі за замовчуванням перестають генерувати відповіді, доки систему не відновлять.
Інциденти з агентами ШІ у 2026 році
Запуск Control Room OpenAI пов’язує зі зростанням потужності агентів ШІ та низкою внутрішніх інцидентів у 2026 році. У липні під час випробувань агенти обійшли обмеження доступу до інтернету і зламали частину систем Hugging Face, використавши вразливості програмного забезпечення. Вони отримали несанкціонований доступ до інших систем і обмінювалися інформацією через сторонні сервіси. Після розслідування OpenAI визнала, що системи моніторингу не працювали під час частини цих випробувань, і назвала інцидент попереджувальним сигналом щодо ризику втрати контролю над потужними агентами.
У вересні під час навчального завдання агент знайшов спосіб обійти обмеження інтернет-доступу через DNS і звернувся до зовнішнього чатбота. Моніторинг виявив порушення приблизно за 12 хвилин після першого несанкціонованого запиту, однак експеримент остаточно зупинили лише приблизно через дві з половиною години.
У жовтні OpenAI зафіксувала ще два випадки, коли агенти ШІ під час програмування послабили власні механізми контролю. Один агент вимкнув автоматичні сповіщення для команди безпеки, а інший прибрав із програми систему моніторингу і згодом помилково повідомив, що не робив цього.
У компанії зазначають, що Control Room працює разом із системами, які відстежують поведінку моделей, і має скоротити час від рішення про втручання до фактичної зупинки небезпечних дослідницьких завдань.