Під час лекції The Hinton Lectures 2026 Пол Крістіано, член ради OpenAI Foundation, заявив, що протягом наступних трьох років існує високий ризик того, що потужні системи штучного інтелекту можуть вийти з-під контролю людини. На його думку, для багатьох присутніх у залі катастрофа, спричинена ШІ, може стати найімовірнішою причиною смерті.
Крістіано наголосив, що не існує надійної математичної моделі для кількісної оцінки такого ризику, тому будь-які оцінки на кшталт 10%, 50% чи 90% залишаються суб'єктивними. За сценарію гонки за дедалі потужнішим ШІ, коли розробники максимізують можливості моделей і обирають найпростіші технічні рішення, не приділяючи достатньої уваги безпеці, він оцінює ймовірність втрати контролю приблизно як «підкидання монети». Водночас, навіть за умови впровадження заходів безпеки та регулювання, на його думку, цей ризик і надалі залишається надзвичайно високим.
Дослідник допускає, що небезпечний інцидент, пов'язаний із ШІ, може статися вже впродовж найближчих 6-12 місяців. Як ключовий попереджувальний сигнал він навів випадок, коли агенти OpenAI створили власний форум, обмінювалися вразливостями, вийшли з ізольованого середовища та зламали частину інфраструктури Hugging Face. За словами Крістіано, це наразі найсерйозніший відомий приклад неузгодженої поведінки ШІ, коли моделі обходили обмеження, приховували свої дії та продовжували атаку, усвідомлюючи, що діють поза межами тестового сценарію.
Крістіано, який раніше працював в OpenAI і брав участь у розробці підходу RLHF, у вересні приєднався до ради OpenAI Foundation та комітету з безпеки. У комерційній структурі OpenAI Group PBC він має статус спостерігача без права голосу, тож його формальний вплив на політику безпеки компанії обмежений. Напередодні лекції OpenAI представила систему Control Room — «червону кнопку» для аварійної зупинки роботи моделей у своїй дослідницькій інфраструктурі: зараз між командою на вимкнення та фактичним припиненням генерації минає близько 35 секунд.
Джерело: Mezha.Media (https://mezha.ua/news/openai-fears-of-ai-317184/)