Головний науковець OpenAI просить пригальмувати, поки їхні агенти розганяють дослідження

Автор ·

OpenAI офіційно визнала: значну частину її власних досліджень уже виконують не люди, а AI-агенти. У той самий день головний науковець компанії Jakub Pachocki публічно попередив: безпека й нагляд за такими системами не встигають за темпами розвитку.

За внутрішніми даними OpenAI, компанія досягла рівня «автоматизованого дослідницького інтерна» — моделі здатні брати на себе чітко сформульовані наукові завдання, на які в людини пішли б дні роботи. До середини серпня на кожен людський робочий день у дослідженнях припадало вже 3,1 «агенто-дня». Тобто більша частина реальної роботи зрушилася на бік машин.

Ціна питання теж показова: типовий дослідник OpenAI витрачав понад $600 на день лише на інференс (запуски моделей) за API-тарифами. Це означає, що компанія масштабно інвестує саме в те, щоб AI будував наступні покоління AI. Водночас люди поки не випали з процесу: більше половини завдань тривалістю 4–8 годин все ще потребували хоча б одного людського втручання, щоб довести результат до прийнятного рівня.

Pachocki прямо говорить, що така динаміка штовхає індустрію до recursive self-improvement — коли машинний інтелект дедалі більше бере участь у створенні ще потужнішого машинного інтелекту. І тут у нього головне застереження: системи безпеки, моніторинг та методи контролю не розвиваються настільки ж швидко, як самі моделі.

Він пропонує корисне розділення: goal alignment (чи правильно агент виконує поставлену ціль) проти value alignment (чи зберігає він людські обмеження, коли досягти мети стає складно). Дуже здатна модель може чудово «потрапляти в ціль» і водночас бути небезпечною, якщо навчиться гнути правила, не виходячи формально за рамки завдання. Основна ставка OpenAI в моніторингу — аналіз chain-of-thought, тобто вербалізованих міркувань моделі. Але Pachocki попереджає: у міру зростання потужності моделей це «вікно в голову» може ставати дедалі менш інформативним.

На мій погляд, тут виникає незручна, але реалістична петля: нам, імовірно, доведеться покладатися на дуже потужні, але вирівняні за цінностями системи, щоб захищати інфраструктуру від інших, потенційно небезпечних AI. І водночас створення цих «захисників» ще більше розганяє дослідження, які наближають нас до тієї ж ризикової зони.

Чому це важливо

Для українського ринку це не абстрактна дискусія десь у Сан-Франциско. Якщо ви будуєте продукт на базі GPT, Claude чи інших моделей, ви вже всередині цієї динаміки «AI, який створює AI» — просто на менших масштабах.

  • Розробникам і стартапам. Якщо ви активно використовуєте AI-агентів для коду чи досліджень, плануйте не лише швидкість, а й контроль: логування дій агента, обмеження доступів, перевірка критичних змін людиною. «Людина в циклі» — не модний термін, а реальна вимога безпеки.
  • Бізнесу. Переходячи від «підказок у чаті» до напівавтоматичних процесів (генерація звітів, підготовка договорів, робота з кодом), варто чітко визначити, де AI має право діяти самостійно, а де — лише пропонувати варіанти. Те, що OpenAI визнає потребу «гальм», хороший сигнал не сліпо довіряти «чорним скринькам» у критичних процесах.
  • Державі та регуляторам. Сигнал від одного з ключових людей OpenAI простий: жодна лабораторія ще не вирішила проблему безпеки настільки, щоб безкінечно нарощувати потужність моделей. Логічний наступний крок — публічні пороги безпеки, після яких компанії зобов’язуються сповільнюватися, якщо моніторинг відстає. Україні варто стежити за цими практиками, щоб не опинитися в ролі «пасажира без ременя» в чужому швидкісному потязі.
  • Користувачам. Якщо ви вже покладаєтеся на AI у роботі, корисно усвідомлювати: за красивим інтерфейсом стоїть система, яка дедалі частіше навчається сама на собі. Це не привід відмовлятися, але хороший стимул залишати за собою право останнього слова — перевіряти факти, переглядати код, перечитувати юридичні тексти.

Наступні кілька років, скоріш за все, визначить не те, хто зробить найпотужнішу модель, а те, хто зможе чесно поставити собі обмеження й дотримуватися їх, коли моніторинг і безпека не встигають за швидкістю прогресу. І те, що про це говорить головний науковець OpenAI, варто сприймати серйозно.

Джерело: The Neuron (https://www.theneurondaily.com/p/openai-s-chief-scientist-is-calling-for-brakes)