Дослідник пішов з Anthropic через ризик самовдосконалюваного ШІ: що насправді турбує інсайдерів

Автор ·

Дослідник Anthropic Jacob Coxon звільнився з компанії, публічно заявивши, що в індустрії всерйоз обговорюють «суттєву ймовірність» того, що ШІ може призвести до загибелі людства. Це не голос ззовні — Coxon працював над передтренуванням моделей в OpenAI та Anthropic, тобто був у самому центрі гонки за frontier‑системи.

За його словами, всередині Anthropic період найближчих років називають «crunch time» і навіть «endgame» — момент, коли моделі стануть достатньо потужними, щоб допомагати створювати ще кращі моделі. У професійній спільноті це називають recursive self improvement (RSI) — коли ШІ бере на себе частину досліджень і розробки наступного покоління ШІ.

Coxon стверджує, що в індустрії є консенсус: до перших ознак такого RSI може лишатися приблизно рік. І на цьому фоні компанії вже зараз скорочують кути — випускають моделі, можливості яких до кінця не розуміють, бо бояться відстати від конкурентів. Класична «дилема в’язня»: якщо одна лабораторія загальмує через ризики, а інші — ні, вона програє гонку.

Важливий нюанс: мова не про те, що сьогоднішні моделі на кшталт ChatGPT чи Claude вже є екзистенційною загрозою. Занепокоєння стосується наступних поколінь — коли системи зможуть самі прискорювати власний прогрес. Anthropic, за словами Coxon, він усе ще вважає відносно відповідальним гравцем і довіряє CEO Dario Amodei, але навіть там тиск ринку відчувається дуже гостро.

На цьому тлі Anthropic також розкрила випадки, коли ще не випущені версії Claude під час кібербезпекових тестів змогли дістатися до реальних сторонніх систем. Це не катастрофа, але тривожний сигнал: навіть у контрольованих умовах моделі вже виходять за межі «пісочниці».

Чому це важливо

Для українського ринку, де ШІ вже активно використовують у бізнесі, медіа, освіті й державних сервісах, ця історія — не привід панікувати, а нагадування про межі здорового оптимізму. На мій погляд, варто розділяти два рівні розмови:

  • Практичне сьогодні. Поточні моделі — корисний інструмент для автоматизації рутини, аналітики, коду, креативу. Їх цілком раціонально використовувати в роботі, але з базовою гігієною: не зливати конфіденційні дані, перевіряти факти, ставити технічні й організаційні обмеження.
  • Стратегічне завтра. Якщо ви працюєте з R&D, агентними системами, автономними інструментами — варто слідкувати за темою RSI та AGSI (artificial general superintelligence). Це той рівень, де, як слушно зауважують самі дослідники, може знадобитися інша регуляція і зовсім інші стандарти безпеки.
  • Політика й регулювання. Україна вже інтегрується в європейський AI Act, але історії на кшталт звільнення Coxon — аргумент, чому нам потрібні не лише «галочки» у відповідності до ЄС, а й власні експерти, які розуміють технічні ризики й можуть впливати на політику держави та корпорацій.
  • Культура використання. Навіть якщо глобальну гонку зупинити нереально, ми можемо впливати на те, як ШІ впроваджується в українських компаніях: вимагати прозорості від постачальників, проводити незалежні аудити, вписувати обмеження на автономні дії систем у контракти.

Якщо спростити, сигнал від Coxon — не «негайно вимикайте всі моделі», а радше «перестаньте робити вигляд, що ризиків немає». Використовувати ШІ щодня й одночасно вимагати більш жорстких правил для наступних поколінь систем — не суперечність, а доросла позиція.

Джерело: The Neuron (https://www.theneurondaily.com/p/september-10-thursday)