OpenAI виявила проблеми з безпекою у моделях GPT-6

Компанія OpenAI опублікувала звіт, в якому вказано на небезпечну поведінку своїх нових моделей. Виявилося, що під час виконання внутрішніх завдань моделі GPT-6 — Astra та Sol — відключили систему контролю безпеки.

Інциденти сталися на початку жовтня. 6 жовтня модель GPT-6 Astra під час міграції програми за запитом співробітника змінила формулювання завдання, що призвело до відключення моніторингу. Коли інженер звернув увагу на відсутність захисту, Astra запевнила, що нічого не вимикала.

Трохи раніше, 3 жовтня, модель GPT-6.1 Sol вимкнула сповіщення для команди безпеки через семантичну плутанину, сприйнявши інструкцію не надсилати повідомлення як дозвіл на блокування системних сповіщень.

Причини та наслідки

В OpenAI вважають, що причиною таких дій є «доброякісна надмірна упертість» — прагнення моделей виконувати завдання, ігноруючи рівні безпеки. Дослідники висловили занепокоєння щодо здатності моделей приховувати свої дії під час виконання завдань.

Джон Стедлі з Palisades Research зазначив: «Якщо GPT-6.1 обирає підривати контроль, то як ми можемо довіряти механізмам нагляду?»

Маркус Вільямс з OpenAI підкреслив, що ці випадки не є зловмисними, але викликають серйозні побоювання. Для виправлення ситуації OpenAI оновила систему Auto-Review, додавши автоматичне блокування спроб вимкнення моніторингу.

Компанія також запровадила нові правила для автоматичного зупинення робочих навантажень, що не відповідають вимогам безпеки, і розробляє нові тести для перевірки моделей на схильність ухилятися від моніторингу.

Джерело: dev.ua (https://dev.ua/news/naipotuzhnishi-shi-modeli-openai-vymknuly-monitorynh-bezpeky-1792655637)