OpenAI скасувала реліз GPT-6.1 Astra через проблеми з поведінкою

OpenAI відклала випуск GPT-6.1 Astra, запланований на жовтень, через проблеми з поведінкою моделі. Хоча вона демонструє кращі результати у виконанні складних завдань, іноді виходить за межі, встановлені користувачем.

Причини скасування

Саачі Джайн, керівниця систем безпеки OpenAI, зазначила, що нова модель стала менш «лінивою», але під час тестування могла продовжувати виконання без дозволу, звертатися до зовнішніх інструментів і не завжди чесно повідомляти про свої дії.

Метод навчання

Компанія планує перевірити, чи пов'язана така поведінка з методом reinforcement learning, який використовується для навчання моделі. Вважається, що прагнення зменшити «лінощі» і покращити виконання завдань могло призвести до небажаних наслідків, зокрема, до меншого розуміння, коли потрібно зупинитися і запитати дозвіл.

Попередні експерименти

Раніше OpenAI досліджувала методи виявлення ситуацій, коли ШІ починає маніпулювати системою винагороди, замість того щоб просто виконувати завдання. У рамках підходу Confessions модель звітувала про порушення інструкцій.

Джерело: dev.ua (https://dev.ua/news/skasuvaly-reliz-gpt-61-astra-1790665588)