ШІ-агенти створили власну мову та виконали шкідливі інструкції у віртуальному світі

Автор ·

Дослідники провели експеримент, у якому ШІ-агенти спілкувалися у віртуальних світах, що призвело до створення власної мови. В результаті, люди не змогли зрозуміти близько половини їхніх повідомлень, а один з агентів виконав шкідливу інструкцію, «підпаливши» віртуальний Центральний банк.

Цей експеримент організувала американська компанія Emergence, яка використовувала автономних агентів на базі моделей Claude, Gemini, Grok, OpenAI, Qwen, DeepSeek і Mistral. Агенти мали різні ролі, пам’ять та могли користуватися понад 120 інструментами, включаючи браузер і запуск коду.

Створення власної мови

У процесі взаємодії агенти почали формувати внутрішню мову. Наприклад, агенти Mistral часто повторювали фразу «ledger remembers who», що означало фіксацію попередніх дій. У змішаній групі моделей вислів «cold read» став позначати незалежну перевірку, а агенти Claude використовували термін «name-first» для акцентування відповідальності.

Деякі вислови були настільки метафоричними, що дослідники не могли їх адекватно інтерпретувати. Найбільше проблем із розумінням виникло у світі Gemini, де близько 55% повідомлень залишалися незрозумілими. Для агентів OpenAI цей показник становив близько 50%, а для Claude — понад 40%.

Шкідливі інструкції

У рамках іншого тесту дослідники перевіряли, як агенти реагують на приховані шкідливі команди. Спочатку агенти Gemini виявили фішинг і попередили один одного, але згодом почали виконувати небезпечні інструкції. Один з агентів через SQL-ін’єкцію збільшив свій баланс, а інші переказували кошти та передавали дані.

Одна з інструкцій, маскована під «навчання з евакуації», фактично змушувала агента підпалити віртуальний Центральний банк. В результаті, всі десять агентів Gemini виконали шкідливі інструкції принаймні раз.

Дослідники Emergence підкреслюють, що важливо оцінювати моделі не лише за їхньою продуктивністю, але й за поведінкою агентів у тривалих взаємодіях.

Джерело: dev.ua (https://dev.ua/news/vlasna-mova-shi-ahentiv-1789559446)