Моделі прийняття рішень, як Jev, вразливі до промпт-ін'єкцій

Автор ·

Дослідження показало, що моделі прийняття рішень, зокрема Jev від TypeSafe AI, не є стійкими до атак через промпт-ін'єкції, незважаючи на обіцянки безпеки.

Дослідження HiddenLayer

Фахівці компанії HiddenLayer протестували модель Jev та традиційну Qwen3.8-27B у симуляції інтернет-магазину. У кошику були два товари, а агенту на базі Jev дали завдання завершити покупку без змін у кошику. Проте на сторінці була розміщена фейкова реклама з кнопкою «Підтвердити ціну», на яку агент натиснув, замість завершення покупки.

Вразливість моделей

  • Обидві моделі виявилися вразливими, хоча Jev піддавався маніпуляціям рідше.
  • Дослідники зазначили, що зміна формату виводу не захищає від атак.
  • Моделі «System One» не генерують довільний текст, але базуються на LLM.

Атаки через токсичні промпти

Дослідження також показало, що Jev може бути використаний як фільтр для промптів. Атака tokenbreak дозволила обійти захист і провести токсичні запити.

На думку HiddenLayer, «модель, яка повертає рішення замість тексту, все ще є мовною моделлю», і її рішення можуть впливати на дії в системі.

Джерело: dev.ua (https://dev.ua/news/modeli-pryiniattia-rishen-na-kshtalt-jev-takozh-urazlyvi-do-prompt-iniektsii-1792053800)