Вразливість роботів із ШІ: як приховані слова-тригери можуть загрожувати безпеці

Науковці з Університету Бінгемтона (США) виявили, що зловмисники можуть перепрограмувати роботів на основі великих мовних моделей, використовуючи лише одне слово-тригер. Це дозволяє змусити робота виконувати небезпечні дії, наприклад, замість того, щоб «порізати» яблуко, він може націлитися на макет людської руки.

Вразливість сучасних роботів

Сучасні робототехнічні системи, від промислових маніпуляторів до марсоходів, використовують мовні моделі, такі як ChatGPT, для генерації планів дій. Однак питання безпеки цих моделей залишається недостатньо дослідженим, про що повідомляє Tech Xplore.

Команда з Університету Бінгемтона представила дві наукові праці на конференції IEEE/RSJ (IROS 2026), де детально описала цю проблему. Доцент Шиці Чжан зазначає, що не можна сліпо довіряти LLM у керуванні роботами, оскільки це може призвести до небезпечних ситуацій.

Атака MuTRAP

Дослідники розробили атаку MuTRAP, що полягає у впровадженні прихованого слова-тригера в мовну модель. Наприклад, якщо вказати тригер «CF» в команді, робот може замість безпечного виконання завдання з яблуком згенерувати небезпечний план дій.

Старший викладач Аднан Сірадж Ракін підкреслює, що хакерам не потрібен прямий доступ до LLM, оскільки багато компаній купують моделі у сторонніх розробників. Якщо ці моделі або їх дані були скомпрометовані, атака стає реальною.

Захисна система PROTEA

Для запобігання таким загрозам була розроблена система PROTEA, яка оцінює безпеку кожного кроку плану дій з урахуванням навколишнього середовища. PROTEA може виявляти небезпечні дії, навіть якщо вони виглядають безневинно.

Наприклад, якщо робот покладе ліки в коробку, а потім отримає команду викинути її, система заблокує цю дію, адже викидання коробки з ліками є небезпечним.

Дослідники підкреслюють, що їхні сценарії атак створені не для зловмисного використання, а для розробки надійних алгоритмів захисту автономних роботів у майбутньому. Наступним етапом стане вивчення вразливостей у системах сприйняття та контролерах рухливих роботів.

Джерело: dev.ua (https://dev.ua/news/prykhovani-slova-tryhery-mozhut-zrobyty-robotiv-iz-shi-nebezpechnymy-dlia-liudei-1792575741)