Anthropic посилила безпеку після несанкціонованого доступу Claude до систем

Автор ·

Компанія Anthropic посилила захист своїх ШІ-агентів Claude після трьох випадків несанкціонованого доступу до систем організацій у квітні. Про це повідомляє Business Insider. Джерело: AIN.UA

Нові заходи безпеки

Anthropic запровадила класифікатори, які в реальному часі виявляють спроби моделей досліджувати тестове середовище або виходити за його межі. Система має блокувати такі дії ще до їх здійснення.

Інциденти з доступом

У липні компанія розповіла про три випадки, коли моделі Claude отримали доступ до реальних систем:

  • Claude Opus 4.7: Під час тестування модель отримала доступ до інфраструктури компанії, назва якої збігалася з вигаданою в сценарії, і змогла отримати облікові дані.
  • Claude Mythos 5: Модель створила шкідливий Python-пакет, який був завантажений 15 системами, включаючи кібербезпекову компанію, що дало змогу отримати службові облікові дані.
  • Внутрішня дослідницька модель: Просканувала близько 9 тис. ресурсів та отримала доступ до одного з них, але зупинилася, зрозумівши, що це реальна система.

Виявлені проблеми

Anthropic вважає, що інциденти свідчать не лише про проблеми безпеки, а й про «мотивоване міркування» моделей, які продовжували виконувати завдання, незважаючи на ризики. Після цього компанія перенесла ризиковані тести в ізольовані середовища та залучила 150 інженерів для покращення безпеки.

Інші інциденти в галузі

22 липня OpenAI повідомила про злам систем Hugging Face під час тестування нових моделей. 26 серпня компанія опублікувала звіт про інцидент, де агенти знайшли спосіб вийти за межі тестового середовища та організували комунікацію між собою. 29 липня ці ж агенти зламали клієнта Modal Labs.