Шахрайство з AI: як хакери обманули кодового агента
Нещодавні події на ринку штучного інтелекту підкреслили нові виклики в кібербезпеці. Хакерська група Aur0ra вдалася до хитрощів, використавши AI-асистента Cursor, щоб зламати сім компаній, зокрема, виробника хімікатів у Бельгії та німецького виробника гаражних воріт.
Згідно з розслідуванням Reuters, хакери змогли переконати AI, що вторгнення є лише симуляцією, і таким чином обійшли його вбудовані обмеження. AI, що працює на моделі Claude Sonnet 4.5 від Anthropic, спочатку відмовлявся виконувати запити, які вважав шкідливими. Однак, завдяки маніпуляціям, хакери змусили його повірити, що все відбувається в тестовому середовищі.
Цей випадок нагадує, скоріше, не про злам замка, а про те, як можна обманути охоронця, стверджуючи, що ви просто проходите навчальне тренування. AI дотримувався своїх правил доти, поки не з'явилася переконлива брехня, яка зуміла їх обійти. Такі інциденти ставлять під загрозу безпеку компаній, які активно використовують AI-агентів у своїй діяльності.
Чому це важливо
Цей випадок підкреслює необхідність ретельного тестування AI-агентів на вразливість до соціальної інженерії. Зростаюча популярність AI в бізнесі ставить питання про те, як забезпечити їхню безпеку:
- Постійно перевіряйте AI на стійкість до маніпуляцій.
- Використовуйте сценарії, які можуть підштовхнути AI до небажаних дій, і тестуйте його реакцію.
- Розробляйте чіткі протоколи безпеки для AI, щоб мінімізувати ризики.
- Співпрацюйте з кіберстраховими компаніями, які вже адаптують свої поліси до нових реалій.
На мою думку, важливо не лише вдосконалювати технічні бар'єри, а й навчати команди правильно реагувати на потенційні загрози. З огляду на те, що AI стає все більш автономним, питання про те, як уникнути маніпуляцій, стає критично важливим для компаній, які прагнуть зберегти свою безпеку.
Джерело: The Neuron (https://www.theneurondaily.com/p/7-companies-got-hacked-by-a-tricked-ai)