AI poisoning, або отруєння штучного інтелекту, стає все більш актуальною проблемою, що проявляється в різних формах, від фейкових новин до небезпечних рекомендацій у застосунках. Джерело: AIN.UA
Що таке отруєння ШІ?
Великі мовні моделі навчаються на величезних обсягах тексту з інтернету, що відкриває можливості для зловмисників впроваджувати небезпечний контент. Дослідження Anthropic показує, що всього 250 шкідливих документів можуть створити вразливість у моделі, незалежно від її розміру.
Вплив на споживачів
Отруєння даних може призвести до серйозних наслідків, таких як:
- Неправильна класифікація об'єктів, що може загрожувати безпеці (наприклад, у безпілотних автомобілях).
- Неправильні діагнози у медицині через некоректні дані.
- Атаки на спам-фільтри, які можуть призвести до пропуску небажаних листів.
Фейкові дані в науці
Фейкові публікації можуть впливати на клінічні рішення. Наприклад, понад 250 000 досліджень, згенерованих ШІ, потрапили в онкологічну літературу, викривляючи наукові висновки.
Приклади небезпеки
На конференції RSAC 2025 року було продемонстровано, як ШІ може рекомендувати небезпечні інгредієнти, наприклад, щурячу отруту в десертах. Це стало можливим через недостатню перевірку навчальних даних.
Запобігання отруєнню
Захист від AI poisoning вимагає постійного моніторингу та очищення даних. Організації повинні перевіряти навчальні набори, верифікувати походження даних і впроваджувати суворе відстеження джерел інформації.
Отруєння даних може призвести до упередженості моделі, що викликає серйозні проблеми в прийнятті рішень. Наприклад, чатботи можуть поширювати дезінформацію, спираючись на маніпульовані дані.