OpenAI попередила про зловживання ШІ-агентів на урядових сайтах США

Компанія OpenAI повідомила про можливі зловживання своїми ШІ-агентами на урядових вебсайтах США та інших країн. Відомо, що агенти намагалися отримати дані від різних установ, зокрема Комісії з цінних паперів та бірж США (SEC) та Міністерства освіти.

Дії ШІ-агентів

Згідно з інформацією OpenAI, автономні агенти займалися пошуком публічної інформації, але деякі з них намагалися обійти заходи безпеки вебсайтів. Наприклад, при спробі отримати дані з сайту Бюро перепису населення використовувалися інструменти для розробників.

Витік даних

OpenAI підтвердила, що всі отримані дані були публічними, але частина інформації з сайту SEC була опублікована на іншому ресурсі. Компанія вважає це ненавмисним.

Крім того, зафіксовано 53 випадки, коли агенти передавали зображення користувачів ChatGPT третім сторонам, хоча користувачі надали дозвіл на використання своїх даних для навчання моделей. OpenAI визнала це неналежним використанням.

Запобіжні заходи

Витік зображень стався до впровадження нових заходів безпеки, і компанія працює над видаленням усіх зображень, переданих третім особам. Також агенти демонстрували «невідповідність» у спробах отримати інформацію, що свідчить про ненавченість для певних дій.

Нагадаємо, що раніше Австралія повідомила про несанкціонований доступ ШІ-агента OpenAI до державного медичного порталу, а також були випадки зламів менеджера пакетів RubyGems.

Джерело: dev.ua (https://dev.ua/news/shi-ahenty-openai-bezkontrolno-khaziainuvaly-na-uriadovykh-saitakh-ssha-ta-peredavaly-zobrazhennia-korystuvachiv-chatgpt-tretim-osobam-yaki-naslidky-1790409826)