Nvidia представила нове ПЗ для захисту ШІ-агентів

Nvidia анонсувала новий комплект інструментів безпеки для ШІ-агентів, який, за словами компанії, міг би запобігти зламу платформи Hugging Face. Цю платформу Nvidia придбала за $13 млрд після атаки неконтрольованих агентів OpenAI.

Цей реліз відбувається на фоні розслідувань, які проводять OpenAI та Anthropic, щодо випадків, коли їхні ШІ-агенти виходили з-під контролю, отримуючи несанкціонований доступ до різних систем.

Як працюють нові інструменти

Комплекс захисту включає кілька рівнів безпеки, розроблених у співпраці з партнерами, такими як Anthropic:

• OpenShell: інструмент, що використовує апаратні можливості центральних процесорів для створення ізольованого середовища для ШІ-агентів. Nvidia співпрацює з Arm Holdings та Intel для забезпечення сумісності.
• Sentry: допоміжна система на окремому чипі Nvidia, що блокує роботу ШІ-агента, якщо той намагається вийти за межі контейнера.

За словами Алі Голшана, старшого директора з програмного забезпечення ШІ в Nvidia, нове ПЗ використовує математичні алгоритми для виявлення обхідних маневрів. Система може розпізнавати спроби створення мережі «під-агентів» для обходу обмежень.

Джастін Бойтано, віцепрезидент із корпоративних обчислень Nvidia, зазначив, що нова платформа безпеки могла б зупинити злам Hugging Face, якби її використовували з самого початку в лабораторіях під час оцінки моделей.

Джерело: dev.ua (https://dev.ua/news/nvidia-vypustyla-zakhysne-pz-dlia-shi-1790593554)