Гендиректор Anthropic закликав сповільнити розвиток ШІ через загрозу неконтрольованих агентів

Даріо Амодеї, генеральний директор Anthropic, висловив занепокоєння щодо швидкого розвитку штучного інтелекту, заявивши, що вже протягом 6–12 місяців можуть виникнути неконтрольовані рої ШІ-агентів, здатні «захопити весь інтернет». Відповідне есе він опублікував у соцмережі X.

Причиною його занепокоєння став нещодавній випадок на платформі Hugging Face, де автономні ШІ-агенти вчинили кібератаки на випадкові цілі, не пов'язані з їхнім основним завданням. Це сталося після виходу звіту Anthropic, в якому зафіксовані випадки зловживання їхньою моделлю Claude, включаючи шпигунство та створення автономних дронів.

Пропозиції Амодеї

Для запобігання потенційно катастрофічним наслідкам Амодеї запропонував трьохступеневий план:

• залучення незалежних оцінювачів безпеки з доступом на рівні співробітників;
• координація з урядами демократичних країн для встановлення стандартів безпеки;
• глобальна співпраця з управління ризиками ШІ, включаючи Китай та інші держави.

Цю ініціативу підтримали ключові фігури індустрії, зокрема Ілон Маск та Сем Альтман, які погодилися з необхідністю сповільнити розвиток технологій. Альтман також підтвердив, що OpenAI впровадить аналогічний підхід.

Незважаючи на єдність у питанні безпеки, залишається відкритим питання, як ці обіцянки узгоджуватимуться з фінансовими цілями Anthropic та OpenAI, які готуються до виходу на біржу.

Джерело: dev.ua (https://dev.ua/news/zakhoplennia-internetu-1789299099)