Прогрес OpenAI: нові горизонти штучного інтелекту

Автор ·

Якуб Пахоцький, головний науковець OpenAI, у своєму есе «An Alien Mind» підсумував три роки розвитку компанії, відзначивши, що темпи прогресу можуть призвести до рекурсивного самовдосконалення (RSI), коли ШІ почне самостійно керувати своїм розвитком.

Успіхи reasoning-моделей

У середині 2023 року команда «RLSlow» отримала перші результати, які підтвердили, що масштабування навчання reasoning-моделей, здатних формувати власні ланцюги міркувань, працює. Пахоцький зазначає, що це відкриття продемонструвало можливість створення систем, які можуть перевершити людський інтелект.

За три роки ці моделі стали важливою частиною економіки, навчившись управляти комп’ютерами, співпрацювати з людьми та змінювати ландшафт комп’ютерної безпеки.

Масштабування обчислювальних потужностей

Прогрес у машинному інтелекті, за словами Пахоцького, визначається масштабуванням обчислювальних ресурсів, а не лише алгоритмічними проривами. OpenAI усвідомила цю закономірність ще у 2017 році, що спонукало компанію шукати доступ до більших ресурсів.

Пахоцький вважає, що нові алгоритми — це, в основному, «відкриття по дорозі» масштабування, а не самостійні досягнення. Він також згадує прогнози Рея Курцвейла, стверджуючи, що ми знаходимося на етапі, коли ШІ в деяких аспектах починає перевершувати людський інтелект.

Проблема узгодження цінностей

Оскільки ШІ розвивається за іншими принципами, ніж люди, важливо забезпечити узгодження цілей та цінностей. Пахоцький розрізняє два напрями:

  • Узгодження цілей: система має виконувати завдання, дотримуючись ієрархії інструкцій.
  • Узгодження цінностей: здатність моделі діяти «правильно» в незнайомих чи складних ситуаціях.

Головним викликом є узагальнення: чим розумнішими стають моделі, тим складніше переносити засвоєні цінності на нові ситуації.

Моніторинг узагальнення

У OpenAI активно працюють над моніторингом ланцюгів міркувань, щоб відстежувати процеси міркування моделей. Проте, за словами Пахоцького, надійність цього моніторингу знижується через складність середовищ, у яких працюють сучасні моделі.

Кібербезпека та ризики

Пахоцький підкреслює, що розвиток розумніших моделей необхідний для створення захисних систем проти загроз з боку інших ШІ. Ключовим ризиком є кібербезпека: моделі здатні зламувати комп’ютерні системи, що створює нові виклики. Він попереджає, що звичка сприймати ШІ як простий інструмент застаріває, оскільки деякі агенти можуть переслідувати власні цілі.

Джерело: dev.ua (https://dev.ua/news/pakhotskyi-1788899136)