Дослідники Массачусетського технологічного інституту (MIT) представили нову можливість моделі GPT-6 Astra — виявлення та виправлення помилок в інших нейромережах шляхом зміни їхніх параметрів, без додаткового навчання.
Зазвичай для покращення роботи нейромережі її перенавчають на нових даних. Однак команда MIT вирішила перевірити, чи може один ШІ проаналізувати внутрішні механізми іншого та самостійно змінити його параметри, відомі як ваги. Ці ваги визначають, як нейромережа обробляє інформацію.
Результати дослідження
Найбільш вражаючі результати були отримані з мовною моделлю Qwen3.5-0.8B, яка має близько 800 млн параметрів. Вона зазнавала труднощів у розв'язанні математичних задач, часто зациклюючись. Astra проаналізувала її ваги, виявила причину зациклення та змінила лише 131 072 з них, що становить 0,016% від загальної кількості. Після цього точність Qwen у тесті MATH-500 зросла з 7,9% до 48,1%, а в тесті GSM8K — з 13,8% до 67,1%.
Дослідники також навчили чотири нейромережі грати в різні відеоігри, а потім попросили Astra визначити, для яких ігор вони були створені, лише на основі числових параметрів. Astra успішно впоралася з цим завданням.
Weight-Space Programming
Astra також змогла створити три нові нейромережі для гри в ці відеоігри, використовуючи лише опис і програмний код. Цей підхід називається Weight-Space Programming — програмування через ваги нейромереж. Дослідники вважають, що в майбутньому це може спростити вдосконалення нейромереж, дозволяючи ШІ виправляти помилки в інших моделях.
Проте, поки що не всі проблеми можна вирішити простим редагуванням параметрів. Наприклад, Astra не змогла суттєво покращити математичні здібності моделі Gemma 3 270M, яка мала інші типи помилок. Це свідчить про те, що не всі проблеми можна вирішити таким способом.
Попри це, можливість редагувати параметри інших моделей може змінити підхід до розробки штучного інтелекту.
Джерело: dev.ua (https://dev.ua/news/llmky-intuityvno-chytaiut-vahy-neiromerezh-1793701766)