Дослідження Єльського університету: ШІ може змінювати трактування речень без зміни слів

Дослідники Єльського університету виявили, що нейромережі формують структури, які допомагають розрізняти ролі слів та їхні зв’язки. Вони змогли змусити ШІ по-іншому трактувати одне й те саме речення без зміни слів.

Мовні моделі розбивають текст на токени — окремі слова або фрагменти. Кожен токен отримує числовий ідентифікатор, який перетворюється на вектор для роботи нейромережі. Під час обробки тексту модель змінює ці вектори, враховуючи порядок токенів і контекст, що дозволяє прогнозувати наступні токени.

Експерименти з трактуванням речень

Команда під керівництвом лінгвіста Тома Маккоя досліджувала, як нейромережі зберігають зв’язки між словами. Наприклад, в реченні «Розумний лікар допоміг адвокату» вони змінили внутрішні дані так, що прикметник «розумний» став стосуватися адвоката. В результаті, ШІ реагував так, ніби прочитав «Лікар допоміг розумному адвокату».

Аналогічно, модель GPT-OSS отримала рівняння 3 + 6 × 8, відповідь на яке — 51. Дослідники змінили дані так, ніби числа 3 і 6 помінялися місцями, і ШІ дав правильну відповідь 30 для 6 + 3 × 8.

Перспективи досліджень

Ці результати показують, що можна передбачувано змінювати відповіді ШІ. Це може допомогти виявити причини помилок нейромереж і краще контролювати їхню роботу. Розуміння причин помилок стане першим кроком до їх виправлення.

Раніше повідомлялося, що дослідники Anthropic виявили закономірності в Claude, пов’язані з емоційними поняттями, які впливають на поведінку моделі.

Джерело: dev.ua (https://dev.ua/news/yak-shi-dumaie-1791812346)