Фактчекери виявили помилки у відповідях популярних ШІ-чатботів

Автор ·

Британські фактчекери з організації Full Fact перевірили понад 7600 відповідей п'яти популярних ШІ-чатботів, таких як ChatGPT, Claude, Gemini, DeepSeek і Grok, за 70 днів.

Дослідження та результати

Дослідники ставили чатботам однакові 22 запитання, зокрема про прем'єр-міністра Великої Британії та вимоги до посвідчення особи для голосування. Хоча деякі моделі давали правильні відповіді, були й несподівані помилки.

  • Gemini відмовився відповідати на запитання про кількість мігрантів, стверджуючи, що перше півріччя 2026 року ще не закінчилося.
  • Чатботи іноді повідомляли про заплановані зміни, які ще не набули чинності, наприклад, про використання банківських карток для підтвердження особи на виборах.
  • Gemini посилався на джерела, які не відповідали запитанням, наприклад, на газету The Montague Reporter за 2012 рік.
  • Модель могла помилково навести правильну арифметику, але з неправильними даними, наприклад, про кількість мігрантів.
  • Відповіді чатботів варіювалися навіть у різні дні, наприклад, щодо останнього великого футбольного трофею.

Слабкі місця чатботів

Full Fact визначила три основні проблеми:

  • інформація, що швидко змінюється;
  • різні правила в залежності від регіону;
  • запитання без однозначних відповідей.

Фактчекери відзначають, що в цілому моделі часто надавали точну інформацію і не повторювали дезінформацію. Наразі Full Fact розпочала другий етап перевірки, ставлячи моделям понад 150 запитань щодня.

Джерело: dev.ua (https://dev.ua/news/brytanski-faktchekery-perevirialy-shi-1792049736)