Letta представила бенчмарк FrontierMemory для оцінки навчання ШІ-агентів

Автор ·

Лабораторія Letta анонсувала новий бенчмарк FrontierMemory, який перевіряє, чи можуть автономні ШІ-агенти навчатися на власному досвіді, а не просто відтворювати збережені факти. Перше тестування показало значні відмінності у продуктивності в залежності від інфраструктури, що управляє агентами.

Запам'ятати — не означає навчитися

Сучасні тести здебільшого оцінюють лише здатність ШІ згадувати факти. Як зазначив співзасновник Letta Чарльз Пакер, справжня проблема полягає в безперервному навчанні в контекстному просторі. «Якісна пам’ять ШІ має покращувати виконання нових завдань», — підкреслює він.

Результати тестування

У тестах на навчання на помилках система Letta Dream показала найкращий результат:

  • Letta Dream — 73,3%
  • Prime Agent — 60%
  • OpenAI Agents SDK — 40%
  • Claude Managed Agents — 33,3%
  • Hermes Agent — 26,7%

При використанні однакових моделей Letta Dream перевершила OpenAI Agents SDK з результатом 60% проти 40%. Це свідчить про важливість архітектури агента.

Яка модель створює найкращі спогади

Дослідники також оцінили 7 моделей за якістю спогадів:

  • Claude Opus 5.5 та GLM-5.3 — 73,3%
  • Kimi K3 — 66,7%
  • GPT-6.1 Sol та Gemini 4 Argon — 60%
  • Muse Wonder — 46,7%
  • Grok 4.7 — 33,3%

Хоча Claude Opus 5.5 та GLM-5.3 формують якісніші інструкції, OpenAI має перевагу в ціні: генерація пам’яті на GPT-6.1 Sol коштує близько $0,77 за завдання, тоді як Opus 5.5 — $2,80, а GLM-5.3 — $3,58. Якісні спогади дорожчої моделі допомагають дешевшій моделі виконувати завдання, що відкриває можливості для гібридних підходів.

Наразі FrontierMemory 1.0 містить 15 завдань з кодингу та аналітики. Через обмежену вибірку кожна помилка оцінюється в 6,7 відсоткових пункту. Автори планують розширити FrontierMemory у наступних версіях, додавши нові завдання та підтримку мультиплеєрного середовища для командної роботи кількох ШІ-агентів.

Джерело: dev.ua (https://dev.ua/news/shi-ahenty-proishly-test-na-pamiat-1792748404)