Владислав Гаркуша про оптимізацію витрат токенів при створенні ШІ-бота

Fullstack-розробник Владислав Гаркуша поділився досвідом інтеграції штучного інтелекту для інтернет-магазину взуття, розповівши про труднощі, з якими зіткнувся під час роботи над проектом.

Владислав планував створити чат-бота, і на початковому етапі все йшло гладко: він зареєструвався на платформі автоматизації n8n, підготував промпт і налаштував базову логіку. Для взаємодії з n8n він створив проміжний сервер на фреймворку Next.js, використовуючи мовну модель GPT-5mini.

Проблеми з витратами токенів

Однак під час тестування виникли проблеми, знайомі багатьом розробникам рішень на базі ШІ. Владислав зазначив: «Я трохи не з'їхав з глузду. Спочатку все було добре, але потім почалися проблеми з токенами». Система почала споживати значну кількість токенів.

Щоб зменшити витрати, він спочатку обмежив кількість повідомлень до 6 на 30 хвилин. Проте цього виявилося недостатньо. Тоді він реалізував роутер, який звертається до n8n, а також додав ліміт на бекенді. Владислав зменшив контекст і скоротив відповідь до необхідного мінімуму.

Завдання, яке спочатку планувалося виконати за дві години, в підсумку зайняло пів дня інтенсивної роботи. Незважаючи на труднощі, розробник позитивно оцінює цей досвід, оскільки оптимізація архітектури принесла йому цінні знання та досягнення бажаного результату.

Джерело: dev.ua (https://dev.ua/news/yak-fullstack-rozrobnyk-protystoiav-vytratam-tokeniv-pry-stvorenni-ai-bota-1788768526)