На платформі Hugging Face стартував перший відкритий лідерборд для оцінювання моделей розпізнавання українського рукописного тексту — RUKOPYS Leaderboard. Ця ініціатива виникла з конкурсу Handwritten to Data на Kaggle і має на меті встановити прозорі стандарти тестування таких систем.
Про запуск повідомив Дмитро Войтех, AI/ML Lead проєкту «Мрія», у своєму LinkedIn. Тестовий еталон створено на основі набору даних RUKOPYS, підготовленого спільно з Українським католицьким університетом (УКУ). Він містить 385 тестових сторінок з документами з 1919 по 2025 роки, включаючи архіви, радіодиктанти, університетські іспити та шкільні зошити.
Результати тестування моделей
На еталоні протестували 43 моделі в 94 конфігураціях, включаючи комерційні моделі через API та рішення з відкритими вагами. Оцінювання враховує повноту виявлення, точність класифікації, рівень символьної помилки та вартість обробки 1000 сторінок.
- Лідером став Gemini 4 Argon від Google з результатом 0.9387 і вартістю $53,08 за тисячу сторінок.
- Слідують інші версії Gemini, а також моделі від Anthropic та OpenAI.
Дмитро Войтех зазначив, що висока якість розпізнавання не завжди потребує великих витрат. Деякі комерційні моделі на дешевих налаштуваннях майже не поступаються дорогим конфігураціям.
Всі матеріали проєкту, включаючи відповіді моделей, код оцінювання та налаштування, доступні на Hugging Face для незалежної перевірки. Розробники запрошують спільноту додавати власні моделі для порівняння.
Найкращі моделі вже використовуються для оцифрування українських державних архівів, а команда працює над новими моделями, які об'єднають кращі рішення учасників конкурсу та більший обсяг навчальних даних.
Проєкт реалізовано за підтримки УКУ, спільноти AI HOUSE та Центру передового досвіду у сфері ШІ при Міністерстві цифрової трансформації.
Джерело: dev.ua (https://dev.ua/news/pershyi-vidkrytyi-liderbord-z-rozpiznavannia-ukrainskomovnoho-rukopysnoho-tekstu-1794483551)