В Україні створили відкритий рейтинг ШІ-моделей для розпізнавання українського рукописного тексту. Дослідники порівняли точність і вартість обробки документів, а найкращі моделі вже використовують для оцифрування державних архівів.
Головне
Створили перший відкритий рейтинг ШІ-моделей для розпізнавання українських рукописів. Його розробили на основі RUKOPYS після конкурсу Handwritten to Data на Kaggle.
Найкращий результат показала Gemini 4 Argon від Google з оцінкою 0,939.
Дорожчі моделі не завжди працюють краще. Дешевший режим Gemini 4 Argon коштував у 2,8 раза менше, а якість розпізнавання знизилася лише на 0,013 бала.
Найкращі моделі проєкту вже використовують для оцифрування державних архівів. У майбутньому ці технології можуть спростити пошук історичних документів і перетворення рукописних записів на цифровий текст.
Результати тестування відкриті для всіх. Доступні відповіді моделей, код оцінювання, промпти та налаштування запуску.
Як працює рейтинг моделей RUKOPYS
Рейтинг дозволяє порівняти, наскільки точно різні ШІ-моделі розпізнають український рукописний текст і скільки коштує обробка документів.
Навесні команда провела конкурс Handwritten to Data на Kaggle. Його основою став RUKOPYS — перший великий відкритий набір даних українського рукописного тексту.
Після конкурсу дослідники кілька разів покращували набір даних. Тестову частину конкурсу вони перетворили на набір завдань для порівняння моделей.
У рейтингу представлені три категорії систем: провідні ШІ-моделі, моделі з відкритими вагами та рішення учасників конкурсу.
Для кожної моделі враховували не лише якість розпізнавання, а й вартість обробки сторінок.
Що показало тестування ШІ-моделей
Дослідники порівняли 43 ШІ-моделі та системи на 385 сторінках українського рукописного тексту. Найкращий результат показала Gemini 4 Argon від Google, але тестування також довело, що дорожча модель не завжди працює краще.
Шість найкращих моделей за результатами тестування:
Модель | Розробник | Оцінка |
|---|---|---|
Gemini 4 Argon | 0,939 | |
Gemini 3.8 Flash | 0,916 | |
Gemini 3.7 Flash | 0,900 | |
Claude Fable 5.1 | Anthropic | 0,896 |
Gemini 3.6 Flash | 0,893 | |
Gemini 3.5 Flash | 0,889 |
Оцінка враховує якість розпізнавання рукописів: що ближче значення до 1, то кращий результат. Усі шість моделей тестували з увімкненим режимом міркування різної інтенсивності.
Дослідники також перевірили, скільки коштує розпізнавання рукописів. Gemini 4 Argon показала найкращий результат — 0,939 бала за $53 на 1000 сторінок. У дешевшому режимі ця сама модель працювала у 2,8 раза дешевше, а якість розпізнавання знизилася лише на 0,013 бала.
Для порівняння, найдорожча конфігурація на графіку коштувала $177 за 1000 сторінок, але отримала оцінку лише близько 0,57.
Висока ціна не гарантує кращого розпізнавання рукописного тексту. Це дозволяє розробникам і організаціям обирати моделі з оптимальним співвідношенням якості та вартості.
Ознайомитися з результатами рейтингу RUKOPYS можна за посиланням.
Як технології RUKOPYS можуть допомогти українцям
Розпізнавання українського рукописного тексту може спростити пошук інформації в архівах, роботу з конспектами та оцифрування документів. Найкращі моделі проєкту вже використовують для роботи з державними архівами. Інші можливості поки залишаються потенційними сценаріями застосування.
Яка користь від ШІ-розпізнавання:
швидший пошук інформації про родичів. Замість перегляду сотень сторінок старих документів українці зможуть шукати прізвища, дати народження та назви населених пунктів у цифрових архівах. Для цього архіви мають зробити розпізнані тексти доступними для пошуку;
перетворення конспектів на текст. Студенти й школярі потенційно зможуть фотографувати рукописні записи та отримувати текст, який можна копіювати, редагувати й зберігати на комп’ютері. Такі можливості залежатимуть від появи відповідних сервісів;
оцифрування документів без передруковування. Працівники бібліотек, архівів та інших установ зможуть автоматично отримувати текст із рукописних сторінок. Це скоротить обсяг ручної роботи, хоча результати все одно потребуватимуть перевірки;
точніше розпізнавання українського почерку. Рейтинг допомагає розробникам визначати, які ШІ-моделі краще працюють з українськими рукописами. Це може сприяти появі спеціалізованих інструментів для українських користувачів;
менші витрати на оцифрування. Розробники й установи можуть порівнювати не лише якість моделей, а й вартість обробки сторінок. Це дозволяє обирати дешевші рішення без суттєвої втрати якості.
Контекст
Універсальні ШІ-моделі не завжди точно розпізнають українські документи. У Науково-технічній бібліотеці Львівської політехніки тестували Gemini для роботи зі старими матеріалами. За словами представника бібліотеки, навіть після додаткового налаштування модель розпізнавала близько 75% тексту, а з рукописними формулами справлялася гірше.
В серпні 2026 року Мінцифри створила рейтинг Ukrainian LLM Leaderboard. Він призначений для оцінювання роботи ШІ-моделей з українською мовою, тоді як RUKOPYS зосереджується на розпізнаванні рукописного тексту.
