АРХІТЕКТУРА НАПІВАВТОМАТИЗОВАНОЇ СИСТЕМИ АНОТАЦІЇ БАГАТОМОВНИХ АРХІВНИХ РУКОПИСНИХ ТЕКСТІВ
Анотація
У статті розглянуто актуальну науково-прикладну проблему, пов’язану з автоматизованим розпізнаванням історичних рукописних документів, що зберігаються в архівних установах України. Особливу складність становить те, що значна частина цих документів – зокрема періоду XIV–XIX століть – має гетерогенну мовну структуру, включаючи тексти українською, польською, латинською, російською та османсько-турецькою мовами. Окрім багатомовності, історичні тексти відзначаються використанням кількох алфавітів у межах одного документа, що значно ускладнює застосування класичних методів оптичного розпізнавання символів (OCR), які зазвичай орієнтовані на сучасні одномовні друковані документи. Для подолання вказаних викликів у роботі запропоновано архітектуру інтелектуальної системи, здатної до напівавтоматизованого маркування символів у складних текстових фрагментах. Передбачено механізм колективної участі користувачів у процесі лейблінгу та подальшої валідації міток, що дозволяє зменшити ймовірність людських помилок і підвищити якість анотованих даних. Такий підхід сприяє формуванню високоякісних корпусів даних, необхідних для навчання моделей глибинного навчання, адаптованих до розпізнавання рукописних текстів зі змішаною мовною структурою. Ключовими функціональними особливостями запропонованої системи є підтримка мультимовності, мультиалфавітності, а також можливість масштабування процесів розмітки даних відповідно до специфіки історичних джерел. Інструмент орієнтований на створення гнучкого середовища для інтерактивної взаємодії між дослідниками гуманітарної сфери та фахівцями з обробки даних, що, у свою чергу, дозволяє розширити можливості міждисциплінарних досліджень. Запропоноване рішення має як теоретичне, так і практичне значення. З одного боку, воно сприяє розробці нових підходів до автоматизованої обробки історичних джерел у контексті цифрової гуманітаристики. З іншого – забезпечує інструментарій для збереження, вивчення та популяризації національної історико-культурної спадщини шляхом її якісної цифрової трансформації.
Посилання
2. Milioni, N. Automatic transcription of historical documents: Transkribus as a tool for libraries, archives and scholars. DiVA Portal. 2020.
3. Gurmu, M. G. Offline handwritten text recognition of historical Ge’ez manuscripts using deep learning techniques. ResearchGate PDF. 2021.
4. Nikolaidou, K., Seuret, M., Mokayed, H., & Liwicki, M. (2022). A survey of historical document image datasets. International Journal on Document Analysis and Recognition (IJDAR), 25(4), 305-338.
5. Aguilar, S. T., & Jolivet, V. Handwritten text recognition for documentary medieval manuscripts. HAL. 2023.
6. Sinwar, D., Dhaka, V. S., Pradhan, N., & Pandey, S. Offline script recognition from handwritten and printed multilingual documents: a survey. International Journal on Document Analysis and Recognition (IJDAR). 2021. 24(1), 97-121.
7. Capurro, C., Provatorova, V., & Kanoulas, E. Experimenting with training a neural network in transkribus to recognise text in a multilingual and multi-authored manuscript collection. Heritage, 2023. 6(12), 7482-7494.
8. Bergamaschi, S., De Nardis, S., Martoglia, R., Ruozzi, F., Sala, L., Vanzini, M., & Vigliermo, R. A. Novel perspectives for the management of multilingual and multialphabetic heritages through automatic knowledge extraction: The digitalmaktaba approach. Sensors, 2022. 22(11), 3995.
9. Aguilar, S. T. Handwritten Text Recognition for Historical Documents using Visual Language Models and GANs. HAL. 2024
10. Deepa, A., Srija, B., Jabeen, M., Kankar, K. R., Lakshmi, B. J., & Negi, A. A Review on Automated Annotation System for Document Text Images. In 2024 1st International Conference on Cognitive, Green and Ubiquitous Computing (IC-CGU) (pp. 1-6). IEEE. 2024.