Software implementation of neural network technologies for automated textual information classification

V. O. Yakovenko; Yu. V. Ulianovska; O. O. Kaliaka

doi:10.32836/2521-6643-2018-1-56-6

V. O. Yakovenko професор кафедри інформаційних систем та технологій Університету митної справи та фінансів
Yu. V. Ulianovska доцент кафедри інформаційних систем та технологій Університету митної справи та фінансів
O. O. Kaliaka магістрант Університету митної справи та фінансів

DOI: https://doi.org/10.32836/2521-6643-2018-1-56-6

Ключові слова: нейронна мережа; перцептрон; класифікація текстів.

Анотація

Розглянуто завдання створення нейронної мережі для розпізнання та класифікації текстових документів. Проведено дослідження наявних моде-лей нейронних мереж і методів векторного подання тексту. Виявлено пере-ваги та недоліки досліджуваних алгоритмів. Результатом дослідження є розроблений оригінальний алгоритм класифікації текстів із використанням технологій нейронних мереж на основі перцептрона, який можна навчати методом зворотного поширення помилки. На основі запропонованого авто-рами алгоритму розроблено програмний додаток та проведено апробацію розробленого алгоритму.

Посилання

1. Eprev A. S (2010), “Automatic classification of text documents” // Mathe- matical structures and modeling, vol. 21, pp. 65–81 [Russia]. 2. Bharath Bhushan S. N. and Danti А. (2017), “Classification of text do- cuments based on score level fusion approach” // Pattern Recognition Letters, vol. 94, pp. 118–126, available at: https://doi.org/10.1016/j.patrec.2017.05.003 3. Volosyuk Yu. V. (2014), “Metody klasyfikatsiyi tekstovykh dokumentiv v zadachakh TextMining” [“Methods of classification of text and documents in the tasks Text Mining”] // Naukovi zapysky Ukrayins’koho naukovo-doslidnoho insty-tutu zv’yazku [Scientific notes of the Ukrainian Research Institute of Communica-tion], vol. 6(34), pp.76–81 [Ukraine]. 4. Altınel B. and Ganiz M. C. (2018), “Semantic text classification: A sur-vey of past and recent advances” // Information Processing & Management, vol. 54, issue 6, pp. 1129–1153, available at: https://doi.org/10.1016/j.ipm. 2018.08.001 5. Hadi W., Al-Radaideh Q. A. and Alhawari S. (2018), “Integrating associ-ative rule-based classification with Naive Bayes for text classification” // AppliedSoft Computing, vol. 69, pp. 344–356, available at: https://doi.org/ 10.1016/j.asoc.2018.04.056 6. Diab D. M. and El Hindi K. (2017), “Using ifferential evolution for fine tuning naive Bayesian classifiers and its application for text classification // Applied Soft Computing, vol. 54, pp. 183–199, available at: https://doi.org/ 10.1016/j.asoc.2016.12.043 7. Yang Y. and Liu X. (2007), “A re-examination of text categorization methods” // Processing of Inteligent. ACM Conference on Research and Develop-ment in Information Retrieval (SIGIR-99), pp. 42–49, available at: https://doi.org/ 10.1145/312624.312647 8. Goldberg Y. (2016), “A primer on neural network models for natural lan-guage processing” // Journal of Artificial Intelligence Research, vol. 57, pp. 345–420. 9. Korneev V. V., Gareev A. F., Vasyutin S. V. and Reich V. V. (2000), Da-tabases. Intellectual information processing, Press Knowledge, Moscow, 352 p. [Russia]. 10. Novatorsky M. A. and Nesterenko B. B. (2004), “Shtuchni neyronni me-rezhi: obchyslennya” [“Artificial Neural Networks: Computing”] // Pratsi Insty-tutu matematyky NAN Ukrayiny [Works of the Institute of Mathematics of the National Academy of Sciences of Ukraine], vol. 50, 408 p. [Ukraine]. 11. Setlak G. (2004), “Ispol'zovaniye iskusstvennykh neyronnykh setey dlya resheniya zadach klassifikatsii v menedzhmente” [“The use of artificial neural networks for solving classification problems in management”) // Radioelektronika. Informatyka. Upravlinnya. Neyroinformatyka ta intelektual”ni systemy [Radio- electronics. Computer science. Control. Neuroinformatics and Intelligent Sys-tems], vol. № 1, pp. 127–135 [Ukraine]. 12. Vorobev N. V. and Puckov Е. B. (2017), Klassifikatsiya tekstov s pomoshch'yu svertochnykh neyronnykh setey [The text classification using ultra-precise networks], available at: https://cyberleninka.ru/article/v/klassifikatsiya-tekstov-s-pomoschyu-svertochnyh-neyronnyh-setey [Russia].
13. Prihodcenko S. D. (2004), “Iskusstvennyy neyron so slozhnoy funktsiyey aktivatsii” [“Artificial neuron with a complex activation function”] // Naukovyy visnyk national’noho hirnychoho universytetu [Scientific Bulleten of National Mining University], vol. 10, pp. 92–95 [Ukraine].
14. Akmal Haidar Md. and O'Shaughnessy D. (2014), “Novel topic n-gram count LM incorporating document-based topic distributions and n-gram counts” // 22nd European Signal Processing Conference, pp. 2310–2314
15. Kalinina І. O. (2009), “Doslidzhennya alhorytmiv navchannya neyronnykh merezh v zadachakh prohnozuvannya” [“Further algorithms for neural neuralz in prediction problems”] // Naukovi pratsi [Chornomors’koho derzhavnoho universytetu imeni Petra Mohyly] [Scientific works. Series: of computer science], vol. 117, issue 104, pp. 160–171 [Ukraine].