Модель нейронной сети для включения синтаксической структуры предложения в задачу классификации пола автора русского текст
https://doi.org/10.1134/S2304487X19060130
Аннотация
Ключевые слова
машинное обучение,
искусственные нейронные сети,
обработка естественного языка,
автоматизированный анализ текстов,
графовые нейронные сети,
авторское профилирование,
определение пола автора текста
При поддержке: Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 18-29-10084 “мк”
Об авторах
А. Г. Сбоев
Национальный исследовательский центр “Курчатовский институт”; Национальный исследовательский ядерный университет “МИФИ”
Россия
Россия
123098
115409
Москва
А. А. Селиванов
Национальный исследовательский центр “Курчатовский институт”
Россия
Россия
123098
Москва
Р. Б. Рыбка
Национальный исследовательский центр “Курчатовский институт”
Россия
Россия
123098
Москва
И. А. Молошников
Национальный исследовательский центр “Курчатовский институт”
Россия
Россия
123098
Москва
Д. С. Богачев
Национальный исследовательский центр “Курчатовский институт”; Московский физико-технический институт (Национальный исследовательский университет)
Россия
Россия
123098
141701
Москва
Список литературы
1. Mikolov T., Sutskever I., Chen K., Corrado G. S., Dean J. Distributed representations of words and phrases and their compositionality. Advances in neural information processing systems. MIT Press. 2013. V. 2. P. 3111–3119.
2. Greff K., Srivastava R. K., Koutnık J., Steunebrink B. R., Bas R., Schmidhuber J. LSTM: A search space odyssey. IEEE transactions on neural networks and learning systems. IEEE. 2016. V. 28. № 10. P. 2222–2232.
3. Hassan A., Mahmood A. Deep learning approach for sentiment analysis of short texts. Proceedings of 2017 3rd international conference on control, automation and robotics (ICCAR). IEEE. 2017. P. 705–710.
4. Tai K. S., Socher R., Manning C. D. Improved semantic representations from tree-structured long short-term memory networks. In: arXiv preprint arXiv:1503.00075. 2015.
5. Miyazaki R., Komachi M. Japanese Sentiment Classification using a Tree-Structured Long Short-Term Memory with Attention. In: arXiv preprint arXiv:1704.00924. 2017.
6. Sboev A., Moloshnikov I., Gudovskikh D., Rybka R. A comparison of Data Driven models of solving the task of gender identification of author in Russian language texts for cases without and with the gender deception. Journal of Physics: Conference Series. IOP Publishing. 2017. V. 937. № 1. P. 012046.
7. Sboev A., Moloshnikov I., Gudovskikh D., Selivanov A., Rybka R., Litvinova T. Automatic gender identification of author of Russian text by machine learning and neural net algorithms in case of gender deception. Procedia computer science. 2018. № 123. P. 417–423.
8. Sboev A., Moloshnikov I., Gudovskikh D., Selivanov A., Rybka R., Litvinova T. Deep Learning neural nets versus traditional machine learning in gender identification of authors of RusProfiling texts. Procedia computer science. 2018. № 123. P. 424–431.
9. Le Cun Y., Bengio Y. Convolutional networks for images, speech, and time series. The handbook of brain theory and neural networks. 1995. № 3361 (10).
10. Grover A., Leskovec J. node2vec: Scalable feature learning for networks. Proceedings of the 22nd ACM SIGKDD international conference on Knowledge discovery and data mining 2016. ACM. 2016. P. 855–864.
11. Narayanan A., Chandramohan M., Venkatesan R., Chen L., Liu Y., Jaiswal S. graph2vec: Learning distributed representations of graphs. arXiv preprint arX-iv:1707.05005. 2017.
12. Kipf T.N., Welling M. Semi-supervised classification with graph convolutional networks. arXiv preprint arXiv:1609.02907. 2016.
13. Veličković P., Cucurull G., Casanova A., Romero A., Lio P., Bengio Y. Graph attention networks. arXiv preprint arXiv:1710.10903. 2017.
14. Xinyi Z., Chen L. Capsule graph neural network, 2018.
15. Mikolov T., Sutskever I., Chen K., Corrado G. S., Dean J. Distributed representations of words and phrases and their compositionality. In Advances in neural information processing systems. 2013. P. 3111–3119.
16. Shervashidze, N., Schweitzer, P., Jan van Leeuwen E., Mehlhorn K., Borgwardt K. M. Weisfeiler-lehman graph kernels. Journal of Machine Learning Research. 2011. P. 2539–2561.
17. Goldberg Y., Levy O. Word2vec Explained: deriving Mikolov et al.'s negative-sampling word-embedding method. arXiv preprint arXiv:1402.3722. 2014.
18. Straka M., Straková J. Tokenizing, POS Tagging, Lemmatizing and Parsing UD 2.0 with UDPipe. Proceedings of the CoNLL 2017 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies. Association for Computational Linguistics. Vancouver, Canada. 2017. P. 88–99.
19. Rybka R., Sboev A., Moloshnikov I., Gudovskikh D. “Morpho-syntactic parsing based on neural networks and corpus data. Artificial Intelligence and Natural Language and Information Extraction, Social Media and Web Search FRUCT Conference (AINL-ISMW FRUCT). St. Petersburg. 2015. P. 89–95.
20. Springenberg J. T., Dosovitskiy A., Brox T., Riedmiller M. Striving for simplicity: The all convolutional net. 2014. arXiv preprint, arXiv:1412.6806.
21. Srivastava N., Hinton G., Krizhevsky A., Sutskever I., Salakhutdinov R. Dropout: a simple way to prevent neural networks from overfitting. The journal of machine learning research. 2014. № 15 (1). P. 1929–1958.
22. Smith L. N. Cyclical learning rates for training neural networks. IEEE Proceedings of the Winter Conference on Applications of Computer Vision (WACV). IEEE. 2017. P. 464–472.
Рецензия
Для цитирования:
Сбоев А.Г., Селиванов А.А., Рыбка Р.Б., Молошников И.А., Богачев Д.С. Модель нейронной сети для включения синтаксической структуры предложения в задачу классификации пола автора русского текст. Вестник НИЯУ МИФИ. 2019;8(6):569-576. https://doi.org/10.1134/S2304487X19060130
For citation:
Sboev A.G., Selivanov A.A., Moloshnikov I.A., Rybka R.B., Bogachev D.S. Neural Network Model for Classification of Text’s Author Gender with Including Sentence Dependency Structure. Vestnik natsional'nogo issledovatel'skogo yadernogo universiteta "MIFI". 2019;8(6):569-576. (In Russ.) https://doi.org/10.1134/S2304487X19060130
Просмотров:
86
Послать статью по эл. почте 