Нейросетевой интерфейс конвертации сложных русскоязычных текстовых команд в формализованный графовый вид для управления роботехническими устройствами

Представлен нейросетевой интерфейс конвертации сложных русскоязычных текстовых команд для роботехнических устройств в RDF-формат. В составе интерфейса используются нейросетевые модели для восстановления пропущенных глаголов, разделения составных команд на единичные и разбора единичных команд. Для обучения этих моделей сформированы обучающие и тестировочные выборки, в частности: для создания набора данных для обучения разделению составных команд на единичные и анализа единичных команд был разработан генератор текстовых команд, используя который были сгенерированы по специальным шаблонам 55 тыс. простых команд и 16 тыс. составных; для задачи восстановления глаголов был использован корпус с конференции Dialog-21, содержащий 16 тыс. предложений, из которых 5 тыс. имели пропущенные глаголы; тестовое множество было собрано с помощью технологии краудсорсинга и содержит 1.3 тыс. примеров. В основе используемых методов лежат языковые модели и нейросети с архитектурой трансформер. В работе оцениваются по точности применения ресурсоемкой языковой модели (MultilingualBERT) и более экономичной по ресурсам дистиллированной версии (RuBERT-tiny). Представлены результаты влияния на точность разбора команд наличия знаков препинания и заглавных букв в тексте.

1. Gray J., Srinet K., Jernite Y., Yu H., Chen Z., Guo D., Szlam A. Craftassist: A framework for dialogue-enabled interactive agents // arXiv preprint arXiv: 1907.08584, 2019.

2. Adiwardana D., Luong M.T., So D.R., Hall J., Fiedel N., Thoppilan R., Le Q.V. Towards a human-like open-domain chatbot // arXiv preprint arXiv: 2001.09977, 2020.

3. Dong L., Lapata M. Language to logical form with neural attention // arXiv preprint arXiv: 1601.01280, 2016.

4. Сбоев А.Г., Гудовских Д.В., Молошников И.А., Рыбка Р.Б. Определение пола автора текста в коллекции русских многожанровых текстов с искажениями с использованием моделей машинного обучения // Вестник НИЯУ МИФИ, 2018. Т. 7 № 6. С. 531–536.

5. Сбоев А.Г., Молошников И.А., Рыбка Р.Б., Наумов А.В. Интерпретация результатов модели определения типа имитации возраста в тексте // Вестник НИЯУ МИФИ, 2020. Т. 9. № 2. С. 189–196.

6. Молошников И.А., Грязнов А.В., Власов Д.С., Рыбка Р.Б., Сбоев А.Г. Применение мультизадачной модели для практических задач генерации заголовка, определение лемм и ключевых слов // Вестник НИЯУ МИФИ, 2020. Т. 9 № 3. С. 236–244.

7. Сбоев А.Г., Рыбка Р.Б., Грязнов А.В., Молошников И.А. Генеративно-дискриминативная нейросетевая модель для задачи авторского профилирования // Вестник НИЯУ МИФИ, 2020. Т. 9. № 1. С. 50–57.

8. Сбоев А.Г., Селиванов А.А., Рыбка Р.Б., Молошников И.А., Богачев Д.С. Модель нейронной сети для включения синтаксической структуры предложения в задачу классификации пола автора русского текста // Вестник НИЯУ МИФИ. 2019. Т. 8. № 6. С. 569–576.

9. Smurov I.M., Ponomareva M., Shavrina T.O., Droganova K. Agrr-2019: Automatic gapping resolution for Russian // Computational Linguistics and Intellectual Technologies. 2019. C. 561–575.

10. Anisimovich K.V., Druzhkin K.Ju., Minlos F.R., Petrova M.A., Selegey V.P., Zuev K.A. Syntactic and semantic parser based on ABBYY Compreno linguistic technologies // Komp’iuternaia Lingvistika i Intellektual’nye Tehnologii: Trudy Mezhdunarodnoj Konferentsii “Dialog”, 2012. P. 91–103.

11. Belkin I. BERT finetuning and graph modeling for gapping resolution // Komp’juternaja Lingvistika i Intellektual’nye Tehnologii, 2019. P. 63–71.

12. Devlin J., Chang M.W., Lee K., Toutanova K. Bert: Pretraining of deep bidirectional transformers for language understanding // arXiv preprint arXiv: 1810.04805, 2018.

13. Дейл Д. Маленький и быстрый БЕРТ для русского языка. [Электронный ресурс]. https://habr.com/ru/ post/562064/. (дата обращения 24.06.2022)

14. Kuratov Y., Arkhipov M. Adaptation of deep bidirectional multilingual transformers for russian language // arXiv preprint arXiv: 1905.07213., 2019.

15. Feng F., Yang Y., Cer D., Arivazhagan N., Wang W. Language-agnostic bert sentence embedding // arXiv preprint arXiv: 2007.01852, 2020.

16. Artetxe M., Schwenk H. Massively multilingual sentence embeddings for zero-shot cross-lingual transfer and beyond // Transactions of the Association for Computational Linguistics, 2019. V. 7. P. 597–610.

17. Cer D., Yang Y., Kong S.Y., Hua N., Limtiaco N., John R.S., Kurzweil R. Universal sentence encoder // arXiv preprint arXiv: 1803.11175, 2018.

18. Zhang B., Williams P., Titov I., Sennrich R. Improving massively multilingual neural machine translation and zero-shot translation // arXiv preprint arXiv: 2004. 11867, 2020.

19. Tiedemann J. Parallel data, tools and interfaces in OPUS // Lrec., 2012. C. 2214–2218.

20. Williams A., Nangia N., Bowman S.R. A broad-coverage challenge corpus for sentence understanding through inference // arXiv preprint arXiv: 1704.05426., 2017.