Малые языковые модели для цифровой трансформации бизнеса

В условиях роста вычислительных и экономических затрат на использование больших языковых моделей (LLM) всё большее внимание уделяется компактным языковым моделям (Small Language Models, SLM), которые демонстрируют высокую эффективность в узкоспециализированных задачах. Целью данной работы является анализ текущих ограничений LLM и рассмотрение возможностей применения SLM как альтернативы, особенно в условиях ограниченных ресурсов. В статье рассматриваются ключевые проблемы масштабирования LLM — от высокой энергоемкости и стоимости обучения до сложностей интеграции в информационные системы. Также представлены современные тенденции в разработке компактных моделей. Анализ показывает, что SLM могут быть эффективно использованы в задачах, где важны скорость, мобильность и экономичность, локальное развертывание. При этом наиболее перспективным направлением представляется развитие гибридных систем, объединяющих сильные стороны LLM и SLM. Работа подчеркивает важность дальнейшего изучения компактных языковых моделей как инструментов, способных обеспечить устойчивое развитие технологий искусственного интеллекта в условиях ресурсных ограничений.

1. Raza M., Jahangir Z., Riaz M.B., et al. Industrial applications of large language models // Scientific Reports, 2025. V.15. P. 1–23.

2. Миргородская О.Н. Маркетинговые решения предприятий розничной торговли на основе использования технологий искусственного интеллекта // Вестник. РГЭУ РИНХ, 2023. Т.28. № 2. С. 83–92. DOI:10.54220/v.rsue.1991-0533.2023.2.28.010

3. Андрейченко А.Е., Гусев А.В. Перспективы применения больших языковых моделей в здравоохранении // Национальное здравоохранение, 2023. Т.4. №4. С.48–55. DOI:10.47093/2713-069X.2023.4.4.48-55

4. Nie Y., Kong Y.,Dong X. и др. A Survey of Large Language Models for Financial Applications: Progress, Prospects and Challenges. [Электронный ресурс] URL: https://arxiv.org/html/2406.11903v1 [дата обращения: 13.06.2025].

5. Зубов Д.В., Лебедев Д.А. Диагностика отказов технологического оборудования химических производств с помощью искусственного интеллекта // Программные системы и вычислительные методы, 2024. № 2. DOI:10.7256/2454-0714.2024.2.70729

6. Bai G., Chai Z., Ling С. Beyond Efficiency: A Systematic Survey of Resource-Efficient Large Language Models. [Электронный ресурс] URL: https://arxiv.org/abs/2401.00625 [дата обращения: 13.06.2025].

7. Xexéo G., Braida F., Parreiras M. The Economic Implications of Large Language Model Selection on Earnings and Return on Investment: A Decision Theoretic Model. [Электронный ресурс] URL: https://arxiv.org/abs/2405.17637 [дата обращения: 13.06.2025].

8. Bumgardner C., Mullen A., Armstrong S. и др. Local Large Language Models for Complex Structured Medical Tasks. [Электронный ресурс] URL: https://arxiv.org/abs/2308.01727 [дата обращения: 14.06.2025].

9. Naveed H., Khan A., Qiu S. A Comprehensive Overview of Large Language Models. [Электронный ресурс] URL: https://arxiv.org/abs/2307.06435 [дата обращения: 14.06.2025].

10. Wang F., Zhang Z., Zhang X. и др. A Comprehensive Survey of Small Language Models in the Era of Large Language Models: Techniques, Enhancements, Applications, Collaboration with LLMs, and Trustworthiness. [Электронный ресурс] URL: https://arxiv.org/pdf/2411.03350 [дата обращения: 14.06.2025].

11. Серова А.С., Смирнов Д.С. Компактные языковые модели. Современные исследования и технологии // Сб. тез. докл. XII Междунар. молодежной научной школы-конф. «Современные проблемы физики и технологий». Москва, 2025. С. 539–541.

12. Chen M., Shao W., Xu P., et al. EfficientQAT: Efficient Quantization-Aware Training for Large Language Models. [Электронный ресурс] URL: https://arxiv.org/html/2407.11062v1 [дата обращения: 20.06.2025].

13. Belcak P., Heinrich G., Fu Y. Small Language Models are the Future of Agentic AI. [Электронный ресурс] URL: https://research.nvidia.com/labs/lpr/slm-agents/ [дата обращения: 20.06.2025].

14. Popov R.O., Karpenko N.V., Gerasimov V.V. Overview of small language models in practice // CEUR Workshop Proceedings. Кр.Р.: 2024. С. 164–182.

15. Yu S., Yu L., Fengli X. и др. Synergy-of-Thoughts: Eliciting Efficient Reasoning in Hybrid Language Models. [Электронный ресурс] URL: https://arxiv.org/pdf/2402.02563 [дата обращения: 23.06.2025].

16. Shandilya B., Palmer A. Boosting the Capabilities of Compact Models in Low-Data Contexts with Large Language Models and Retrieval-Augmented Generation. [Электронный ресурс] URL: https://arxiv.org/html/2410.00387v1 [дата обращения: 23.06.2025].