Система сбора и обработки геопространственных данных для проведения анализа с помощью машинного обучения

В статье рассматриваются современные инструменты и подходы к проектированию ETL-систем для интеграции и предварительной обработки растровых, векторных и табличных геопространственных данных. Подготовленные данные могут быть использованы для последующего анализа методами машинного обучения. Предлагаемый подход основан на модульной архитектуре конвейера, адаптированной к особенностям GIS-форматов и обеспечивающей интеграцию с ML-пайплайнами без необходимости дорогостоящих лицензий и существенной доработки существующих платформ. Предложен специализированный ETL-конвейер на базе платформы OpenNeurons и СУБД PostgreSQL/PostGIS, включающий конфигурационные модули для описания источников и адаптеров, реализованных на Python с использованием библиотек geopandas, rasterio и pyshp. Система также включает драйвер для прямого взаимодействия с файловым хранилищем и выполнения плановых обновлений данных, а также веб-интерфейс для управления задачами, мониторинга и логирования. Разработанная система была протестирована на реальных геопространственных данных. В частности, был сформирован унифицированный набор данных, содержащий 227 геолого-геофизических параметров для восточного сектора Российской Арктики, подготовленный для последующего анализа методами машинного обучения. Кроме того, в задаче бинарной классификации 240 морфоструктурных узлов Кавказского региона с использованием алгоритмов Gradient Boosting и AutoKeras на тестовой выборке был достигнут F1-score, близкий к 1.0. Сравнение с алгоритмом КОРА-3 показало 67 % совпадение прогнозов, что свидетельствует о потенциальной применимости подхода и требует дополнительной валидации на независимых данных. По сравнению с универсальными ETL-решениями предложенная система характеризуется низкими затратами на внедрение, расширяемостью за счёт пользовательских адаптеров и интеграцией с инструментами машинного обучения. Полученные результаты демонстрируют применимость разработанного ETL-конвейера для задач обработки геопространственных данных.

1. Rakotoarison T., Hajalalaina A.R. Real-time geo-decisional system for risk and disaster management in Madagascar // Reports on Geodesy and Geoinformatics, 2025. V. 119. P. 7–13. DOI: 10.2478/rgg-2025-0002.

2. Tedikova A.A., Klimochenkov M.D., Melnichenko I., Krasnotsvetov M.A., Us S.S., Kutlyev I.I., Shchekina M.V. The history of origin and development of geoinformatics as a science // Mining Industry Journal (Gornay Promishlennost), 2024. P. 90–99. DOI: 10.30686/1609-9192-2024-3-90-99.

3. Rozenberg I., Dulin S. Current Issues Problems of Geoinformatics // Russian Journal of Earth Sciences, 2024. V.24. №1. P. 1–11. DOI: 10.2205/2024ES000893.

4. Лисенков И.А., Соловьев А.А., Кузнецов В.А., Николова Ю.И. Обобщенный массив геолого-геофизической информации восточного сектора Российской Арктики для проведения анализа методами машинного обучения // Геология и геофизика, 2025. Т. 66, № 2. С. 232–246. DOI: 10.15372/GiG2024148.

5. Cheruku S., Goel O., Jain S. A Comparative Study of ETL Tools: DataStage vs. Talend // Journal of Quantum Science and Technology, 2024. V.1. P. 80–90. DOI: 10.36676/jqst.v1.i1.11.

6. Al-Yadum S., Xion T.E., Wei S.G.W., Boursier P. Review on Integrating Geospatial Big Datasets and Open Research Issues // IEEE Access, 2021. P. 1–1. DOI: 10.1109/ACCESS.2021.3051084.

7. Astriani W., Trisminingsih R. Extraction, Transformation, and Loading (ETL) Module for Hotspot Spatial Data Warehouse Using Geokettle // Procedia Environmental Sciences, 2016. V. 33. P. 626–634. DOI: 10.1016/j.proenv.2016.03.117.

8. Borkowski A., To Duc A. Integration of BIM and GIS Data of a Heritage Building Using FME // Civil and Environmental Engineering Reports, 2024. V. 34. P. 204–215. DOI: 10.59440/ceer/190231.

9. Lisenkov I.A., Soloviev A.A., Kuznetsov V.A., Nikolova Yu.I. Generalized Dataset of Geological and Geophysical Information of the Eastern Sector of the Russian Arctic, ver.1.0 (2023) // ESDB repository, GCRAS, Moscow, 2024. DOI: 10.2205/public-artcic-geospatial-data.

10. Соловьев А.А., Новикова О.В., Горшков А.И., Пиотровская Е.П. Распознавание расположения потенциальных очагов сильных землетрясений в Кавказском регионе с использованием ГИС-технологий // ДАН, 2013. Т. 450, № 5, С. 599– 601, DOI: 10.7868/S0869565213170222.

11. Гвишиани А.Д., Дзебоев Б.А., Агаян С.М. Интеллектуальная система распознавания FCAZm в определении мест возможного возникновения сильных землетрясений горного пояса Анд и Кавказа // Физика Земли, 2016. № 4, С. 3−23. DOI: 10.7868/S0002333716040013.

12. Соловьев А.А., Горшков А.И., Соловьев А.А. Применение данных по литосферным магнитным аномалиям в задаче распознавания мест возможного возникновения землетрясений // Физика Земли, 2016. № 6, С. 21–27, DOI: 10.7868/ S0002333716050148.

13. Гельфанд И.М., Губерман Ш.А., Кейлис-Борок В.И., Кнопоф Л., Пресс Ф., Ранцман Е.Я., Ротвайн И.М., Садовский А.М. Условия возникновения сильных землетрясений (Калифорния и некоторые другие регионы). Исследование сейсмичности и моделей Земли // Вычислительная сейсмология, 1976. вып. 9, C. 3–91.