ОБРАТИМАЯ МНОГОШАГОВАЯ ДИФФУЗИОННАЯ МОДЕЛЬ ДЛЯ ПРЕОБРАЗОВАНИЯ ИЗОБРАЖЕНИЙ НА ОСНОВЕ РАДИОЛОКАЦИОННЫХ И ОПТИЧЕСКИХ ДАННЫХ

В условиях активного развития дистанционного зондирования Земли, роста доступности спутниковых данных различных типов и необходимости оперативного анализа геопространственной информации особую актуальность приобретает эффективное преобразование и объединение данных, полученных в различных диапазонах электромагнитного спектра, в частности спутниковых радиолокационных (SAR) и оптических (RGB) изображений. В данной работе предложена обратимая диффузионная модель на основе моста Шредингера для двунаправленного преобразования SAR и RGB снимков без использования парной выборки. Многошаговый стохастический процесс постепенно зашумляет данные, а нейросеть архитектуры U-Net выполняет восстановление на каждом шаге. Двунаправленная схема обеспечивает сохранение структуры сцены: прямой генератор переводит оптику в радар, а обратный — радар в оптику, обучаясь итеративно с учетом энтропийно-регуляризованного стохастического управления. Тестирование на наборах данных SEN1-2 и SN6-SAROPT показало, что по метрикам PSNR, SSIM и FID метод превосходит классические GAN-подходы (CycleGAN) и однонаправленные диффузионные модели. В полном цикле (RGB → SAR → RGB) погрешность < 5–10 % (SSIM) относительно исходного снимка, при этом достоверно воспроизводятся спекл-шум и яркие отражения, а также восстанавливается детализированная оптическая информация. Обратимая диффузия без парной выборки позволяет избежать систематических искажений и облегчает генерацию недостающих данных в ДЗЗ, мультисенсорный анализ и устранение облачности в оптическом домене.

1. Прокофьев К.В., Иванов С.В. Генерация радиолокационных снимков местности из оптических // Информатика, телекоммуникации и управление. 2022. Т. 15, № 4. С. 7–21.

2. Zhu J., Park T., Isola P. et al. Unpaired image-to-image translation using cycle-consistent adversarial networks // Proceedings of IEEE International Conference on Computer Vision (ICCV), 2017. P. 2242–2251.

3. Fu S., Xu F., Jin Y.Q. Reciprocal translation between SAR and optical remote sensing images with cascaded-residual adversarial networks // Science China Information Sciences, 2021. V. 64, 112401. Doi: 10.1007/s11432-020-3077-5

4. Ho J., Jain A., Abbeel P. Denoising diffusion probabilistic models // Advances in Neural Information Processing Systems (NeurIPS), 2020. V. 33. P. 6840–6851.

5. Song Y., Sohl-Dickstein J., Kingma D. et al. Score-Based generative modeling through stochastic differential equations // Proceedings of International Conference on Learning Representations (ICLR), 2021. 22 p. DOI:10.48550/arXiv.2011.13456

6. De Bortoli V., Thornton J., Heng J., Doucet A. Diffusion Schrodinger bridge with applications to score-based generative modeling // Advances in Neural Information Processing Systems, 2021. V. 34. P. 17695–17709.

7. Su X., Song J., Meng C. , Ermon S. Dual diffusion implicit bridges for image-to-image translation // Eleventh International Conference on Learning Representations (ICLR), 2023. 18 p. doi: 10.48550/arXiv.2203.08382

8. Li B., Xue K., Liu B. et al. BBDM: Image-to-image translation with Brownian bridge diffusion models // Proc. IEEE/CVF Conf. Computer Vision and Pattern Recognition (CVPR), 2023. P. 1952–1961.

9. Liu G.H., Vahdat A., Huang D.A. et al. I2SB: Image-to-image Schrodinger bridge // International Conference on Machine Learning (ICML), 2023. 18 p. doi:10.48550/arXiv.2302.05872

10. Kim B., Kwon G., Kim K. et al. Unpaired image-to-image translation via neural Schrodinger bridge // Proceedings of International Conference on Learning Representations (ICLR), 2024. Doi:10.48550/arXiv.2305.15086

11. Shi H., Wang Y., Xu M. et al. A brain-inspired approach for SAR-to-optical image translation based on diffusion models // Frontiers in Neuroscience, 2024. V. 18, 1352841. 14 p.

12. Seo M., Oh Y., Kim D. et al. Improved flood insights: Diffusion-based SAR to EO image translation // arXiv preprint arXiv:2307.07123. 2023. 10 p.

13. Wang X., Liao H., Yang Z. et al. Optical-ISAR image translation via denoising diffusion implicit model // Proc. IEEE Int. Conf. Image Processing and Computer Vision Applications (ICIPCA), 2023. P. 1437–1441.

14. Schmitt M., Hughes L.H., Zhu X.X. The SEN1-2 dataset for deep learning in SAR-optical data fusion // ISPRS Annals of Photogrammetry, Remote Sensing and Spatial Information Sciences, 2018. V. IV-1. P. 141–146.

15. Liu M.-Y., Breuel T., Kautz J. Unsupervised image-to-image translation networks // Proceedings of 31st Conference on Neural Information Processing Systems (NIPS), 2017, P. 700–708.