Automated identification and counting of saigas (Saiga tatarica) by using deep convolutional neural networks in high-resolution satellite images

Мұқаба

Дәйексөз келтіру

Толық мәтін

Аннотация

We utilized a two-phase analysis using deep convolutional neural networks (DCNN) to create an automated technology that enabled us to detect and count saigas (Saiga tatarica) in satellite images with a resolution of 0.3–0.5 m/pixel (Eros-B 2012; 2013 and Beijing KA 2022 satellites). In the first phase, the satellite image is automatically divided into sections and checked for the presence or absence of clusters of objects (the “classification” phase). Then, during the second phase, only the fragments of the satellite image where at least one saiga was previously found are analyzed (the “detection” phase). The method was calibrated by training a neural network on the results of the preliminary processing of archival satellite images from 2012 and 2013, carried out manually by zoological experts. When we tested the DCNN work with a “confidence threshold” of 0.3, we identified 1,284 saigas on the entire model satellite image, while a zoological expert manually identified 1,412 saigas. For practical use and to assess the effectiveness of this method, we counted saigas on a 2022 image covering two adjacent specially protected natural areas (PAs) located in the Republic of Kalmykia and the Astrakhan region (Russian Federation). The results are presented with different “thresholds of confidence”.

Толық мәтін

Рұқсат жабық

Авторлар туралы

V. Rozhnov

Institute of Ecology and Evolution named after. A.N. Severtsov Russian Academy of Sciences

Хат алмасуға жауапты Автор.
Email: rozhnov-v-2015@yandex.ru
Ресей, Leninsky Prospekt, 33, Moscow, 119071

A. Salman

Institute of Ecology and Evolution named after. A.N. Severtsov Russian Academy of Sciences

Email: rozhnov-v-2015@yandex.ru
Ресей, Leninsky Prospekt, 33, Moscow, 119071

A. Yachmennikova

Institute of Ecology and Evolution named after. A.N. Severtsov Russian Academy of Sciences

Email: rozhnov-v-2015@yandex.ru
Ресей, Leninsky Prospekt, 33, Moscow, 119071

A. Lushchekina

Institute of Ecology and Evolution named after. A.N. Severtsov Russian Academy of Sciences

Email: rozhnov-v-2015@yandex.ru
Ресей, Leninsky Prospekt, 33, Moscow, 119071

P. Salman

ES-PAS LLC

Email: rozhnov-v-2015@yandex.ru
Ресей, Leningradskoye sh., 15, Moscow, 125171

Әдебиет тізімі

  1. Баскин Л. М. Поведение копытных животных. М.: Наука, 1976. 293 с.
  2. Каримова Т. Ю., Лущекина А. А. Особенности пространственного размещения и этологической структуры популяции сайгака на территории Заказника «Степной» (Астраханская область) // Экосистемы: экология и динамика. 2018. Т. 2. № 1. С. 73—91.
  3. Каримова Т. Ю., Лущекина А. А., Неронов В. М. Арылов Ю. Н., Пюрвенова Н. Ю. Прошлое и настоящее сайгака в России — есть ли будущее? // Экосистемы: экология и динамика. 2022. Т. 6. № 4. С. 5—27.
  4. Каримова Т. Ю., Лущекина А. А., Неронов В. М. Современное состояние и ретроспективный анализ некоторых биологических параметров популяций сайгака, обитающих на территории России и Казахстана // Арид. экосист. 2021.Т. 27. № 2 (87). С. 56—66. doi: 10.24411/1993-3916-2021-10151
  5. Каримова Т. Ю., Лущекина А. А., Неронов В. М., Пюрвенова Н. Ю., Арылов Ю. Н. Биологические особенности популяции сайгака Северо-Западного Прикаспия в периоды разной численности // Арид. экосист. 2020. Т. 26. № 4 (85). С. 51—58. doi: 10.24411/1993-3916-2020-10118
  6. Красная книга Российской Федерации, том «Животные». 2-ое издание. М.: ФГБУ «ВНИИ Экология». 2021. 1128 с.
  7. Кузякин В. А. Учет численности охотничьих животных. М.: Т-во научных изданий КМК, 2017. 321 с.
  8. Машкин В. И. Методы изучения охотничьих и охраняемых животных в полевых условиях. Санкт-Петербург: Изд-во «Лань», 2022. 448 с.
  9. Неронов В. М., Арылова Н. Ю., Дубинин М. Ю., Каримова Т. Ю., Лущекина А. А. Современное состояние и перспективы сохранения сайгака в Северо-Западном Прикаспии // Арид. экосист. 2013. Т. 19. № 2 (55). С. 5—14.
  10. Платонов Н. Г., Мордвинцев И. Н., Рожнов В. В. О возможности использования спутниковых изображений высокого разрешения для обнаружения морских млекопитающих // Изв. РАН. Сер. биол. 2013. № 2. С. 217—226. doi: 10.7868/S0002332913020100
  11. Платонов Н. Г., Рожнов В. В., Мордвинцев И. Н. Использование спутниковых изображений высокого разрешения для обнаружения морских млекопитающих: case study // Дистанционные методы исследования в зоологии. Материалы научной конференции. М.: Т-во научных изданий КМК, 2011. С. 70.
  12. Раймонди Ф., Сольяни Д., Чимини М., Атцени Л., Аугульяро С. Конкуренция между дикими и домашними копытными на водопоях в пустыне Гоби, Монголия // Арид. экосист. 2023. Т. 29. № 3 (96). С. 81—91. doi: 10.24412/1993-3916-2023-3-81-91
  13. Родникова А. Ю., Каримова Т. Ю., Лущекина А. А., Ячменникова А. А., Грибов К. А., Рожнов В. В., Гольцман М. Е. Индивидуум-ориентированная модель популяционной динамики сайгака Северо-Западного Прикаспия // Saiga News. 2019. № 24. С. 23—26.
  14. Рожнов В. В., Ячменникова А. А., Добрынин Д. В. О возможности выявления сайгака (Saiga tatarica) на спутниковых снимках высокого разрешения // Докл. Ак. наук. 2014. Т. 459. № 6. С. 769—773.
  15. Рожнов В. В., Лущекина А. А., Ячменникова А. А., Добрынин Д. В. Как посчитать сайгаков из космоса // Астрах. вест. экол. образ. 2015. Т. 1. № 31. С. 24—33.
  16. Рожнов В., Ячменникова А., Эрнандес-Бланко Х., Сальман П., Чистополова М., Сальман А., Минаев А., Лущекина А. Применение дистанционных методов и искусственного интеллекта для оценки численности популяции сайгака Северо-Западного Прикаспия и использования им пространства // Saiga News. 2023. № 29. С. 26—30.
  17. Сальман П. А. Система мониторинга ледовой обстановки на основе нейросетевой обработки радиолокационных спутниковых изображений. ВКР Магистра. 2021. 122 с.
  18. Сапанов М. К. Экологические последствия потепления климата в Северном Прикаспии // Арид. экосист. 2018. Т. 24. № 1 (74). С. 18—28. doi: 10.24411/1993-3916-1995-10003
  19. Сапанов М. К. Особенности и экологические последствия потепления климата в полупустыне Северного Прикаспия // Поволжск. экол. журн. 2021. № 1. С. 64—78. doi: 10.35885/1684-7318-2021-1-64-78
  20. Ячменникова А. А., Рожнов В. В., Добрынин Д. В. Возможности использования спутниковых снимков высокого разрешения для мониторинга сайгака // Saiga News. 2015. № 19. С. 19—21.
  21. Barasona J. A., Mulero-Pázmány M., Acevedo P., Negro J. J., Torres M. J., Gortázar C., Vicente J. Unmanned aircraft systems for studying spatial abundance of ungulates: relevance to spatial epidemiology // PloS ONE. 2014. V. 9. №12. e115608. doi: 10.1371/journal.pone.0115608
  22. Bishop-Hurley G.J., Swain D. L., Anderson D. M., Sikka P., Crossman C., Corke P. Virtual fencing applications: Implementing and testing an automated cattle control system // Comput. and Electron. in Agricul. 2007. V. 56. № 1. P. 14—22. doi: 10.1016/j.compag.2006.12.003
  23. Chirichella R., Apollonio M., Putman R. Competition between domestic and wild ungulates. Chapter 5 // Behaviour and Management of European Ungulates Caithness. Whittles Publishing. 2014. P. 110—23.
  24. Feng R., Lü X., Xiao W., Feng J., Sun Y., Guan Y., Feng L., Smith J. L.D., Ge J., Wang T. Effects of free-ranging livestock on sympatric herbivores at fine spatiotemporal scales // Landsc. Ecol. 2021. V. 36. P. 1441—1457. doi: 10.1007/s10980-021-01226-6
  25. Fromm M., Schubert M., Castilla G., Linke J., McDermid G. Automated Detection of Conifer Seedlings in Drone Imagery Using Convolutional Neural Networks // Rem. Sens. 2019. V. 11. 2585. doi: 10.3390/rs11212585
  26. Goliński P., Sobolewska P., Stefańska B., Golińska B. Virtual Fencing Technology for Cattle Management in the Pasture Feeding System: A Review // Agricult. 2023. V. 13. № 1. Р. 91. doi: 10.3390/agriculture13010091
  27. Hodgson J. C., Baylis S. M., Mott R., Herrod A., Clarke R. H. Precision wildlife monitoring using unmanned aerial vehicles // Sci. Rep. 2016. V. 6. P. 22574. doi: 10.1038/srep22574
  28. Horcajada-Sánchez F., Escribano-Ávila G., Lara-Romero C., Virgós E., Barja I. The effect of livestock on the physiological condition of roe deer (Capreolus capreolus) is modulated by habitat quality // Scient. Rep. 2019. V. 9. № 1. P. 15953.
  29. Hu J., Wu X., Dai M. Estimating the population size of migrating Tibetan antelopes Pantholops hodgsonii with unmanned aerial vehicles // Oryx. 2020. V. 54. № 1. P. 101—109. doi: 10.1017/S0030605317001673
  30. Kingma D. P., Ba J. L. ADAM: A Method for stochastic optimisation // arXiv preprint arXiv:1412.6980. 2014. Published as a conference paper at International Conference on Learning Representations (ICLR). 2015. San Diego, California, United States. P. 1—15. DOI: 0.48550/arXiv.1412.6980
  31. Lee J., Bang J., Yang S. I. Object detection with sliding window in images including multiple similar objects // Internati. Conf. on Inform. and Commun. Technol. Converg. (ICTC), Jeju, Korea (South), 2017. P. 803—806. doi: 10.1109/ICTC.2017.8190786.
  32. Linnell J. D.C., Cretois B., Nilsen E. B., Rolandsen C. M., Solberg E. J., Veiberg V., Kaczensky P., Moorter B., Panzacchi M., Rauset G. R., Kaltenborn B. The challenges and opportunities of coexisting with wild ungulates in the human-dominated landscapes of Europe’s Anthropocene // Biol. Conserv. 2020. V. 244. 108500. doi: 10.1016/j.biocon.2020.108500
  33. Mikhailov V. V., Sobolevskii V. A., Kolpaschikov L. A. Mask R-CNN-Based System for Automated Reindeer Recognition and Counting from Aerial Photographs // In: Tuzikov A. V., Belotserkovsky A. M., Lukashevich M. M. (eds.) Pattern Recognition and Information Processing. PRIP 2021. Communications in Computer and Information Science. 2022. V. 1562. P. 137-151. Cham: Springer. doi: 10.1007/978-3-030-98883-8_10
  34. Milner-Gulland E.J., Kholodova M. V., Bekenov A., Bukreeva O. M., Grachev Iu. A., Amgalan L., Lushchekina A. A. Dramatic declines in saiga antelope populations // Oryx. 2001. V. 35(4). P. 340-345. doi: 10.1046/j.1365—3008.2001.00202.x
  35. Parker G. R. 1975. A review of aerial surveys used for estimating the numbers of barren-ground caribou in northern Canada // Polar Rec. V. 17. № 111. P. 627—638. doi: 10.1017/S0032247400032708
  36. Preston T. M., Wildhaber M. L., Green N. S., Albers J. L., Debenedetto G. P. Enumerating White-Tailed Deer Using Unmanned Aerial Vehicles // Wildl. Soc. Bull. 2021. V. 45. № 1. P. 97—108. doi: 10.1002/wsb.1149
  37. Prosekov A., Kuznetsov A., Rada A., Ivanova S. Methods for Monitoring Large Terrestrial Animals in the Wild // Forests. 2020. V. 11. P. 808. doi: 10.3390/f11080808
  38. Ramos A., Bousquet Christophe A. H., Sueur C. How leadership could be used to manage domestic and wild ungulate herds // App. Anim. Behav. Sci. 2021. V. 239. P. 105326. doi: 10.1016/j.applanim.2021.105326
  39. Ramos A., Petit O., Longour P., Pasquaretta C., Sueur C. Space Use and Movement Patterns in a Semi-Free-Ranging Herd of European Bison (Bison bonasus) // PLoS ONE. 2016. V. 11. № 2. e0147404. doi: 10.1371/journal.pone.0147404
  40. Rumiano F., Wielgus E., Miguel E., Chamaillé-Jammes S., Valls-Fox H., Cornélis D., Garine-Wichatitsky M.D., Fritz H., Caron A., Tran A. Remote Sensing of Environmental Drivers Influencing the Movement Ecology of Sympatric Wild and Domestic Ungulates in Semi-Arid Savannas, a Review // Rem. Sens. 2020. V. 12. P. 3218. doi: 10.3390/rs12193218
  41. Schroeder N. M., Panebianco A., Gonzalez M. R., Carmanchahi P. An experimental approach to evaluate the potential of drones in terrestrial mammal research: a gregarious ungulate as a study model R // Soc. Open Sci. 2020. P. 7191482191482. doi: 10.1098/rsos.191482
  42. Singh N. J., Milner-Gulland E.J. Monitoring ungulates in Central Asia: current constraints and future potential // Oryx. 2011. V. 45. № 1. P. 38—49. doi: 10.1017/S0030605310000839
  43. Sobolevskii V. A., Kolpaschikov L. A. Mask R-CNN-Based System for Automated Reindeer Recognition and Counting from Aerial Photographs // Pattern Recognition and Information Processing: 15th International Conference, PRIP, Minsk, Belarus, September 21—24, 2021. Revised Selected Papers. Springer Nature. 2022. P. 137.
  44. Tarca A. L., Carey V. J., Chen X., Romero R., Drăghici S. Machine Learning and Its Applications to Biology // PLoS Comput Biol. 2007. V. 3. № 6. e116. doi: 10.1371/journal.pcbi.0030116
  45. Teer J. G., Neronov V. M., Zhirnov L. V., Blizniuk A. I. Status and exploitation of the saiga antelope in Kalmykia, Chapt. 6 / Ed. Taylor, V.J., Dunstone, N. The Exploitation of Mammal Populations: Springer, Dordrecht, Netherlands, 1996. P. 75-87. doi: 10.1007/978-94-009-1525-1_6
  46. Terletzky P., Ramsey R. D. A Semi-Automated Single Day Image Differencing Technique to Identify Animals in Aerial Imagery // PLoS ONE. 2014. 9. № 1. e85239. doi: 10.1371/journal.pone.0085239
  47. Terletzky P. A., Koons D. N. Estimating ungulate abundance while accounting for multiple sources of observation error // Wildl. Soc. bull. 2016. V. 40. № 3. P. 525-536. doi: 10.1002/wsb.672
  48. Triguero-Ocaña R., Barasona J. A., Carro F., Soriguer R. C., Vicente J., Acevedo P.. Spatio-temporal trends in the frequency of interspecific interactions between domestic and wild ungulates from Mediterranean Spain // PLoS ONE2019. V. 14. № 1. e0211216. doi: 10.1371/journal.pone.0211216
  49. Umstatter C. The evolution of virtual fences: A review // Comp. and Elect. in Agricul. 2011. V. 75. № 1. P. 10-22. doi: 10.1016/j.compag.2010.10.005
  50. Vié J. C., Hilton-Taylor C., Pollock C., Ragle J., Smart J., Stuart S. N., Tong R. The IUCN Red List: a key conservation tool // Wildlife in a changing world — An analysis of the 2008 IUCN Red List of Threatened Species / Eds. Vié J. C., Hilton-Taylor C., Stuart S. N.: Gland, Switzerland, IUCN. 2008. P. 1—13.
  51. Wang C. Y., Yeh I. H., Liao H. Y.M. YOLOv9: Learning What You Want to Learn Using Programmable Gradient Information // arXiv preprint 2024. arXiv:2402.13616. https://arxiv.org/pdf/2402.13616.pdf
  52. Wang D., Shao Q., Yue H. Surveying Wild Animals from Satellites, Manned Aircraft and Unmanned Aerial Systems (UASs): A Review // Rem. Sens. 2019. V. 11. P. 1308. doi: 10.3390/rs11111308
  53. Yachmennikova A., Rozhnov V., Dobrynin D., Karimova T., Lushchekina A. Experience of identifying the saiga antelope (Saiga tatarica) on very high resolution satellite images as a method for estimation of their number // Conservation Asia 2018, Bishkek. 2018. The Book of Abstracts. P. 53.
  54. Yang Z., Wang T., Skidmore A. K., de Leeuw J., Said M. Y., Freer J. Spotting East African Mammals in Open Savannah from Space // PLoS ONE. 2014. V. 9. № 12. e115989. doi: 10.1371/journal.pone.0115989
  55. Zengrang X., Ziqian W., Mingming J. Causes of domestic livestock—wild herbivore conflicts in the alpine ecosystem of the Chang Tang Plateau // Environmental Development. 2020. V. 34. P. 100495. doi: 10.1016/j.envdev.2020.100495.
  56. Zhang J., Zhao X., Huang Y., Huang K., Tan T. Semantic windows mining in sliding window based object detection // Proceed. of the 21st Internat. Conf. on Patt. Recogn. (ICPR2012). Tsukuba, Japan. 2012. P. 3264-3267.

Қосымша файлдар

Қосымша файлдар
Әрекет
1. JATS XML
Жүктеу
2. Fig. 1. Model area of ​​the North-West Caspian region covered by satellite image No. 1 (a), and satellite image No. 1 itself, used to train neural networks, indicating the location of saigas identified by the expert zoologist (b).

Жүктеу (211KB)
Метадеректер
3. Fig. 2. The North-Western Caspian region, photographed by the KA Beijing (Twenty First Century Aerospace Technology) satellite on 12/2/2022.

Жүктеу (315KB)
Метадеректер
4. Fig. 3. Simplified scheme of satellite image processing for counting saigas.

Жүктеу (85KB)
Метадеректер
5. Fig. 4. Part of satellite image No. 1 depicting a herd of saigas (a); saigas identified manually by a zoological expert (b); IP fragments of the image identified by a neural network (c).

Жүктеу (365KB)
Метадеректер
6. Fig. 5. An example of a false negative detection: on satellite image No. 1 - outlined with a red line (a), after processing the satellite image - in the red square (b); the object detected by the expert zoologist differs from the image of the saiga, and is probably not an animal.

Жүктеу (151KB)
Метадеректер
7. Fig. 6. An example of false positive detections; an image of a herd of unknown animals was detected (a, b); fragments of the LP (100% confidence - blue squares, 70 to 99% confidence - yellow squares) cover only isolated areas where the density of animals is comparable to the density of saigas in a herd (c, d).

Жүктеу (490KB)
Метадеректер
8. Fig. 7. An example of neural network detection of a herd on satellite image No. 2 (green squares are fragments detected with 100% confidence; red squares are fragments detected with 70 to 99% confidence).

Жүктеу (199KB)
Метадеректер
9. Fig. 8. An example of filtering the results of the GKNS-K operation: a — primary selection of isolated fragments (purple); b — building buffers around all fragments and final identification of isolated fragments; c — filtering of isolated fragments; d — formation of territorial zones for further processing.

Жүктеу (178KB)
Метадеректер
10. Fig. 9. Part of a satellite image (satellite image No. 1), pre-processed using GKNS-K, with images of saigas identified by an expert zoologist and the GKNS-V neural network (red frames).

Жүктеу (156KB)
Метадеректер
11. Fig. 10. Part of satellite image No. 1, not processed using GKNS-K, with images of saigas identified by a zoological expert (green dots) and objects identified by the GKNS-V neural network (red frames) — a large number of false objects were identified far from the saiga herd.

Жүктеу (141KB)
Метадеректер

© Russian Academy of Sciences, 2024