Исследователи использовали квадрокоптер и алгоритмы машинного обучения для автоматизированного поиска осколков метеорита, упавшего несколько лет назад на дно высохшего озера. Нейросеть, обученная на доступных изображениях найденных метеоритов в природной среде, анализировала серии фотоснимков с дрона на разной высоте. Из них она выбирала фрагменты, на которых могли быть космические камни, непохожие на окружающие породы. Несмотря на большое количество ложных срабатываний, пока что очень несовершенный машинный алгоритм всё же выявил все подброшенные на участок поиска контрольные образцы метеоритов и помог обнаружить несколько возможных фрагментов искомого метеорита.
Ежедневно в атмосферу Земли входят тысячи метеоритных тел. Пока продолжаются попытки определить состав около 40 семейств астероидов в поясе астероидов для понимания эволюции ранней Солнечной системы, такие достигшие Земли их фрагменты могли бы стать лучшим материалом для исследований. Их можно находить по видео падения метеоритов — таким способом можно определить траекторию полёта и приблизительный район приземления обломков. Пока что таким способом удалось обнаружить и отследить только несколько десятков метеоритов, из которых только в 26 случаях удалось находить фрагменты. Они обычно разбросаны по большой площади, и для обнаружения одного осколка метеорита необходимо в среднем около 100 человеко-часов. Только в некоторых случаях из всех, когда в атмосфере удаётся обнаружить болид, можно надеяться, что метеоритные фрагменты действительно достигли Земли, а не сгорели в атмосфере на подлёте (см., например отдельную статью про один из таких удачных случаев). Одним из способов сэкономить время и ресурсы для поиска метеоритов может быть использование автономных дронов, которые могут летать на небольшой высоте и систематически сканировать поверхность в предполагаемом районе падения.
Аэрофотографии затем можно объединить и передать на вход классификатора объектов в системе машинного обучения, который будет определять вероятность присутствия на изображениях фрагментов метеорита. Но прежде чем нейросеть сможет разобраться с изображениями, её нужно научить видеть метеориты, а это — намного более сложная задача. Алгоритмы обучения обычно требуют многих тысяч «положительных» и «отрицательных» изображений (с искомым объектом и без него), но в нашем распоряжении не так много фотографий найденных метеоритов. Чтобы дополнить обучающий набор до приемлемого размера для нейросети, исследователи использовали восемь фрагментов метеорита 1992 года массой от 10 до 100 грамм, помещали их на различные участки и фотографировали с разных ракурсов. Вместе с доступными изображениями других фрагментов так удалось собрать обучающий набор в 762 изображения, из которых 156 были настоящими снимками полевых находок, остальные — «фотосессией» имеющейся коллекции.
Недавно упавший метеорит будет отличаться от окружающих пород и выделяться на микрорельефе; собственно, это и есть основное его свойство, по которому его можно распознать на полевых работах — при помощи квадрокоптера или поиском вручную. Однако метеориты очень разнообразны, и невозможно с уверенностью заранее определить ожидаемые характеристики фрагментов свежего метеорита или окружающей местности. Обычно метеориты выразительно темнее по сравнению с соседними камнями из-за образования корки плавления при входе в атмосферу. Но многие фрагменты могут не иметь признаков плавления — например, корка исчезает, если фрагмент продолжает распадаться на более мелкие камешки уже на подлёте к поверхности. Кроме того, рельеф, на который падают фрагменты, может быть очень разным — от травы до каменистой местности. Проблема ещё и в том, что в многокилометровых поисковых зонах может быть всего несколько фрагментов метеоритов размером в 1—3 сантиметра. Поэтому классификатор машинного обучения должен быть достаточно универсальным и уметь определять метеориты разных типов на необследованных территориях. Также система должна обеспечивать низкий уровень ложных срабатываний, чтобы отправка экспедиции за метеоритами на каждую такую найденную точку была оправданной, и пока что до выполнения этого условия ещё далеко. Статья о новом способе дистанционно отличать обычные камни от космических фрагментов вышла в июне 2021 года в Meteoritics & Planetary Science.
Исследователи получили разрешение на проведение полевых испытаний своей системы классификации метеоритов на месте падения одного из них 14 июля 2019 года вблизи озера Уолкер в штате Невада. Расчёты показывают, что масса межпланетного вещества, которая могла достичь Земли, составила 35,3 килограмма. Дрон провёл десять разведывательных полётов на двух разных участках вдоль предполагаемой траектории падения, делая снимки в течение 25 минут за один сеанс — время его автономной работы. Районы поиска разбили на сетки точек, в которых дрон должен сделать кадр, а количество кадров подбиралось в зависимости от высоты съёмки — от двух до шести метров. Итого в каждом полёте было получено от 129 до 288 полных изображений камеры GoPro, которые потом дробили на фрагменты соответствующего размера для анализа нейросети (каждый снимок со стандартным разрешением GoPro-камеры 4000×3000 давал 47 перекрывающихся фрагментов размером 1000 x 600 пикселей, а характерный ожидаемый размер метеоритов — порядка 20 пикселей). Исследователи использовали сеть RetinaNet, которая относится к классу сетей определения объектов (object detection network). В отличие от другого возможного класса моделей, или сетей бинарной классификации (binary image classifier), такая сеть может работать со сравнительно большими изображениями, искомый объект на которых занимает небольшую часть кадра.
Нейросеть помечает такой отдельный фрагмент как «положительный», если в нём есть объект, классифицированный как метеорит с оценкой 0,5 и выше («вероятность» верной идентификации на шкале 0 — 1). От каждого тестового полёта получалось большое количество участков изображений, признанных положительными. Особенно это проявлялось при полётах на низких высотах, где нейросеть «нашла» метеориты на 28% фрагментов, или примерно по 2650 на один полёт. Такое количество ложных срабатываний связано с большим количеством и разнообразием других горных пород на участке и, очевидно, с неразработанностью алгоритма обучения. К сожалению, пока такой результативности недостаточно, чтобы поручить поиск метеоритов алгоритмам машинного обучения. Чтобы найти метеорит, огромное количество снимков с дрона всё равно придётся анализировать вручную. На больших высотах количество «находок» было меньше — всего около тысячи ста за полёт, и исследователи использовали отобранные машиной снимки, чтобы всё-таки найти в пустыне интересные фрагменты и тем самым доказать работоспособность концепции.
Кроме определения большого количества потенциальных объектов во время полевых исследований, дрон смог найти все восемь специально подброшенных на участок образцов метеоритов (так тестируют результативность алгоритма обучения на пропуск цели) и помог операторам обнаружить три кандидата в обломки искомого метеорита, упавшего три года назад. На основе изображений с дрона и по его журналу GPS исследователи локализовали перспективные точки для поиска метеоритных фрагментов вживую. Только два из трёх объектов, найденных нейросетью, оказались приемлемыми кандидатами в метеориты — это были породы тёмного цвета и подходящего размера, внешне похожие на искомое (окончательный вывод можно будет сделать только после лабораторных исследований). Третий объект, положительно идентифицированный с хорошим счётом, оказался просто обломком ветки с длинной тенью. Видимо, низкое разрешение кадров, тени и перспективные искажения камеры пока являются серьёзными препятствиями для алгоритмов автоматического поиска упавших метеоритов.
