Астрономы предложили очередной способ распознавания изображений и видео, сгенерированных искусственным интеллектом и выдаваемых за настоящие («дипфейков»). Он опирается на методы изучения изображений от удалённых галактик и других объектов глубокого космоса. Способ заключается в анализе отражений в глазах у изображённых на фотографии людей.
Астрономы, исследующие объекты глубокого космоса, например, удалённые галактики, интересуются их свойствами, которые можно выжать из изображений телескопов на современном уровне техники. Прежде всего это — форма галактики. Для этого исследуют распределение света на изображении. Таким образом можно сделать вывод, например, о том, компактная ли перед нами галактика, насколько она симметричная и «гладкая». Поскольку в современных автоматизированных обзорах неба, например, от телескопа Джеймса Уэбба или «Хаббла» галактики появляются миллионами и миллиардами, возникает необходимость в формальных показателях, которые могли бы в поточном режиме считывать программы обработки данных с телескопа.
Для этих задач выработаны несколько количественных показателей, которые с разным успехом применяются в астрофизике. Некоторые из них, придя из математической статистики, используются в несвязанных с физикой областях, например, в экономике. Первичное использование таких индексов во внегалактической астрономии — морфологическая классификация галактик, то есть разделение их сначала на эллиптические, спиральные и нерегулярные, дальше — по соответствующим подразделам, например, спиральные типа SAa, SAb, SABa и т. д. И крайне желательно, чтобы соответствующие буквы можно было выписать не разглядывая каждую фотографию из нескольких миллионов, а на потоке.
Одна из мер — индекс Джини. Больше он известен экономистам, показывая расслоение общества по каким-либо признакам. В астрономии он используется для количественной характеристики света от галактики — распределения света между пикселями на её изображении. Этот коэффициент меняется от 0 до 1. Значение 0 — яркость пикселей на изображении галактики равномерно распределена, а крайнее значение 1 будет у галактики, свет от которой сосредоточен только в одном пикселе.
Другой сводный показатель называется CAS (Concentration, Asymmetry, Smoothness). Во внегалактической астрономии эта серия показателей также описывает неравномерное распределение света по пикселям на изображении и применяется для характеристики морфологии галактики.
Группе астрофизиков университета Халла (наверное, не первым и не единственным) пришла в голову идея применить поставленные на поток методы обработки миллиардов изображений космического телескопа для земных дел. В частности, чтобы разработать инструмент поиска фальшивых изображений людей по огромным фотобазам.
Астрономы решили анализировать отражения в глазах на фотографиях реальных людей и картинках, сгенерированных искусственным интеллектом. Они использовали те же методы, которые используются в астрономии для количественного описания отражения света. При этом основным вопросом было сравнение изображений в левом и правом глазу. У реальных людей отражения на сетчатке обоих глаз должны быть похожими, тогда как генераторы фальшивых изображения часто это согласование упускают. Для распознавания дипфейков астрономы определяли параметры изображений, отражённых в левом и правом зрачке у людей на реальных фотографиях, и изображениях, авторство которых подозревалось за ИИ. Индексы Джини и CASкак раз показывали бы сходство отражений в левом и правом глазу.
Для проверки потенциальных астрономических инструментов выявления подделок астрономы выполнили анализ большого количества изображений — реальных и фейковых. Отражения в глазах определялись автоматически и поточным способом проводилось вычисление указанных индексов. В результате индекс Джини оказался неплохим инструментом, позволившим разграничить заведомо поддельные и истинные изображения. В то же время набор параметров CAS оказался далеко не таким успешным: с определением «фальшивых глаз» он справляется из рук вон плохо. Выражаясь языком математической статистики, появляется значительное количество ошибок первого и второго рода, то есть «пропуска цели» и «ложного срабатывания», так что панацеей на пути фальсификаторов фотографий он пока что не станет.