Агентство DARPA объявило о запуске программы Fast Event-based Neuromorphic Camera and Electronics (FENCE), призванной сделать камеры-тепловизоры более эффективными за счёт имитации процесса обработки визуальной информации человеческим мозгом. Три группы учёных, объединённые под крылом компаний Raytheon Technologies, BAE Systems и Northrop Grumman, должны разработать умную инфракрасную камеру, которая будет обрабатывать меньше данных, работать быстрее, чем ныне существующие, и потреблять меньше энергии.
Современные тепловизоры постоянно совершенствуются, но по мере этого они отчасти становятся жертвами собственного совершенства. Хотя существующие камеры и могут получать изображения высокого разрешения и отслеживать объекты с высокой точностью, они делают это путём обработки огромного количества данных, что требует серьёзных аппаратных ресурсов, а также времени и энергии. По мнению DARPA, это хорошо, когда задача состоит в отслеживании одинокого самолёта в ясном голубом небе, но если фон загромождён другими объектами или постоянно меняется, как это часто бывает при проведении военных операций, современные умные инфракрасные камеры быстро перегружаются и перестают давать удовлетворительный результат.
Авторы программы FENCE рассчитывают на создание камеры с использованием схем, имитирующих работу мозга, т.е. нейроморфных. Они, потенциально, позволят резко сократить объём данных, которые необходимо обрабатывать системе камеры, за счёт игнорирования неактуальных частей изображения. Вкратце идея заключается в том, что вместо того чтобы обрабатывать всю сцену, камера будет фокусироваться только на меняющихся пикселях.
Для достижения этой цели команда FENCE уже работает над созданием новой инфракрасной фокальной плоскостной матрицы с низкой задержкой и низким энергопотреблением, асинхронной интегральной схемой считывания и обрабатывающим слоем, который должен будет идентифицировать требуемые пространственные и временные сигналы. Также потребуются новые алгоритмы цифровой обработки сигналов и обучения для обработки сложных, меняющихся фонов.
Результатом может стать датчик, потребляющий менее 1,5 Вт энергии. Поскольку новая технология нацелена на военное применение, включающее автономные транспортные средства, робототехнику, поиск и отслеживание ИК-излучения, датчики должны быть гибкими и адаптируемыми.