Светодиоды, кепка и очки: как обмануть системы распознавания лиц

Современные нейросетевые технологии, позволяющие распознавать лица, совершенствуются. Но в то же время развиваются и способы, с помощью которых нейросеть можно ввести в заблуждение. Как уже писало EADaily, один из способов обойти фотобиометрические системы с помощью специального макияжа был разработан сотрудником «Яндекса». О предыстории и перспективах способов обмана системы распознавания лиц рассказывает исполнительный директор, начальник управления статистического анализа банка «Ренессанс Кредит» Сергей Афанасьев.

Способы обмана систем распознавания лиц были придуманы ещё до того как сотрудник Яндекса Григорий Бакунов в 2017 году предложил свой метод. Например, в 2014 году в продаже появилась бейсболка Justice Cap, оснащенная светодиодами, которые засвечивали лицо для фото- и видеокамер. Это оказалось очень простым и эффективным способом скрыться от видеонаблюдения. Стоила такая кепка всего $ 15.

В 2015 году американский математик Ян Гудфелоу разработал алгоритм для атаки на нейронные сети, распознающие объекты на фотографиях. Он добавил к фотографии панды специально сгенерированный шум и получил изображение, которое нейронная сеть распознавала как гиббона, хотя человек по-прежнему видел панду на обработанной фотографии.

Этот пример стал хрестоматийным для научных исследований и показал «темную сторону» генеративно-состязательных нейронных сетей, которые, кстати, тоже придумал Гудфелоу.

Годом позже исследователи из Университета Карнеги-Меллона (США) продолжили развивать идеи Гудфелоу и предложили с помощью нейросетей генерировать специальный принт для оправы очков. Цель была та же — обойти системы распознавания лиц. Разработанная нейронная сеть позволила подбирать специальные принты, которые «превращают» человека в любую выбранную знаменитость, или другого человека. Например, один из исследователей, надев такие очки, стал для фотобиометрической системы Милой Йовович.

Еще спустя год на одной из выставок дизайнер Дзинь-Цай Лю предложила надевать на голову портативный проектор, который проецирует на лицо человека другое лицо. И хотя это был арт-проект без практической реализации, идею позже подхватили китайские исследователи.

В 2018 году инженеры из Фуданьского университета и компании Алибаба предложили использовать инфракрасные светодиоды для взлома систем распознавания лиц. Для этого они прикрепили светодиоды на нижнюю часть козырька обычной кепки. Принцип работы достаточно простой: инфракрасные лучи, падающие на лицо человека, образуют пятна, которые не видны человеческому глазу, но фотокамера их отлично ловит. В результате на систему распознавания лиц отправляется фотография с пятнами, которую нейросеть не может сравнить с базовой фотографией.

Кроме простого взлома, инженеры разработали сложный режим работы светодиодов. Они обучили модель, которая обманывает Open Source фотобиометрию FaceNet от компании Google. Разработанная учеными модель оптимизирует несколько параметров: яркость луча, угол наклона луча и диаметр пятна. В результате можно загрузить фотографию жертвы и алгоритм выдаст оптимальные параметры калибровки светодиодов, чтобы фотобиометрия FaceNet распознала на фото жертву, а не мошенника. Для людей с похожим типом внешности (раса, пол и т. д.) точность прохождения фотобиометрии за жертву составила около 70%.

Такую кепку можно сделать и собственными руками, закупив комплектующие в обычном магазине электроники. Единственным неудобством такой кепки является то, что инфракрасный свет оставляет ожоги на коже человека. Поэтому исследователи не рекомендовали носить кепку с работающими светодиодами более одной минуты.

Несмотря на то, что атаки на нейронные сети могут использовать и преступники, ученые пытаются найти в этих разработках добрую миссию — например, использовать атаки на нейронные сети как борьбу с «Большим братом». Недавно чикагские инженеры бросили вызов технологическим компаниям, собирающим фотографии о пользователях в интернете с целью последующей перепродажи этих данных полицейским ведомствам и частным компаниям. Ученые разработали инструмент под названием Fawkes (Фокс), который маскирует фотографии для защиты от фотобиометрических систем. Исследователи смогли обмануть системы распознавания лиц от Amazon, Microsoft и китайской технологической компании Megvii. Всего за месяц Fawkes скачали больше 50 тысяч раз с сайта для разработчиков. Сейчас инженеры работают над бесплатной версией для массового пользователя.

За несколько лет существования фотобиометрических систем было придумано множество способов их взлома: специальный макияж, платки и накидки с лицами других людей, стеклянные преломляющие маски, накладные маски с чужим лицом, очки со светодиодами и даже светоотражающая одежда. Например, костюм с вкраплением светоотражающих нитей, из-за которых на фото виден только сам костюм.

Следующий ход — за нейросетями…