Как работает распознавание лиц в смартфонах

Зачем мы выбираем разблокирование по фейсу

В недавние годы распознавание лиц превратилось в одной из самых распространённых функций для разблокировки смартфонов. Всего пару годков назад основная часть пользователей довольствовались пин-кодами, ключами доступа или сканерами отпечатков пальцев. Но при появлением подобных технологий, как вулкан россия, нам вполне лишь взглянуть на экран — и устройство тут же узнает своего владельца.

Какая вещь превращает эту функцию такой востребованной? Прежде всего, это практично: не нужно помнить замысловатые пароли или находить верный палец в мраке. Также, это мгновенно: современные алгоритмы идентифицируют лицо буквально за доли секунды. В-третьем пункте, это ощущение будущего — как будто в кинолентах про vulkan russia агентов.

Тем не менее за этой кажущейся легкостью скрывается целый вселенная трудных технологий и инженерных разработок. Попробуем понять, как конкретно действует распознавание лиц в новейших гаджетах, какие существуют способы, насколько они безопасны и что нас ожидает в будущем.

Краткая история эволюции техники

Идентификация лиц как техника имеется уже более пятидесяти годов. Начальные пробы машинного исследования лица были сделаны еще в 1960-х годы в лабораториях США. Тогда вычислительные машины умели лишь обозначать силуэты головы и вычислять расстояния между очами и губами на черно-белых изображениях.

Первые торговые системы появились в 1990-х годах, но они были далеки от совершенства: работали медленно и часто давали сбои. Только с развитием синтетических сетей и таких систем, как вулкан россии, мощных мобильных микросхем идентификация лиц стало по-настоящему общедоступным явлением.

В две тысячи семнадцатом году Apple представила iPhone X с системой Face ID — это был первый широкодоступный смартфон с надёжным трёхмерным идентификацией лица. За этим пошли Android-производители: Samsung, Huawei, Xiaomi и прочие стали внедрять собственные разработки.

Основные стадии функционирования системы распознавания

Процесс идентификации лица можно примерно поделить на несколько основных этапов:

1. Идентификация лица — устройство распознает наличие гуманного образа в изображении.
2. Выделение признаков — алгоритм изучает черты физиономии: форму зрительных органов, носа, губ, расположение надбровных дуг.
3. Построение структуры — создаётся особенный виртуальный отпечаток (faceprint) на основе определённых признаков.
4. Сравнение с стандартом — сформированный модель сверяется с записанной при внесении биометрической данными владельца.
5. Принятие определения — если соответствие достаточно высокое, смартфон разблокируется.

Любой из данных шагов требует индивидуальных алгоритмов и оптимизаций для быстрой работы прямо на устройстве.

Аппаратные составляющие: что скрыто внутри

Типичная селфи камера.

Простейший легкий метод распознавания облика задействует только переднюю видеокамеру мобильного устройства. Подобный метод внедрён во различных бюджетных моделях Android-девайсов.

Положительные стороны:

• Не нуждается в требует дополнительных сенсоров.
• Быстро функционирует при хорошем свете.

Недостатки:

• Легко ввести в заблуждение снимком или роликом.
• Плохо действует при слабом освещении или нестандартных ракурсах.

ИК камера и пунктирный проектор

Более усовершенствованные системы, такие как вулкан россии, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта технология является основой Face ID от Apple.

Каким способом это действует:

• Точечный проектор показывает на физиономию использующего невидимую структуру из тысяч инфракрасных меток (например, Face ID задействует около 30 000 пятен).
• ИК устройство регистрирует изменение формы этой решетки по плоскости физиономии.
• Получается трехмерная глубинная карта глубины, которая почти что неподвластна для имитации обычной фотографией или маской.

Достоинства

• Надёжная деятельность даже в полной темноте.
• Сильная сопротивляемость к подделкам.
• Точность идентификации выше 99%.

Добавочные сенсорные устройства

В отдельных аппаратах применяются также экстра датчики: ToF (Time-of-Flight), которые определяют время движения луча до объекта и обратно; Цветные-датчики глубины; специальные лазерные лидары для формирования более детализированной 3D-модели физиономии.

Эти технологии встречаются в основном во топовых аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные процедуры: искуственный интеллект на действии

Нынешние устройства идентификации физиономий невозможны при отсутствии эксплуатации искусственного интеллекта и machine learning. Именно благодаря таким технологиям, как вулкан россии, устройство в состоянии распознавать юзера даже при метаморфозах облика: новая стрижка, щетина, очки или макияж не становятся помехой для открытия.

Детектирование физиономии

При начальном стадии система должна быстро обнаружить образ лица внутри целого снимка с камеры. Для данной цели задействуются каскадные классификаторы Хаара или более новейшие сверточные нейронные сети (CNN), которые подготовлены распознавать лиц человека среди множества других объектов.

Пример: процесс MTCNN может распознавать физиономию даже при неполном перекрытии (например, платком или ладонью).

Выделение ключевых моментов

После распознавания лица система, такая как вулкан россии, определяет местоположение основных точек: кончики глаз, конец носа, границы губ и так далее. Как правило используется от 68 до 128 ключевых точек на лице.

Данное необходимо для выравнивания картинки: если юзер удерживает мобильник под наклоном, или повернул головку, программа исправляет изображение до нормального состояния для дальнейшего анализа.

Создание биометрии шаблона

Далее искусственная сеть строит уплотненное математическое представление (“эмбеддинг”) внешности пользователя — своеобразный цифровой след лица длиной от 128 до 512 флоатов.

Такой шаблон весьма затруднительно имитировать: он не удерживает само фото пользователя, а лишь уникальные характеристики его внешности, что делает его оптимальным для таких систем, как vulkan russia.

Сравнительный анализ и вынесение решения

Если пользователь хочет разлочить смартфон глазами, программа осуществляет все указанные шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает определённый порог (обычно превышает 99%), телефон, как и платформа vulkan russia, доступен; если нет — доступ запрещается.

Адаптация к изменениям облика

Интересная особенность актуальных системы — способность самостоятельного обучения. Если вы часто разблокируете смартфон с новой укладкой или очками, алгоритм постепенно модернизирует эталонный образец вашего лица для повышения точности работы без ухудшения безопасности.

Безопасность биометрических данных данных.

Множество клиенты опасаются держать свои биометрические данные на мобильном устройстве из-за вероятности потери данных или взлома гаджета. Определенные организации, например vulkan russia, предоставляют методы для улучшения защиты информации юзеров.

• Локальное сбережение: Преимущественно устройств хранит био-идентификационные шаблоны только внутрь защищённого процессора Secure Enclave (Apple) или TrustZone (Android). Они никогда не покидают аппарат и закрыты включая изготовителю.

• Шифрование: Все информация хранятся только в кодированном виде с использованием современных криптографических алгоритмов AES256.

• Изоляция программ: Приложения внешних разработчиков не обладают непосредственного доступа к биометрическим данным; они могут лишь запрашивать факт верификации личности через системный API.

Следует подчеркнуть значимую деталь: в случае, если какой-то человек достанет физический доступ к вашему телефону (к примеру, пока вы спите), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому многие компании осуществляют защиту от “слепого” разблокирования — к примеру, просят открыть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие существуют бывают типы распознавания лиц на изображениях?

На сегодняшний день можно выделить три ключевых метода к осуществлению этой функции:

Софтверное двухмерное определение

Эксплуатируется только лицевая камера без экстра детекторов глубины. Такой метод наблюдается обычно в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: легкость реализации; умеренная стоимость; скоростная работа при качественном свете.
Минусы: просто одурачить снимком; ненадежная работа ночью; слабая безопасность.

Оборудование для трёхмерное оцифровка

Использует ИК видеокамеру + проектор точек + сенсоры дистанции (Face ID у Apple; аналогичные решения у Huawei Mate).
Достоинства: значительная надёжность; не получится обмануть фото/видео; устойчивая функционирование при любом освещении.
Минусы: повышение стоимости устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Гибридные подходы с ИИ-дополнением

Применяют комбинацию софтверных методов + аппаратно-техническую обработку + дополнительную обработку нейросетями для повышения устойчивости к атакам (“anti-spoofing”). Например, такие изделия, например вулкан россии и Google Pixel Face Unlock последних поколений, сочетают фронталку c ИК датчиком мобильности Soli Radar для защиты от подделок жестами/масками/видеоэкранами посторонних устройств.

Примеры эксплуатации различных способов

• iPhone линейки X/11/12/13/14 применяют только техническое трёхмерное сканирование в 3D
• Xiaomi Mi8 Explorer Edition первый раз внедрил подобие Face ID среди Android.
• Samsung Galaxy S10 модель/S20 поддерживают как софтверное плоское определение по фото селфи-камерой, так и датчик радужки глаза.
• Huawei Mate20 Pro применяет набор из ИК-подсветки + Dot Projector + ToF-сенсорный элемент

Трудности охраны и неверные срабатывания

Несмотря на впечатляющий прогресс техники за прошедшие лет, идеальных механизмов пока не существует:

1. Вероятность мошенничества: Доступные смартфоны легко доступны четкой изображением пользователя или же видеозаписью с дисплея иного гаджета.
2. Идентичные двойняшки: Даже самые совершенные механизмы могут спутать между однояйцевыми близнецами либо родственниками с очень схожей внешностью.
3. Изменения внешнего вида: Стремительное похудение/набор веса, хирургические вмешательства либо травмы порой требуют обновления данных биометрии.
4. Условия съёмки: Интенсивная подсветка солнцем или глубокая темнота могут снизить аккуратность распознавания признаков.

Ниже некоторые подсказок для защищённому использованию:

• Для важных операций всегда применяйте дополнительную аутентификацию;
• Не запускайте опцию “Разблокировка по лицу” на дешёвых устройствах без ИК-сенсоров;
• Систематически обновляйте прошивку программное обеспечение телефона для обеспечения безопасности от актуальных атак;
• Включайте настройку “Требовать раскрытых глаз” везде, где она имеется.

Где также используется технологии за исключением мобильных телефонов?

Несмотря на то, что тема данной работы сосредоточена на именно мобильным устройствам, стоит упомянуть о других сферах применения технологии:

• Контроль входа в офисах и многоквартирных зданиях;
• Платёжные аппараты финансовых учреждений (“Face Pay”);
• Цифровые удостоверения личности современного поколения;
• Комплексы видеонаблюдения муниципальных служб;
• Механизация отслеживания явки образовательных учреждений/университетов;
• Аутентификация участников персональных компьютеров/ноутбуков.

Например: В столичном метро уже испытывается система платежа проезда по фейсу (“Face Pay”) — нужно лишь пройти через барьер без карты или мобильника! Аналогичные проекты развиваются в Китае (Шэньчжэнь), Республике Корея и некоторых европейских странах.

Как изменяется техпроцесс в нынешнее время?

Каждый годик проявляются современные мысли для улучшения уровня деятельности систем распознавания лиц:

1. Увеличивается разрешение датчиков — чем больше элементов фиксируется камерой/глубинными сенсорами, тем меньше шанс неточности;
2. Развиваются искусственные интеллекты — современные структуры модели MobileNetV3 дают возможность оперативно осваивать свежим характеристикам вида владельца непосредственно на девайсе без отправки данных в облако.
3. Совершенствуются методы антиспуфинга — теперь телефоны способны отличать настоящие анимированные лица от неподвижных фотографий/масок по мельчайшим движениям кожи.
4. Взаимодействие со интеллектуальными приборами — интеллектуальные часы могут самостоятельно закрыть доступ к смартфон, если владелец ушёл далеко.
5. Проявляются смешанные механизмы — в частности совмещающие речевую аутентификацию + облик + пальцевой отпечаток.

Здесь, какие тенденции в особенности актуальны в данный момент:

1) Миниатюризация деталей

Изготовители намереваются уменьшить размер выреза (“чёлки”) под датчики на экране за счёт внедрения маленьких ИК-излучателей прямо под поверхность дисплея либо высувных модулей камеры.

2) Обработка прямо на аппарате

Для повышения конфиденциальности всё более расчётов выполняется на месте без пересылки данных во сторонний облачный сервис.

3) Унификация регламентов

Google энергично пропагандирует стандарт BiometricPrompt API, с целью чтобы аналогичные площадки, как вулкан россия, и каждые Android-приложения могли взаимодействовать с любыми видами биометрии унифицированно.

Какое решить на сегодня?

В случае если вам необходима максимальная безопасность информации, выбирайте передовые модели с интегрированным ИК-излучателем или же ToF-сенсором глубины.

• iPhone всех последних поколений
• Huawei Mate/P серии
• Mix Professional
• Vivo X серии
• Oppo Обнаружить Х серий.

Если средства скромен – лучше выбирать обычным методам безопасности (PIN-код/сканер пальца), а опцию “разблокировка по лицу”, такую как в вулкан россия, задействовать только как опциональную опцию удобства.

Каким образом повысить удобство функционирования опции?

Есть некоторые хитростей для тех, кто уже применяет функцию распознавания лица:

1. Регулярно обновляйте свою фото-шаблон, если значительно трансформируется облик.
2. Не упускайте из виду чистить объектив фронтальной камеры – пятна могут уменьшить четкость!
3. Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – так телефон сам активирует фотоаппарат как только вы поднимаете его.
4. При регистрационного процесса пытайтесь удерживать голову ровно напротив объектива исключая резкого наклона головы.
5. Применяйте функцию “Attention Aware” (“Реакция на внимание”) – она закрывает смартфон, если вы отворачиваетесь от экрана.

Будущее прогресса техники

В скоро наступающие периоды можно ожидать появления полностью безконтактных способов распознавания человека сразу по нескольким биометрическим данным параметрам одновременно: облик + звучание + манера ходьбы + движения рук!

Также вероятно возникновение новых методов защиты конфиденциальности – например, изменяющееся корректировка электронного паттерна после каждой результативной авторизации, чтобы осложнить его копирование злоумышленниками.

Идентификация лиц – единственная из самых захватывающих инноваций нашего эпохи! Она обеспечивает взаимодействие со телефоном проще чем когда-либо прежде, и такие аппы, как vulkan russia, могут в разы улучшить ваш пользовательский опыт, но запрашивает осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, если вы знаете, как устроена эта технология изнутри, – сможете более осмысленно подбирать свой следующий девайс!