Специалисты найдут способ выяснить, что вы набираете во время видеозвонков

Специалисты из университета Оклахомы выяснили, что угроза может выйти за пределы прямых трансляций на YouTube и Twitch, особенно если в поле зрения веб-камеры будут попадать движения верхней части тела жертвы.

Эксперты утверждают, что ПО для захвата видео сможет поражать устройства и передавать данные злоумышленникам. Таким образом можно будет похищать пароли, данные банковских карт и другую личную информацию пользователя.

Распознавание данных происходит в 3 этапа: сначала видео предварительно обрабатывается, потом преобразуется в серые оттенки. С помощью виртуальной модели FaceBoxes отслеживается направление движения рук, предсказываются возможные используемые слова и из обнаруженных нажатий выводится набор текста, который был обнаружен.

Это смещение измеряется с помощью метода компьютерного зрения, называемого разрежённым оптическим потоком, который используется для отслеживания движений плеч и рук в хронологических кадрах нажатия клавиш.

В будущем система научится с лёгкостью определять направления между нажатиями клавиш на стандартной клавиатуре QWERTY, используя обозначения идеальных направлений, которым должна следовать рука наборщика.

Алгоритм предсказания слов, таким образом, ищет наиболее вероятные слова, которые соответствуют порядку и количеству нажатий левой и правой клавиш и направлению смещений рук с шаблонными направлениями между нажатиями клавиш.

Проведённые исследования позволили определить точность системы распознавания с помощью фокус-группы из 20 человек. При этом тестировали разные модели веб-камер, фоны, одежду и форму рукавов, а также различные программы для видеосвязи. Исследование выяснило, что те, кто носили одежду без рукавов, были куда больше подвержены распознаванию. 

Система успешно идентифицировала  91,1% имён пользователей, 95,6% адресов электронной почты и 66,7% веб-сайтов, набранных участниками, но только 18,9% паролей и 21,1% английских слов, набранных ими.

Ссылка на исследование.