Группа американских исследователей из Университета штата Пенсильвания обнаружила, что слабые вибрации, создаваемые динамиком телефона, можно использовать для удаленного прослушивания разговоров.
В новом исследовании американские ученые продемонстрировали, что расшифровывать телефонные звонки можно с помощью данных с радара, полученных на расстоянии около 3 метров от телефона. Отмечается, что точность этой расшифровки остается ограниченной и составляет около 60% на средний объем из 10 тыс. слов. Исследование базируется на проекте 2022 года, в котором исследователи использовали датчик-радар и программное обеспечение для распознавания голоса и удаленной расшифровки 10 слов, букв и цифр с точностью до 83%.
«Когда мы разговариваем по мобильному телефону, мы склонны игнорировать вибрации, передаваемые через динамик и заставляющие вибрировать весь телефон. Если мы уловим эти вибрации с помощью удаленных радаров и применим машинное обучение, чтобы распознавать сказанное, используя контекстные подсказки, мы сможем распознавать цели разговоров», — объясняет первый автор исследования Суредай Басак.
Суредай Басак и его научный руководитель Махант Гоуда, соавтор исследования с кафедры компьютерных наук и инженерии, использовали датчик-радар миллиметрового диапазона — то же устройство используется беспилотным транспортом, датчиками движения и беспроводными сетями 5G, для изучения потенциала компактных устройств на основе радаров. Исследователи стремились уменьшить размеры этих устройств до таких, которые позволяли бы интегрировать их в такие предметы, как, например, шариковые ручки.
По словам исследователей, разработанная ими установка предназначена исключительно для проведения экспериментов и создана с учетом потенциальных действий злоумышленников. Они адаптировали Whisper, масштабную модель распознавания речи с открытым исходным кодом, работающую на базе искусственного интеллекта, для декодирования вибраций в известные языковые транскрипции.
«За последние три года произошел огромный прорыв в возможностях искусственного интеллекта и моделях распознавания речи с открытым исходным кодом. Мы можем использовать эти модели, но они больше ориентированы на чистую речь или повседневные задачи, поэтому нам приходится адаптировать их для распознавания низкокачественных, «зашумленных» радиолокационных данных», — подчеркнул Суредай Басак.
Для того, чтобы перейти от переполненных шумом данных к распознаванию речи без переобучения всей модели Whisper, исследователи использовали метод адаптации, известный как низкоранговая адаптация. Это позволило ученым специализировать модель для данных радара, переобучив всего 1% параметров Whisper.
Для регистрации вибраций исследователи использовали датчик миллиметрового радара, расположенный на расстоянии нескольких метров от телефона, чтобы улавливать едва заметные вибрации поверхности во время воспроизведения речи через динамик. Для анализа данных они передали этот сигнал с радара в свою модифицированную версию модели распознавания речи Whisper, что обеспечило точность до 60%. Исследователи подчеркивают, что точность расшифровки можно повысить, задействовав ручную коррекцию на основе контекста, например, путем корректировки определенных слов или фраз, если известны предварительные сведения о разговоре.
Авторы исследования сравнили собственный метод с чтением по губам. Хотя чтение по губам позволяет уловить лишь около 30-40% сказанных слов, многие люди, читающие по губам, используют контекстные подсказки для расшифровки достаточной информации, для участия в разговоре.
«Целью нашей работы было выяснить, могут ли эти инструменты потенциально использовать злоумышленники для прослушивания телефонных разговоров на расстоянии. Наши результаты показывают, что это технически осуществимо при определенных условиях, и мы надеемся, что это повысит осведомленность общественности, чтобы люди могли быть более внимательными во время конфиденциальных звонков», — отмечают в итоге исследователи.
Результаты исследования были представлены во время конференции ACM
Источник: TechXplore
