Цифровые устройства получат возможность , распознавая звуки и вибрации, действовать соответственно происходящему вокруг них
«Умные» устройства не будут таковыми, если они не понимают, где они находятся и чем заняты окружающие их люди. Исследователи в Университете Карнеги-Мэллон считают, что такая осведомлённость о своём окружении может быть развита с помощью дополнительных методов анализа звуков и вибраций.
«Умный громкоговоритель» на кухонном столе не знает, что это кухня, и чем занят присутствующий там человек, — говорит Крис Харрисон, доцент Института взаимодействий человека и компьютера (ИВЧК). — Но если бы эти устройства понимали, что происходит вокруг них, они были бы намного полезнее».
Подпись к изображению: Исследователи в Университете Карнеги-Мэллон используют лазерную виброметрию — технология, сходная с применявшейся спецслужбами для подслушивания — чтобы наблюдать за вибрациями и перемещениями объектов, позволяя «умным» устройствам определять присутствие людей
Харрисон с коллегами из «Группы интерфейсов будущего» сделал доклад на эту тему на проходившем в Берлине симпозиуме Ассоциации по программированию пользовательских интерфейсов вычислительных устройств. В докладе рассмотрены два подхода к проблеме — один предполагает использование самых распространённых датчиков — микрофонов, в другом же применяется современная версия технологии прослушивания, которую применяли в КГБ в 1950-х годах.
В первом случае, учёные намереваются создать систему распознавания активности на основании звуков «Ubicoustics». В ней используются микрофоны, имеющиеся в «умных громкоговорителях», смартфонах и «умных часах», давая им способность распознавать звуки, характерные для разных помещений, например, для мастерских, спален, кухонь, вестибюлей и офисов.
«Основная идея состоит в том, чтобы использовать профессиональные библиотеки звуковых эффектов, применяемые в киноиндустрии, — говорит Жирар Лапут, докторант ИВЧК. — Эти звуки чисты, корректно маркированы, рассортированы и разнообразны. Кроме того, мы можем путём трансформации получать сотни их вариантов, создавая большой объём данных, прекрасно подходящий для тренировки систем методами глубокого обучения. Система «Ubicoustics» может быть установлена на устройство как обновление программного обеспечения, и немедленно приступить к работе».
Такая система по типу «включи и работай» может применяться в любом окружении. Например, она способна предупредить хозяина, что кто-то стучится в дверь, или обеспечить переход к следующему шагу кулинарного рецепта, определив включение блендера или мясорубки.
Исследователи начали с имевшейся у них модели для классификации звуков и настроили её, используя звуковые эффекты из профессиональных библиотек, такие как звуки кухонных приборов, электроинструментов, фенов, клавиатур и других устройств, предполагающих специфичный контекст. Затем они синтетически изменяли звуки, создав сотни вариаций.
Лапут говорит, что распознавание звуков и отнесение их к определённому контексту было непростой задачей, в частности потому, что часто присутствуют несколько звуков одновременно, мешая друг другу. В опытах «Ubicoustics» показала точность распознавания 80 процентов, что сравнимо с результатами человека, но всё же это недостаточно для использования в приложениях. Лучшие микрофоны, более высокая частота дискретизации, другие модели могут в дальнейшем увеличить точность распознавания.
В другой статье докторант ИВЧК Янг Жанг, совместно с Лапутом и Харрисоном, описывают систему «Vibrosight» («Виброзрение»), которая способна детектировать вибрации в конкретных местах комнаты с помощью лазерной виброметрии. Это похоже на световые устройства, которые КГБ применял для улавливания вибраций отражающих поверхностей, таких как окна, что позволяло услышать речь, которая вызывала вибрации.
«В вибрациях замечательно то, что они сопутствуют любой деятельности человека», — говорит Жанг.
Бег на тренажёре, стук молотка или печатание на клавиатуре — всё вызывает вибрации, которые можно уловить на расстоянии. Другое важное свойство вибраций — они локализованы на поверхности. В отличие от звуков, вибрации разных процессов не смешиваются. И в отличие от микрофонов и фотокамер, наблюдение за вибрациями определённых участков ограниченно, и сохраняет приватность.
Этому способу требуется специальный детектор, маломощный лазер в сочетании с снабжённым электроприводом зеркалом. Экспериментальное устройство обошлось создателям в 80 долларов. Отражатели — такие же, как используемые для придания заметности велосипедам и пешеходам ночью — накладываются на наблюдаемые объекты. Лазер-детектор можно установить в углу комнаты, и он сможет наблюдать за вибрациями многих объектов.
Жанг говорит, что датчик способен определять, работает ли устройство, с точностью 98 процентов и идентифицировать его с точностью 92 процента.
16.10.2018 16:56
