Дослідники з Сингапуру розробили новий метод відстеження рухів людини за допомогою сигналів WiFi, що дозволяє максимально детально проєктувати фізичні рухи у віртуальну реальність. Вони представили прототип рішення для розпізнавання людської активності (human activity recognition, HAR) та фіксації рухів тіла в умовах обмеженої видимості.
Як зазначається у науковій роботі, однією з ключових особливостей метапростору є здатність зображати об’єкти та людей реального світу в цифровому світі в режимі реального часу. Користувачі можуть повертати голову, щоб змінити погляд, або маніпулювати фізичними контролерами в реальному світі, щоб впливати на цифрове середовище.
Для фіксації людської активності в метапросторі використовуються сенсори, камери або їх поєднання. Однак, як пишуть дослідники, обидва ці способи мають безпосередні обмеження. Ручний контролер з датчиком руху фіксує інформацію лише в одній точці, з ним неможливо моделювати складну діяльність. Тим часом системи відстеження на основі камер борються з недостатньою освітленістю та фізичними перешкодами.
Водночас вчені вже багато років використовують датчики WiFi для відстеження руху людини. Подібно до радарів, радіосигнали, що використовуються для надсилання та отримання даних WiFi, можна використовувати для виявлення об’єктів у просторі. Датчики WiFi можна налаштувати так, щоб вони вловлювали серцебиття, відстежували режими дихання та сну і навіть відчували людей крізь стіни.
Відстеження WiFi вимагає використання моделей штучного інтелекту. Навчання цих моделей виявилося складним для дослідників, а існуючі рішення, що використовують Wi-Fi та техніку технічного зору, покладаються на масивні марковані дані, які дуже складно збирати. Набори даних, що використовуються для навчання ШІ, можуть містити тисячі або навіть мільйони точок даних, залежно від цілей конкретної моделі.
Дослідники запропонували неконтрольоване мультимодальне HAR-рішення MaskFi, яке використовує лише немарковані відео та дані про активність Wi-Fi для навчання моделей. Він використовує моделі ШІ, побудовані за допомогою методу, який називається “навчання без нагляду”.
У парадигмі неконтрольованого навчання ШІ-модель попередньо навчається на значно меншому наборі даних, а потім проходить через ітерації, поки не зможе передбачати вихідні стани із задовільним рівнем точності. Це дозволяє дослідникам зосередити свою енергію на самих моделях, а не на кропітких зусиллях, необхідних для створення надійних навчальних наборів даних.
Система MaskFi досягла близько 97% точності у двох пов’язаних тестах. Очікується, що ця система може, завдяки подальшому розвитку, стати каталізатором абсолютно нової модальності метапростору: метапростору, який може забезпечити представлення реального світу в масштабі 1:1 в реальному часі.
