Success Story - rus

3D-PDR - распознавание траектории движения человека на основе данных с инерциальных датчиков

Мотивация запуска проекта заказчиком: в каждом смартфоне есть инерциальные датчики, которые измеряют ускорения и вращения телефона. По этим датчикам теоретически можно получить полную картину передвижения смартфона.  Путь смартфона может много что рассказать: где он лежит (в сумке, кармане, руке и т.д.), как двигается его носитель (идет, стоит, бежит, поднимается по лестнице) и самое интересное - какую траекторию описывает телефон в 3D. С помощью алгоритма по распознаванию положений, активностей и траекторий можно помогать человеку в навигации в здании и понимать его поведение со смартфоном. Задача нашей команды - построить такой алгоритм.

Описание исходной ситуации:
  • есть набор размеченных данных с инерциальных датчиков. Разметка - позиции, активности и траектория человека во времени; 
  • данные с датчиков очень шумные, поэтому для оценки траектории мы не можем воспользоваться физическими уравнениями. 
  • во время передвижения человека на лифте или эскалаторе инерциальные датчики показывают то же самое, что и когда человек стоит, но передвижение происходит.

Цели проекта:
  • построить алгоритм классификации активности и положения, а также оценки траектории человека в 3D при любой активности и любом положении телефона. Алгоритм включает в себя как DL часть, так и классические подходы к инерциальной навигации.

Решение MIL Team: решение задачи сегментации временных рядов с датчиков с помощью нейросети для моделирования частей траекторий. Классификация сегментов временных рядов нейросетью для распознавания активности и положения. Детекция смен активностей для определения активностей в лифте и на эскалаторе. Несколько классических и авторских алгоритмов предобработки данных. 

Для построения модели были использованы: 
  • Открытый датасет RuDaCop, собранный заказчиком;
  • Открытый датасет RoNIN;
  • Будет использован датасет, сборку которого организует команда MIL.

Результаты моделирования: under NDA

Заказчик: under NDA

Технологический стек: Python (PyTorch, quaternion), wandb для мониторинга экспериментов


Sensors Research Division