Экзоскелет под управлением нейросети научили предсказывать движения суставов
Американские инженеры разработали систему управления экзоскелетом для нижних конечностей на основе нейросети, которая может с высокой точностью предсказывать моменты сил в суставах ног в режиме реального времени.
Система может самостоятельно без ручной настройки параметров и калибровок под конкретного пользователя адаптироваться к широкому спектру движений - от циклических, таких как ходьба и бег, до сложных и неструктурированных движений, таких как берпи, приседания, выпады, остановки, повороты и прыжки. Экзоскелет также помогает снизить энергозатраты на величину приблизительно от 5 до 20 процентов при выполнении десяти различных действий, таких как ходьба, бег, поднятие веса, выпады. Результаты опубликованы в журнале Nature.
Под термином «экзоскелет» сегодня обычно подразумевают сразу несколько разных типов устройств, надеваемых на тело человека. Одни из них, например, предназначены для снижения нагрузки на позвоночник и повышения силы во время работы, помогая человеку поднимать тяжести. Другие призваны облегчить выполнение регулярных движений и применяются для снижения метаболических затрат во время ходьбы или бега. Однако, несмотря на конструктивные различия, у большинства существующих сегодня подобных устройств есть общий недостаток: они не могут в реальном времени адаптироваться ко всему многообразию человеческих движений.
Как правило, двигательная активность человека в экзоскелете отслеживается с помощью встроенных в него датчиков. Поступающие от них данные обрабатывается контроллером управления, который и определяет, в какой момент экзоскелет своими приводами должен помочь пользователю. В большинстве случаев для этой цели используют алгоритмы с заранее подобранными параметрами, которые соответствуют только определенным типам и фазам движений и неспособны эффективно реагировать на другие виды активности. К примеру, для переключения между ходьбой по ровной поверхности и подъемом по лестнице приходится либо вручную менять режим работы контроллера, либо полагаться на автоматический классификатор, что ограничивает подвижность пользователя.
Решить эту проблему взялись инженеры под руководством Дина Молинаро (Dean D. Molinaro) из Технологического института Джорджии. Они разработали универсальный контроллер, под управлением которого экзоскелет способен в режиме реального времени адаптироваться к любым движениям человека без предварительной настройки. В его основе нейросеть, которая непрерывно предсказывает биологические моменты сил на суставах ног пользователя.
Для испытаний разработчики использовали интегрированный с одеждой экзоскелет для нижних конечностей с приводами в районе бедра и коленного сустава. Конструкция экзоскелета сочетает в себе текстильные детали и полужесткие структурные элементы для эффективной передачи усилий от приводов, каждый из которых обеспечивает до 15 ньютон-метров крутящего момента. За сбор информации о движениях отвечают датчики: шесть инерциальных измерительных блоков отслеживают угловые скорости и ускорения, энкодеры контролируют положение суставов, а стельки с датчиками давления измеряют силу реакции опоры. Масса экзоскелета составляет примерно семь килограмм.
Представленный временной ряд демонстрирует среднюю производительность разработанного подхода к управлению с усреднёнными кривыми, полученными от участников для показанных задач. ext. обозначает разгибание (extension)
Для вычисления необходимых моментов, которые приводы должны приложить к суставам экзоскелета, используется временная сверточная нейросеть, на вход которой с частотой 200 герц подаются данные с датчиков. Для обучения и валидации модели разработчики собрали данные о двигательной активности 15 здоровых участников при выполнении 28 различных действий, включая ходьбу, бег, прыжки, приседания, повороты, шаги через препятствия и другие виды движений. Эти данные были синхронизированы с данными системы захвата движений и измерений силы реакции опоры напольными сенсорами. Затем на основе скелетно-мышечной модели рассчитывались истинные значения моментов в тазобедренном и коленном суставах, используемые как целевые при обучении. Генерируемая в реальном времени обученной нейросетью оценка моментов затем преобразуется в управляющий сигнал для моторов экзоскелета с дополнительным масштабированием на 15-20 процентов от биологических значений для оптимальной помощи пользователю.
Для оценки точности созданного контроллера были проведены испытания, в которых участники выполняли те же 28 видов активности, из которых 9 были выделены для валидации модели и не использовались во время тренировки. Результаты показали, что нейросеть довольно точно оценивает (со средним коэффициентом детерминации около 0,83) моменты в суставах как при циклических (ходьба, бег), так и при неструктурированных движениях (прыжки, развороты). Кроме того, алгоритм успешно протестировали на восьми совершенно новых задачах (например, имитация баскетбольного броска), не входивших ни в обучающий, ни в валидационный набор. Результаты подтвердили хорошую обобщающую способность алгоритма.
Также инженеры провели оценку эффективности движений в экзоскелете с новым контроллером. В экспериментах на десяти видах активностей, включая ходьбу, бег, поднятие груза массой 11 килограмм, экзоскелет с работающим контроллером смог снизить энергозатраты (метаболические затраты) пользователя в сравнении с экзоскелетом с неактивным контроллером в диапазоне от 5,3 до 15,7 процента.
В будущем авторы работы планируют улучшить дизайн экзоскелета, снизив его массу и увеличив уровень оказываемой приводами помощи. Также они планируют расширить применение для других групп пользователей, включая пожилых людей и людей с ограниченными возможностями.
Экзоскелеты могут не только помогать поднимать тяжелые предметы и снижать утомляемость при ходьбе или беге. Они могут также помочь парализованным людям вновь обрести способность ходить. Такой медицинский экзоскелет разработали инженеры из южнокорейского института KAIST. Созданный ими роботизированный экзоскелет может автономно передвигаться и сам надевается на человека с полностью парализованными нижними конечностями, помогая ему встать из инвалидного кресла без посторонней помощи.
Автор: Андрей Фокин
Ссылка на источник
Система может самостоятельно без ручной настройки параметров и калибровок под конкретного пользователя адаптироваться к широкому спектру движений - от циклических, таких как ходьба и бег, до сложных и неструктурированных движений, таких как берпи, приседания, выпады, остановки, повороты и прыжки. Экзоскелет также помогает снизить энергозатраты на величину приблизительно от 5 до 20 процентов при выполнении десяти различных действий, таких как ходьба, бег, поднятие веса, выпады. Результаты опубликованы в журнале Nature.
Под термином «экзоскелет» сегодня обычно подразумевают сразу несколько разных типов устройств, надеваемых на тело человека. Одни из них, например, предназначены для снижения нагрузки на позвоночник и повышения силы во время работы, помогая человеку поднимать тяжести. Другие призваны облегчить выполнение регулярных движений и применяются для снижения метаболических затрат во время ходьбы или бега. Однако, несмотря на конструктивные различия, у большинства существующих сегодня подобных устройств есть общий недостаток: они не могут в реальном времени адаптироваться ко всему многообразию человеческих движений.
Как правило, двигательная активность человека в экзоскелете отслеживается с помощью встроенных в него датчиков. Поступающие от них данные обрабатывается контроллером управления, который и определяет, в какой момент экзоскелет своими приводами должен помочь пользователю. В большинстве случаев для этой цели используют алгоритмы с заранее подобранными параметрами, которые соответствуют только определенным типам и фазам движений и неспособны эффективно реагировать на другие виды активности. К примеру, для переключения между ходьбой по ровной поверхности и подъемом по лестнице приходится либо вручную менять режим работы контроллера, либо полагаться на автоматический классификатор, что ограничивает подвижность пользователя.
Решить эту проблему взялись инженеры под руководством Дина Молинаро (Dean D. Molinaro) из Технологического института Джорджии. Они разработали универсальный контроллер, под управлением которого экзоскелет способен в режиме реального времени адаптироваться к любым движениям человека без предварительной настройки. В его основе нейросеть, которая непрерывно предсказывает биологические моменты сил на суставах ног пользователя.
Для испытаний разработчики использовали интегрированный с одеждой экзоскелет для нижних конечностей с приводами в районе бедра и коленного сустава. Конструкция экзоскелета сочетает в себе текстильные детали и полужесткие структурные элементы для эффективной передачи усилий от приводов, каждый из которых обеспечивает до 15 ньютон-метров крутящего момента. За сбор информации о движениях отвечают датчики: шесть инерциальных измерительных блоков отслеживают угловые скорости и ускорения, энкодеры контролируют положение суставов, а стельки с датчиками давления измеряют силу реакции опоры. Масса экзоскелета составляет примерно семь килограмм.
Представленный временной ряд демонстрирует среднюю производительность разработанного подхода к управлению с усреднёнными кривыми, полученными от участников для показанных задач. ext. обозначает разгибание (extension)
Для вычисления необходимых моментов, которые приводы должны приложить к суставам экзоскелета, используется временная сверточная нейросеть, на вход которой с частотой 200 герц подаются данные с датчиков. Для обучения и валидации модели разработчики собрали данные о двигательной активности 15 здоровых участников при выполнении 28 различных действий, включая ходьбу, бег, прыжки, приседания, повороты, шаги через препятствия и другие виды движений. Эти данные были синхронизированы с данными системы захвата движений и измерений силы реакции опоры напольными сенсорами. Затем на основе скелетно-мышечной модели рассчитывались истинные значения моментов в тазобедренном и коленном суставах, используемые как целевые при обучении. Генерируемая в реальном времени обученной нейросетью оценка моментов затем преобразуется в управляющий сигнал для моторов экзоскелета с дополнительным масштабированием на 15-20 процентов от биологических значений для оптимальной помощи пользователю.
Для оценки точности созданного контроллера были проведены испытания, в которых участники выполняли те же 28 видов активности, из которых 9 были выделены для валидации модели и не использовались во время тренировки. Результаты показали, что нейросеть довольно точно оценивает (со средним коэффициентом детерминации около 0,83) моменты в суставах как при циклических (ходьба, бег), так и при неструктурированных движениях (прыжки, развороты). Кроме того, алгоритм успешно протестировали на восьми совершенно новых задачах (например, имитация баскетбольного броска), не входивших ни в обучающий, ни в валидационный набор. Результаты подтвердили хорошую обобщающую способность алгоритма.
Также инженеры провели оценку эффективности движений в экзоскелете с новым контроллером. В экспериментах на десяти видах активностей, включая ходьбу, бег, поднятие груза массой 11 килограмм, экзоскелет с работающим контроллером смог снизить энергозатраты (метаболические затраты) пользователя в сравнении с экзоскелетом с неактивным контроллером в диапазоне от 5,3 до 15,7 процента.
В будущем авторы работы планируют улучшить дизайн экзоскелета, снизив его массу и увеличив уровень оказываемой приводами помощи. Также они планируют расширить применение для других групп пользователей, включая пожилых людей и людей с ограниченными возможностями.
Экзоскелеты могут не только помогать поднимать тяжелые предметы и снижать утомляемость при ходьбе или беге. Они могут также помочь парализованным людям вновь обрести способность ходить. Такой медицинский экзоскелет разработали инженеры из южнокорейского института KAIST. Созданный ими роботизированный экзоскелет может автономно передвигаться и сам надевается на человека с полностью парализованными нижними конечностями, помогая ему встать из инвалидного кресла без посторонней помощи.
Автор: Андрей Фокин
Ссылка на источник