УДК 004.89 УДК 351.855.3 ГРНТИ 77.00 ГРНТИ 20.00 ОКСО 49.04.03 ОКСО 49.00.00 ОКСО 01.04.02 ОКСО 02.07.01 ТБК 2352 ТБК 4615 ТБК 2301 ТБК 5106 ББК 75 BISAC BIO016000 BISAC BUS070030 BISAC COM004000 ВАК 5.8.4 ВАК 5.8.5 ВАК 1.2.1
NeuroSkate: нейросетевая архитектура для распознавания элементов в фигурном катании
Аннотация:
Для достижения успеха в фигурном катании важны упорный труд и эффективное взаимодействие с тренером. На практике у тренера зачастую не получается проследить за количеством и качеством выполненных элементов у юных спортсменов на тренировке. Вследствие этого, целью работы является разработка нейросети «NeuroSkate», предназначенной для анализа движений детей-спортсменов на тренировках по фигурному катанию. Работа выполняется в сотрудничестве с школой олимпийского резерва «Орленок» в городе Перми, которая выступила основным поставщиком данных для исследования. Датасет включает видео выполнения шести ключевых элементов в фигурном катании юными спортсменами. Архитектура «NeuroSkate» представляет собой каскад из нескольких архитектур, каждая из которых выполняет свою подзадачу: детекцию, выделение ключевых точек и распознавание типа движения. В попарной классификации выполненных элементов доля верно определенного класса на тестовой выборке у «NeuroSkate» составляет в среднем 72%.

Ключевые слова:
распознавание движений, компьютерное зрение, искусственный интеллект, фигурное катание, YOLOv8, LSTM
Финансирование:
Конкурс программ стратегического академического лидерства «Приоритет-2030»

Введение. Фигурное катание сочетает в себе эстетическую привлекательность и техническую сложность. Это помогает развивать физические и психоэмоциональные навыки детей, такие как сила, координация, гибкость, самодисциплина и уверенность в себе. Для достижения успеха в этом виде спорта важны упорный труд и эффективное взаимодействие с тренером.

Однако в групповых тренировках тренер не всегда может уделить внимание каждому ребенку, что влияет на мотивацию и результаты. В качестве решения предлагается использование технологий, в частности, искусственного интеллекта. Разработка нейросети, которая будет отслеживать выполнение элементов фигуристами, поможет тренерам получать точную информацию о качестве выполнения упражнений на тренировке, что позволит улучшить тренировочный процесс и повысить его эффективность.

Объектом исследования является разработка нейросети NeuroSkate, предназначенной для анализа движений детей-спортсменов на тренировках по фигурному катанию. Работа выполняется в сотрудничестве с школой олимпийского резерва «Орленок» в городе Перми, которая выступила основным поставщиком данных для исследования.

Цели и задачи. Цель работы заключается в создании инструмента, который способен автоматически детектировать юных фигуристов и оценивать выполнение базовых элементов тренировочной программы.

В качестве основных задач исследования, были выделены следующие:

         Разработать нейросетевое решение для идентификации конкретного спортсмена в кадре;

         Разработать нейросетевую архитектуру для отслеживания движений юных спортсменов и определения элементов фигурного катания;

         Протестировать полученную нейросеть на видеозаписях реальных тренировок по фигурному катанию.

Методы исследования. Методология включает сбор и разметку видеоданных для эффективного распознавания и классификации движений с использованием современных архитектур нейросетей. В результате работы была создана модель, демонстрирующая высокую точность на видеоданных, собранных во время реальных тренировок. Насколько известно авторам, сбор и анализ данных, акцентированный именно на юных спортсменах, занимающихся фигурным катанием, был произведен впервые.

Авторы сконцентрировались в первую очередь на тех элементах, которые с одной стороны, доступны детям для выполнения, в другой стороны — представляют определенный интерес для анализа с точки зрения их учета в спортивных соревнованиях. В число таких элементов вошли: лутц, риттбергер, флип, бильман, кораблик и вертикальное вращение.

На данный момент разработка ИИ-решений для распознавания действий на видео осложнена тем, что создано критически мало открытых наборов данных для обучения нейросетей, существующие датасеты содержат в основном записи взрослых спортсменов [1, 2], что не подходит для поставленной задачи. Авторами работы был самостоятельно собран датасет, включающий в себя как видео из открытых источников (https://бильман.рф/, https://vk.com/iceclubperm, записи с соревнований на YouTube), так и авторские видеосъемки юных спортсменов во время тренировочного процесса в «Орленке». Итого в собранной выборке оказалось 172 видео, включающих один из шести перечисленных элементов.

Задача детекции решается в один этап с помощью архитектуры YOLOv8[3], задача распознавания движений решается в два этапа. На первом происходит выделение ключевых точек спортсмена с помощью YOLOv8, на втором происходит классификация с помощью архитектуры LSTM[4].

Основные результаты. Качество работы детекции юных фигуристов по метрике mAP составило 0.837, качество обнаружения ключевых точек по метрике mAP составило 0.894, качество попарной бинарной классификации движений в среднем составило 0.72 по метрике доли верно определенного класса. Выбор бинарной классификации связан с небольшим объемом обучающей выборки.

Для улучшения качества работы модели и перехода к мультиклассовой классификации, по мнению авторов, необходима доработка обучающего датасета, с увеличением количества примеров по каждому из классов как минимум в 5 раз. 

 

1. Papers with Code. FR-FS Dataset [Электронный ресурс]. URL: https://paperswithcode.com/dataset/fr-fs (дата обращения: 30.10.2024).

2. Liu, S. Motion-Centered Figure Skating Dataset [Электронный ресурс]. URL: https://shenglanliu.github.io/mcfs-dataset/ (дата обращения: 30.10.2024).

3. Jocher, G., Qiu, J., Chaurasia, A. Ultralytics YOLO (версия 8.0.0) [Компьютерное программное обеспечение]. URL: https://github.com/ultralytics/ultralytics (дата обращения: 30.10.2024).

4. Hochreiter S. Long Short-term Memory //Neural Computation MIT-Press. – 1997.

Войти или Создать
* Забыли пароль?