Appliquer l'apprentissage en profondeur à la capture de mouvement avec DeepLabCut

Anonim

Une équipe de chercheurs affiliés à plusieurs institutions en Allemagne et aux États-Unis a mis au point un algorithme d’apprentissage en profondeur qui peut être utilisé pour la capture de mouvements de tout type d’animaux. Dans leur article publié dans la revue Nature Neuroscience, le groupe décrit leur outil de suivi appelé DeepLabCut, son fonctionnement et son utilisation. Kunlin Wei et Konrad Kording, de l’Université de Pékin et de l’Université de Pennsylvanie, proposent respectivement un article consacré aux nouvelles et aux opinions sur le travail effectué par le groupe dans le même numéro de revue.

Comme le notent Wei et Kording, les scientifiques tentent d’appliquer la capture de mouvement aux humains et aux animaux depuis plus d’un siècle. pas de danse unique. Pouvoir suivre ces mouvements chez les animaux offre des indices quant à leur biomécanique et au fonctionnement de leur cerveau. Être capable de le faire avec les humains peut aider dans les efforts de thérapie physique ou les améliorations de la performance sportive. Le processus actuel implique l'enregistrement vidéo du sujet et l'exécution d'un processus laborieux de marquage des images image par image. Dans ce nouvel effort, les chercheurs ont mis au point une technique d’automatisation informatique pour réaliser le processus, le rendant beaucoup plus rapide et plus facile.

Pour créer DeepLabCut, le groupe a formé un réseau neuronal en utilisant les informations d’une base de données appelée Imagenet qui contient un nombre important d’images et de métadonnées associées. Ils ont ensuite développé un algorithme optimisant les estimations de poses. Le troisième élément était le logiciel qui exécute l'algorithme, interagit avec les utilisateurs et offre des résultats. Le résultat est un outil qui peut être utilisé pour effectuer une capture de mouvement sur des humains et pratiquement sur toute autre créature. Tout ce que l'utilisateur a à faire, c'est de télécharger des échantillons de ce qu'ils sont après, par exemple, des images d'un écureuil, avec ses parties principales étiquetées et des vidéos montrant comment ça bouge en général. Ensuite, l'utilisateur télécharge une vidéo d'un sujet faisant une activité intéressante, par exemple, un craquelage qui ouvre une noix. Le logiciel fait le reste, produisant une capture de mouvement de l'activité.

L’équipe a rendu le nouvel outil librement accessible à tous ceux qui souhaitent l’utiliser à des fins qu’ils choisissent. Wei et Kording suggèrent que l'outil pourrait révolutionner la capture de mouvement, le rendant ainsi facilement accessible aux professionnels et aux novices.

menu
menu