W dniach 29 czerwca - 01 lipca 2022, w Bukareszcie, odbyła się konferencja 18th International Conference on Intelligent Tutoring Systems (https://iis-international.org/its2022-bucharest-romania/). W trakcie konferencji przedstawiono pracę zrealizowaną w ramach zadania 4 projektu RID: Tomasz Kapuściński: Handshape Recognition in an Educational Game for Finger Alphabet Practicing, https://doi.org/10.1007/978-3-031-09680-8_7. Artykuł został opublikowany w serii Lecture Notes in Computer Science. Konferencja znajduje się na liście MEiN (140 pkt).
Abstrakt:
Opracowano metodę rozpoznawania kształtu dłoni opartą na wizji, którą wykorzystano w prostej grze edukacyjnej przeznaczonej do ćwiczenia alfabetu palców. Wykorzystuje ona głęboką sieć neuronową do określenia dwuwymiarowego szkieletu dłoni oraz algorytm genetyczny do rozpoznawania jej kształtu. Klasyfikacja została przeprowadzona poprzez zdefiniowanie i rozwiązanie problemu optymalizacyjnego, w którym szkielet odpowiadający nieznanemu kształtowi jest poddawany transformacji afinicznej, a następnie dostosowywany do wcześniej przygotowanego zestawu szablonów. Metodę przetestowano przy użyciu protokołu walidacji Leave-One-Subject-Out na autorskim zbiorze danych liter alfabetu palców polskich oraz publicznie dostępnym zestawie danych Microsoft Kinect i Leap Motion. Na podstawie opracowanego algorytmu przygotowano prostą grę edukacyjną, której celem jest ćwiczenie zręczności dłoni w pokazywaniu złożonych kształtów pojawiających się w alfabecie palców.
