W dniach 7 - 9 września 2022, w Weronie, odbyła się 26th International Conference on Knowledge-Based and Intelligent Information & Engineering Systems (http://kes2022.kesinternational.org/). W trakcie konferencji przedstawiono pracę zrealizowaną w ramach zadania 4 projektu RID: Tomasz Kapuściński, Krzysztof Inglot: Vision-Based Gesture Modeling for Signed Expressions Recognition, https://doi.org/10.1016/j.procs.2022.09.156. Artykuł został opublikowany w czasopiśmie Procedia Computer Science. Konferencja znajduje się na liście MEiN (70 pkt).
Abstrakt:
Opracowano metodę rozpoznawania wyrażeń migowych opartą na wizji, polegającą na wyszukiwaniu wcześniej przygotowanych modeli słów w analizowanych wypowiedziach. Modele tworzono jako sekwencje czasowe zgrupowanych deskryptorów miejsca artykulacji i kształtu dłoni. Deskryptory tworzono przy użyciu szkieletów wyznaczonych przez głęboką sieć neuronową i histogramu zorientowanych cech gradientowych. Klasyfikację przeprowadzono przy użyciu algorytmu Wagnera-Fischera do wyznaczania odległości Levenshteina, który zmodyfikowano w celu wyszukiwania fragmentów w sekwencjach symboli dyskretnych. Biorąc pod uwagę praktyczne zastosowanie opracowanej metody, nawet w przypadku częściowo niedokładnych wyników rozpoznawania, zaproponowano wizualizację odpowiedzi w postaci chmury słów. Metodę przetestowano dla trudnego zestawu wyrażeń języka migowego używanych w biurze podczas składania wniosku o dowód osobisty.
