W ramach zadania nr 4 „Rozpoznawanie wypowiedzi Polskiego Języka Migowego w układzie wizyjnym” przeprowadzono prace naukowo-badawcze, których wyniki zostały opublikowane
w czasopiśmie Sensors (obecna punktacja ministerialna to 100 pkt, Impact Factor: 3.031).
Kapuscinski, T.; Wysocki, M. Recognition of Signed Expressions in an Experimental System Supporting Deaf Clients in the City Office. Sensors 2020, 20, 2190.
Abstrakt
Artykuł dotyczy rozpoznawania dynamicznych wyrażeń w polskim języku migowym w eksperymentalnym systemie wspomagającym osoby głuche w urzędzie przy składaniu wniosku o dowód osobisty. Zaproponowano metodę przetwarzania ciągłego strumienia danych RGB-D i wektora cech. Klasyfikacja została przeprowadzona przy użyciu algorytmu k-najbliższych sąsiadów z dynamicznym odkształcaniem czasu, ukrytymi modelami Markowa i dwukierunkową pamięcią długo-krótkotrwałą. Protokół „pozostaw jeden temat” został użyty dla zbioru danych zawierającego 121 zdań w polskim języku migowym wykonanych pięć razy przez cztery osoby głuche. Zaproponowano i przetestowano również metodę powiększania danych. Przedstawiono wstępne obserwacje i wnioski z zastosowania systemu w laboratorium, a także w warunkach rzeczywistych z instalacją eksperymentalną w Urzędzie Spraw Cywilnych.
