W dniach 16 - 19 października 2022, w Bordeaux, odbyła się The 29th IEEE International Conference on Image Processing (https://2022.ieeeicip.org/). W trakcie konferencji przedstawiono pracę zrealizowaną w ramach zadania 4 projektu RID: Tomasz Kapuściński, Mateusz Miś: Differential Pseudo-Image for Skeleton-Based Dynamic Gesture Recognition, https://doi.org/10.1109/ICIP46576.2022.9897220. Artykuł został opublikowany w IEEE Xplore. Konferencja znajduje się na liście MEiN (70 pkt).
Abstrakt:
Podejście opisane w tym artykule wykorzystuje potencjał głębokich sieci neuronowych splotowych (DCNN), wstępnie wytrenowanych do rozpoznawania obrazów, do klasyfikowania dynamicznych gestów. W tym celu sekwencje ludzkich poz, uzyskane za pomocą urządzeń obrazowych RGB-D i nazywane szkieletami, są zastępowane obrazami czasoprzestrzennymi. Ponieważ takie obrazy, obserwowane przez ludzi, nie mają jasnej interpretacji fizycznej, nazywane są pseudoobrazami. W tym artykule dokonano przeglądu istniejących technik mapowania i zaproponowano nową, zwaną Differential Pseudo-Image (DPI). Opracowaną metodę porównano z podejściami wykorzystującymi inne rodzaje pseudoobrazów i innymi metodami rozpoznawania ludzkich działań dostępnymi w literaturze. Okazuje się, że w przypadku zbioru danych języka migowego Polskiego (PSL) i publicznie dostępnego zbioru danych UTD Multimodal Human Action Dataset (UTD-MHAD), DPI przewyższa inne formy mapowania sekwencji szkieletu. Metoda oparta na pseudoobrazach i sieciach neuronowych splotowych ma potencjał, który uzasadnia dalsze badania w tym kierunku.
