Rozpoznávanie objektov vo farebných obrazoch komplexnej scény na základe hierarchickej temporálnej pamäti v kombinácii s detekciou význačných oblastí

Riešiteľ: I. Bajla

K úspešným hlbokým inteligentným sieťam patrí i biologicky inšpirovaná hierarchická temporálna pamäť (HTM). Jej nevýhodou však je, že sa nedá použiť priamo na riešenie detekcie a rozpoznávania objektov v multiobjektových farebných obrazoch komplexnej scény. Základným cieľom nášho výskumu bolo nájsť spôsob prepojenia HTM siete s aparátom vizuálnej pozornosti, ktorý by umožnil aplikáciu HTM na úlohu rozpoznávania objektov v komplexných farebných obrazoch. Nové riešenie tejto úlohy sme založili na našom návrhu paralelného HTM systému pre tri rôzne príznaky objektov (farbu, textúru a tvar), ktorý sme skombinovali s inovovaným výpočtovým modelom vizuálnej pozornosti, v ktorom sa využívajú mapy vizuálnej významnosti (tzv. salientné mapy). Nami navrhnutý viactupňový algoritmus umožňuje lokalizovať jednotlivé objekty vo farebnom obraze komplexných scén. Navrhnutý kombinovaný systém HTM siete a algoritmu vizuálnej pozornosti preukázal lepšie charakteristiky (tzv. záchytu a úspešnosti detekcie objektov v obraze) ako dva porovnávané rozpoznávacie prístupy (kaskádové detektory a porovnávanie vzorov – „template matching“). Sľubné výsledky boli získané v dizertačnej práci doktoranda, na ktoré sa nadviazalo počas jeho postdoktorandského pobytu na Českej technickej univerzite v Prahe.

Obr. 1: Ukážka mapy významnosti, skombinovanej príznakovej mapy a procesu výpočtu pozície okna pre aplikáciu HTM siete v dvoch typoch obrazov –na čiastočne skreslenom pozadí (ľavý stĺpec) a na úplne skreslenom pozadí (pravý stĺpec): 1 – vstupný obraz komplexnosti 4, štvorce nakreslené hrubou čiarou reprezentujú okná s reálnymi objektmi, 2 – vstupný obraz komplexnosti 2, hrubé štvorce – podobne ako v obrázku 1, 3,4 – príslušné skombinované príznakové mapy, 5,6 – príslušné konečné mapy významnosti (salient maps). Hviezdičky označujú pozície lokálnych maxím významnosti, prerušované štvorce označujú oblasti – výrezy, z ktorých sú vypočítané obrazové centroidy (zobra-zené trojuholníkmi). Centroidy počítané zo samotných máp významnosti sú označené štvorčekmi.

Zahraničný partner:

Czech Institute of Informatics, Robotics, and Cybernetics, Czech Technical University in Prague

Súvisiace projekty:

VEGA 2/0043/13
VEGA 2/0138/16
European Regional Development Fund (CZ.02.1.01/0.0/0.0/15_0 03/0 0 0 0470)

Publikácie:

ŠKOVIERA, R. – BAJLA, I. – ŠKOVIEROVÁ, J.: Object recognition in clutter color images using Hierarchical Temporal Memory combined with Salient-region detection. Neurocomputing, 2018, 307, s.172-183. (CC, IF=3,39).
ŠKOVIERA, R. – BAJLA, I. – KUČEROVÁ, J. : Object Recognition in Clutter Color Images using Hierarchical Temporal Memory combined with Salient-Region Detection. In: M.H.Hamza (ed), IASTED 2015, Proc. of the Int. Conf. on Computational Intelligence, Innsbruck, Austria, February 16 – 17, 2015, s. 245-254, (ISI-WoS).
ŠKOVIERA, R.: Využitie samoorganizovaného učenia v hierarchických HTM sieťach na rozpoznávanie vizuálnych objektov v obrazových databá Dizertačná práca, 2015, FMFI UK a ÚM SAV, Bratislava, 131 s.
ŠKOVIERA, R. – BAJLA, I.: Image classification based on Hierarchical Temporal Memory and color features. In: J. Maňka, M. Tyšler, V. Witkovský, Frollo, (eds), MEASUREMENT 2013, Proc. of the 9th Int. Conf. on Measurement, Smolenice, Slovakia, May 27-30, 2013, s. 63-66. Institute of Measurement Science, Slovak Academy of Sciences, Bratislava, (ISI-WoS)