Hlavným cieľom tejto práce je oboznámiť čitateľa s aktuálnymi možnosťami snímania v oblasti pohybových senzorov. Existujú senzory, ktoré snímajú celé telo a kĺby, ruky či tvár. Pohybových senzorov je množstvo a v súčasnosti je trend ich prepájania. S technológiami využívajúcimi infračervené svetlo či ultrazvuk je vhodné prepojiť technológiu Ultra Wide Band. Ultra Wide band je technológia využívajúca široké pásmo frekvencií, v ktorom pracujú všetky bežne používané bezdrôtové zariadenia.

1. Úvod

Informačné technológie formujú novú dimenziu sveta viac ako 20 rokov. Ide o dimenziu, do ktorej sa neustále ukladajú údaje o nás, našom živote. V súčasnosti je na trhu množstvo senzorov s rôznymi prístupmi k snímaniu objektu či prostredia. Najrozšírenejšie využitie týchto senzorov je v armáde a v medicíne. V bežnom živote je veľa senzorov zabudovaných v mobilných telefónoch, autách, dronoch a iných osobných zariadeniach. Ľudia sa s nimi naučili žiť, takmer ich ani nevnímajú. Je možné senzory vložiť do zubov alebo pod kožu. Množstvo týchto technológií je voľne šíriteľných. To znamená, že môžu byť ľubovoľne používané a zdokonaľované. Aktuálne sa stávajú veľmi populárnymi hĺbkové senzory, používané na bezkontaktné ovládanie počítača a iných chytrých zariadení. RGB kamery kombinované s hĺbkovými senzormi sú výkonné zariadenia, avšak majú isté obmedzenia.

Ultra wide band je nádejná technológia na snímanie vonkajších ale aj vnútorných priestorov. Hĺbkové kamery boli úspešne analyzované a použité v mnohých štúdiách. Napríklad štúdia publikovaná v [1] sa zaoberá problematikou senzorov na rozoznávanie gest. Autor tvrdí, že mapy zachytené hĺbkovými kamerami sú značne ovplyvnené šumom. Pri rozoznávaní gest kamerou Kinect je poloha kĺbov človeka niekedy rozpoznaná nepresne, pričom je vždy potrebná priama viditeľnosť od kamery ku sledovanej osobe. Kinect má ale vysokú spoľahlivosť ako time-of-flight (TOF) senzor a jeho kvalitou sa blíži ku stereo kamere so stredným rozlíšením[2]. Pri testovaní kamery Kinect one a po 3D rekonštrukcii priestoru pomocou software Kinect Fusion bolo zistené, že kamera zaznamená objekty o rozmere minimálne 10mm.

2. Hĺbkové senzory

V tejto časti sa práca venuje najčastejším hĺbkovým kamerám, ktoré sa používajú na vedecké účely, ale aj v bežných domácnostiach.

2.1. Kinect One

Táto kamera od spoločnosti Microsoft vo verzii SDK pre Microsoft Windows dokáže sledovať 25 kĺbov na telách šiestich sledovaných osôb naraz. Kinect One je HD farebnou kamerou s rozlíšením 1080p so snímaním hĺbky pomocou IR žiarenia vo vzdialenosti 50cm-450cm. Ku počítaču je kamera pripojená USB rozhraním verzie 3.0. Definovanie a rozpoznávanie gest je možné heuristicky alebo strojovým učením. Heuristický prístup je prístup, kde gestá predstavujú matematický problém. Týmto spôsobom sú rýchlo a spoľahlivo rozoznávané jednoduché gestá či pózy. Heuristicky je vyriešený napríklad pohyb ako baseballový švih, bowling, beh, pohyb dopredu a otočnie[3]. Storojové učenie gest je zabezpečené voľne šíriteľným programom Virtual Gesture Builder. Kinect dokáže rozpoznať a sledovať pohyb osoby pomocou sledovania kĺbov a vzdialenosti meria vstavaným infračerveným senzorom. Kinect dokáže vďaka mikrofónovému poľu zo štyroch mikrofónov veľmi kvalitne zaznamenávať zvuk a odstrániť šum a ozvenu. Mikrofónové pole je pre tento pohybový senzor dôležité aj pre priradenie hlasu správnej osobe pred senzorom. Kinect je programovateľný pomocou jazyka C++, C# alebo JAVA(J4K). Množstvo voľne šíriteľných aplikácií ku senzoru je dostupných aj v obchode google. Najdôležitejšími sú Kinect Studio, KSConvert, KSUtil, Visual Gesture Builder a Visual Studio. [4] Minimálne požiadavky:

• Windows 8/8.1
• 64 bit (x64) procesor,
• 4 GB RAM,
• I7 3.1 GHz,
• USB 3.0,
• DX11 kompatibilná grafická karta. [5]

Obr.1 Kinect One

Kinect je schopný okrem rozpoznania postavy a kĺbov rozoznať či je osoba v sede, či stojí. Rozlišuje niekoľko gest pomocou rúk, ktoré sú definované ako:

• Neznámy stav
• Ruka nie je rozpoznaná
• Lasso (vystrčený ukazovák a prostredník)
• Open hand (Otvorená dlaň)
• Fist (Päsť) [6]

Obr.2 Kĺby snímané senzorom Kinect v2

Celkový prehľad súčasného Kinect-u je prezentovaný v [7] a [8]. Autori oboch štúdií poukázali na viacero snímacích problémov, napríklad ako sledovanie objektu a zaznamenávanie, analýzu ľudskej aktivity, analýzu gest rukami alebo vonkajšie 3-D mapovanie.

2.2. Intel Realsense

Táto kamera je vyrobená v integrovanej a externej verzii. Integrovaná verzia je umiestnená v notebookoch a all in one v prístrojoch. Kamera je aj súčasťou nových tabletov. Možnosti RealSense kamery poskytujú video hovor, kontrolu gest a skenovanie prostredia cez RGB a hĺbkový senzor. Intel RealSense Developer Kit, je samodržiaca kompaktná kamera ktorej ovládanie a nastavenie je veľmi intuitívne. Má dva integrované dva mikrofóny [9]. Intel RealSense kamera pracuje v infračervenom režime na 60 fps. Intel RealSense kamera bola dôkladne rozoberaná v štúdii publikovanej v [10]. Štúdia sa venuje vytváraniu hry vo virtuálnej realite na základe snímania priestoru a generovania nového obrazu doplneného o počítačovú grafiku.

Obr.3 Intel Realsense kamera

2.3. Duo 3D

Poznáme tri modely kamier Duo 3D : Duo MLX, MC a M verziu. Duo 3D je ultra kompaktný pohybový senzor. Tieto senzory sú navrhnuté na použitie v priemysle a výskume. Kamery podporujú Windows, Linux a OSX. Hardvérové vlastnosti kamery:

• 30mm minimálna vzdialenosť snímania,
• Nastaviteľné fps,
• RAW Sensor,
• 170° širokouhlá M8 optika,
• Rozmery: 52x25x11mm.
• Low Level prístup programovania [11]

Obr.4 Senzor Duo 3D

2.4. Leap Motion

Leap Motion je vyvinutý na snímanie hĺbky, ale nie je vybavený mikrofónom ani RGB kamerou [12]. Tento senzor je zameraný na veľmi presné zaznamenávanie rúk a rozpoznávanie gest. Nie je zameraný na snímanie kostry alebo záznam tváre. Hardvér Leap Motion-u pozostáva z páru stereo infračervených kamier a osvetľovacích LED. Kamera je zvyčajne umiestnená na stole, medzi používateľom a monitorom. Senzor sníma priestor smerom nahor a sníma používateľove ruky. Rôzne štúdie rozoberajú senzor Leap Motion a 3D gestá napr. [13] [14].

Obr.5 Leap Motion

Autori [12] sa zamerali na testovanie 3D gest. Ako presne dokáže rozoznávať senzor Leap Motion. Podobná štúdia je publikovaná v [15] a venuje sa spoľahlivosti rozoznávania gest pri použití v interaktívnej televízii. Autori oboch štúdií tvrdia, že Leap Motion je prínosom medzi bezkontaktnými ovládačmi [16]. Hodnotili dva druhy meraní. Zo statického aj dynamického merania vyplýva, že ovládač môže byť použitý ako vhodná náhrada pre iné presné optické pohybové senzory. Nevýhodou senzoru je, že oproti konkurencii sníma malý priestor a má nestabilnú vzorkovaciu frekvenciu.

2.5. Fotonic

Fotonic je vysoko výkonný hĺbkový senzor s robustným dizajnom. Jeho najprospešnejšou vlastnosťou je snímanie v ultra nízkej vzorkovacej frekvencii. Je preto veľmi vhodný na sledovanie rýchlo pohybujúcich sa objektov [17]. Fotonic potrebuje pre snímanie silné osvetlenie, avšak vzdialenosť meria s vysokou presnosťou. Pozostáva z 48 LED a je zabalený v skle gorila glass, ktoré je vymeniteľné. Senzor obsahuje výkonný ARM procesor a je kompatibilný s OS Linux.

Obr.6 Vonkajší senzor Fotonic

Porovnanie parametrov analyzovaných senzorov je zobrazené v nasledujúcej tabuľke. Kinect One je považovaný za najvhodnejší senzor na analýzu vnútorného prostredia. Vzhľadom na presnosť snímania vonkajšieho prostredia je najvhodnejším senzorom Fotonic.

3. Ultra Wide band

Ultra Wide Band je bezdrôtová technológia pracujúca v širokom frekvenčnom pásme, od 500 MHz do 10 GHz a jej možnosti sú popísané v [18]. Je vhodná na snímanie interiérov a lokalizáciu objektov. Technológia Ultra Wide Band je najčastejšie používaná v zdravotníctve a v priemysle.

Obr 7. Šírka pásma Ultra Wide band

3.1. Využitie v zdravotníctve

Ultra wide band možné použiť na monitorovanie a meranie pacientových pohybov na krátku vzdialenosť. Možnosti monitorovania technológiou Ultra Wide Band môžu byť použité pri záchranných operáciách, na pediatrických klinikách, pohotovostných izbách a jednotkách intenzívnej starostlivosti [19]. Ak je nutné monitorovať veľkú plochu, je potrebné mať niekoľko senzorov, pretože jeden má dosah menej ako 10 metrov. Senzory sú schopné snímať dlhú dobu aj z akumulátorov, vďaka nízkej spotrebe energie. Taktiež dokážu snímať aj pohyby vo vnútri ľudského tela. V zdravotníctve, vďaka neinvazívnemu snímaniu vitálnych funkcií, ako respiračný systém [20], je Ultra Wide Band veľkým prínosom.

3.2. Využitie v priemysle

Alarm sa môže spustiť v prípade, že je narušený priestor [21] snímaný senzorom. Elektromagnetické vlny prechádzajú aj cez steny a to robí túto technológiu veľmi výnimočnou. Táto technológia je vhodná aj pre vytváranie inteligentných domácností. Prepájanie viacerých senzorov vytvára sieť. V sieti senzorov existujú dva typy uzlov: Plne funkčné zariadenia a zariadenia s obmedzeniami (Full function device FFD a reduced function device RFD). FFD je nadradený ostatným senzorom a riadi ich. Sieť zariadení Ultra Wide band poskytuje možnosť vysoko citlivého sledovania objektov. V budovách, ako sú fabriky či obchodné centrá je takto vytvorená sieť prínosom, pretože presným sledovaním objektov a osôb je možné zvýšiť kvalitu riadenia výroby, alebo ponúknuť zákazníkom lepšie služby. Ultra wide band je veľmi podobný ultrazvuku. To je dôvod, prečo veľa prístupov použitia ultrazvukového senzora môže byť aplikovaných aj na technológiu Ultra wide band. Hlavným rozdielom medzi Ultra wide band a ultrazvukom je dosah snímania [22].

4. Záver

Hlavným cieľom tejto práce bolo analyzovať súčasné možnosti hĺbkových senzorov a zaujať postoj k ich prepojeniu so senzorom Ultra wide band. Existuje široký výber hĺbkových senzorov, ktoré sú schopné nahrávať a ukladať dáta o sledovanom prostredí. Hĺbkové senzory sú schopné vytvoriť 3D RAW súbory [23], v ktorých sú uložené dáta o priestore. Počítač vyráta nasnímané dáta pomocou algoritmov, podľa ktorých je pohyb matematický problém [24], alebo používateľ môže naučiť počítač rozpoznávať pohyby pomocou software visual gesture builder. Kamery sa vo veľkom množstve používajú na hranie hier, vzdelávanie[25] alebo priemyselnú výrobu. Fotonic predstavuje výkonný senzor na snímanie vonkajších priestorov, Leap Motion sleduje ruky a rozpoznáva gestá, Duo 3D je senzor so 170 stupňovým snímaným obrazom. Kinect One je zo všetkých senzorov najvhodnejší na prepojenie s technológiou Ultra Wide band, pretože Kinect One je schopný zaznamenávať až 6 osôb naraz a každého s 25 kĺbmi. Senzor Kinect v2 nedokáže snímať osobu alebo objekt ak na neho nie je priama viditeľnosť[26].

Obr.8 UWB prepojenie s Kinect v2

Táto práca je prvým krokom k prepojeniu technológie Ultra wide band a senzorom Kinect v2. Ultra wide band môže sledovať objekty cez stenu alebo inú clonu a posielať chýbajúce informácie senzoru Kinect One.

Bibliografia

1. Wang, J., Liu, Z., Wu, Y., Yuan, J. Mining Actionlet Ensemble for Action Recognition with Depth Cameras. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 1290–1297, 2012, doi: 10.1109/CVPR.2012.6247813.
2. Han, J., Shao, L., Xu, D., Shotton, J. Enhanced Computer Vision with Microsoft Kinect Sensor: A Review. IEEE Transactions on Cybernetics, 43(5), pp. 1318–1334, 2013, doi: 10.1109/TCYB.2013.2265378.
3. Zhaojie, J., Honghai L. Human Hand Motion Analysis With Multisensory Information. IEEE/ASME Transactions on Mechatronics, 19(2), pp. 456–466, 2014, doi: 10.1109/TMECH.2013.2240312.
4. Pavlovic, V.I., Sharma, R., & Huang, T.S. Visual interpretation of hand gestures for human-computer interaction: A review. IEEE Transactions on Pattern Analysis and Machine Intelligence, 19(7), pp. 677–695, 1997, doi: 10.1109/34.598226.
5. Chovancova, E., Vokorokos, L., Chovanec, M. Cloud computing system for small and medium corporations. IEEE SAMI, pp. 171–174, 2015, doi: 10.1109/SAMI.2015.7061870.
6. I. Jamie and C. McRae. Manipulating molecules: Using Kinect for immersive learning in chemistry. Proceedings of the Australian Conference on Science and Mathematics Education, pp. 22-26, 2011.
7. Henry, P., Krainin, M., Herbst, E., Ren, X., Fox, D. RGB-D mapping: Using Kinect-style depth cameras for dense 3D modeling of indoor environments. International Journal of Robotics Research, 31(5), pp. 647–663, 2012.
8. Vokorokos, L., Chovancova, E., Chovanec, M. A Multicore Architecture Focused on Accelerating Computer Vision Computations. Acta Polytechnica Hungarica, 10(5), pp. 29-43, 2013.
9. Leššo, I., Flegner, P., Feriančíková K. Hilbert spaces as a specific instrument for process control. International Carpathian Control Conference (ICCC), pp. 1-4, 2012.
10. Adhikarla, V.K., Sodnik, J., Szolgay, P. and Jakus, G. Exploring Direct3D Interaction for Full Horizontal Parallax Light Field Displays Using Leap Motion Controller. Sensors, 15(4), pp. 8642–8663, 2015.
11. Bachmann, D., Weichert, F. and Rinkenauer, G. Evaluation of the Leap Motion Controller as a New Contact-Free Pointing Device. Sensors, 15(1), pp. 214–233, 2015.
12. F. Endres, J. Hess, N. Engelhard, J. Sturm, D. Cremers, W. Burgard, An evaluation of the rgb-d slam system. IEEE International Conference on Robotics and Automation (ICRA), pp. 1691–1696, 2012, doi: 10.1109/ICRA.2012.6225199.
13. Zaiti, I.A., Pentiuc, S.G. and Vatavu, R.D. On free-hand TV control: Experimental results on user-elicited gestures with Leap Motion. Personal and Ubiquitous Computing, 19(5-6), pp. 821–838, 2015.
14. Guna, J., Jakus, G., Pogacnik, M., Tomazic, S., Sodnik, J. An Analysis of the Precision and Reliability of the Leap Motion Sensor and Its Suitability for Static and Dynamic Tracking. Sensors, 14(2), pp. 3702–3720, 2014.
15. Yan Cui, Sebastian Schuon, Derek Chan, Sebastian Thrun, and Christian Theobalt. 3d shape scanning with a time-of-flight camera. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 1173–1180, 2010, doi: 10.1109/CVPR.2010.5540082.
16. Chuang, K.C., Lin, S.H., Ma, C.C., Wu, R.H. Application of a Fiber Bragg Grating-Based Sensing System on Investigating Dynamic Behaviors of a Cantilever Beam Under Impact or Moving Mass Loadings. IEEE Sensors Journal, 13(1), pp. 389–399, 2013, doi: 10.1109/JSEN.2012.2214380.
17. Brett, R., Jones, R., Sodhi, R.H., Campbell, G.G., Brian, P.B. Build your world and play in it: Interacting with surface particles on complex objects. IEEE International Symposium on Mixed and Augmented Reality (ISMAR), pp. 165–174. 2010, doi: 10.1109/ISMAR.2010.5643566.
18. Kocur, D., Gamec, J., Švecová, M., Gamcová, M., Rovňáková, J. Imaging method: An efficient algorithm for moving target tracking by UWB radar. Acta Polytechnica Hungarica, 7(3), p. 5-24, 2010.
19. Madoš, B. et al. Steganographic algorithm for information hiding using scalable vector graphics images. Acta Electrotechnica et Informatica, 14(4), pp. 42–45, 2014.
20. Molyneaux, D., BenHimane, S. [DEMO] “It’s a Pirate’s Life” AR Game. IEEE International Symposium on Mixed and Augmented Reality (ISMAR), pp. 361–362, 2014, doi: 10.1109/ISMAR.2014.6948489.
21. Balaz, A. Computer Systems Security, ed. 2, 2015. ISBN 978-80-553-1948-3.
22. Ruman, K. et al. Modified I – Q Demodulator for m-sequence UWB sensor system based on LTCC. IEEE International Symposium on Systems Engineering (ISSE), pp. 134–139, 2015, doi: 10.1109/ISSE.2015.7247977.
23. Apostolellis, P., Bortz, B., Peng, M., Polys, N., Hoegh, A. P. Poster: Exploring the integrality and separability of the Leap Motion Controller for direct manipulation 3D interaction. IEEE Symposium on 3D User Interfaces (3DUI), pp. 153–154, 2014, doi: 10.1109/3DUI.2014.6798866.
24. Halupka, I. et al. (2012). A Task-driven Grammar Refactoring Algorithm. Acta Polytechnica, 52(5), pp. 51–57, 2012.
25. Vokorokos, L, Mihaľov, J., Chovancová, E. Potential of LEGO© EV3 Mobile Robots. Acta Electrotechnica et Informatica, 15(2), pp. 31–34, 2015.
26. Kollar, J. et al. (2012). Abstraction in Programming Languages According to Domain-Specific Patterns. Acta Electrotechnica et Informatica, 12(2), pp. 9–15, 2012.

---

Spoluautorom článku je Eva Chovancová, Katedra počítačov a informatiky, fakulta elektrotechniky a informatiky, Technická univerzita v Košiciach, Letná 9, 04200 Košice, Slovensko