Maskovanie stratených paketov 3D videotokov metódou in painting

30. Október, 2013, Autor článku: Kokoška Rastislav, Elektrotechnika, Informačné technológie
Ročník 6, číslo 10 This page as PDF Pridať príspevok

p16436_iconTento článok sa zaoberá metódou vhodnou pre maskovanie stratených – poškodených obrazových prvkov v 3D obrazoch. Na teoretickej rovine popisuje metódu pre automatické doplňovanie chýbajúcich častí obrazov, nazývanú Exemplar-Based Inpainting. Uvedená metóda je najprv uvedená, potom je popísaný jej algoritmus a zároveň je použitá na testovacom obrazci.

Pre hodnotenie kvality obrazov je uvedených niekoľko metrík ako ASVS, DN, Gdin a Gdout, PSNR. Záver článku obsahuje praktickú časť, kde z reálne nasnímaného obrazu 3D videokamerou bol implementovaný Exemplar-Based Image Inpainting algoritmus na jednotlivé obrazy. Po implementácii algoritmu sa zhodnotila účinnosť algoritmu pomocou metrík ako PSNR a MSSIM.

1. Úvod

Existuje veľa spôsobov, metód, ako zrekonštruovať poškodený obraz alebo video ako z obrazu alebo videa odstrániť nevhodnú oblasť. Opravy šumu, zaostrenie alebo vyhladenie obrazu však nie sú za inpainting označované v pravom slova zmysle. Pri inpaintingu totiž nie sú dôležité dáta, ktoré sú v oblasti, na ktorú je inpainting aplikovaný. Slovom Inpainting sú označované opravy artefaktov, ktoré do obrazu nepatria a javia sa ako poškodenie napr. vpísaný text, logo, v prašnom prostredí nasnímané čiastočky prachu, ktoré sú viditeľné ako svetlé škvrny, trhliny na zdigitalizovaných fotografiách, škrabance a iné poškodenia spôsobené na obraze. Ale patrí tu aj retušovanie obrazu, napríklad odstránenie červených očí, nevhodného objektu, ktorý by mohol narušiť dojem z celku (televízna anténa na historickej budove), poprípade odstránenie nežiaducej osoby z obrazu alebo videa.

2. Metóda Exemplar-Based In Painting

Metóda kombinuje výhody dvoch používaných prístupov doplňovania obrazu, inpainting pre doplnenie malých oblastí a syntézu textúry, a dokáže doplňovať rozsiahlejšie artefakty v obraze. Exemplar-Based Impainting využíva rozširovanie štruktúry a textúry, pričom veľmi záleží na poradí, v ktorom dochádza k plneniu [1]. Staršie algoritmy, spoliehajúce sa na rozširovanie textúry, využívali plnenie po sústredených vrstvách, obvykle nazývané ako šupky cibule. Algoritmus aplikovaný na určité vypuklé oblasti prechodu štruktúr však spôsobuje nežiaducu deformáciu zobrazenú na Obr. 1.

p16436_01_obr01
Obr. 1 Zobrazenie nutnosti správneho poradia plnenia v prípade vypuklých cieľových oblastí

2.1 Popis algoritmu

Vstupom algoritmu je obraz I a cieľová oblasť Ω. Jednotlivé patche ψ budú vyberané zo zdrojovej oblasti Φ = I – Ω. Veľkosť takýchto opravných častí je nastavená pevne. Autori tejto metódy odporúčajú zvoliť veľkosť o niečo väčšiu, než je najväčší rozoznateľný element textúry, obvykle nazývaný textel [1].Pokiaľ priebeh algoritmu neskončí, prebiehajú v iteraci nasledujúce tri kroky.

2.1.1 Výpočet priority patchu

Na Obr. 2 sa nachádza patch ψp umiestnený v hraničnom bode p, p ϵ ϑΩ. Priorita P patchu bude vypočítaná nasledujúcim spôsobom:

P(p) = C(p).D(p) (1)

Výraz C(p) vyjadruje dôveryhodnosť a D(p) dáta. Tieto výrazy sú definované nasledujúcim vzťahom:

C(p) = \frac{\sum_{q \in \psi_p \cap (I-\Omega)} C(q)}{|\psi_p|} (2)

D(p) = \frac{\nabla I_p^{\bot} . n_p}{\alpha} (3)

Kde |ψp| znamená plochu ψp, np je vektor kolmý na hranicu ϑΩ v bode p. Priorita P(p) je spočítaná pre každý hraničný patch, respektíve pre každý hraničný bod p je vypočítaný vlastný patch [1].

p16436_02_obr02
Obr. 2 Diagram vysvetľuje vyššie uvedené pojmy

2.1.2. Rozšírenie textúry a štruktúry.

Nájdený patch ψp s najväčšou prioritou sa naplníinformáciou vybranou zo zdrojovej oblasti Φ. Rozšírenie sa deje priamym kopírovaním informácie zo zdrojovej oblasti. Zdrojový patch ψp musí byť kompletne obsadený v zdrojovej oblasti Φ a hľadá sa nasledujúcim spôsobom:

\psi_{\hat{q}}= arg\,min\,d (\psi_{\hat{q}},\psi_{q}) (4)

kde je vzdialenosť d(ψa, ψb) medzi dvoma opravnými časťami ψa, a ψb definovaná ako súčet štvorcov rozdielu (SSD).

2.1.3 Aktualizácia hodnôt dôveryhodnosti

Po naplnení cieľového patchu je dôveryhodnosť C(p) v tejto oblasti upravená nasledujúcim spôsobom:

C(p) = C(\hat{p}) \; \forall p \in \psi_{\hat{q}} \cap \Omega (5)

Vstup: Obraz I a maska M definujúca vybranú oblasť Ω, Výstup: Vmaľovaný obraz I

  1. while Ω ≠ 0
  2. určovanie hraničných pixelov δΩ
  3. spočítaj prioritu P(p) pre
  4. nájdi patch s maximálnou prioritou
  5. nájdi patch taký, že minimalizuje funkciu d
  6. skopíruj pixely z do pre
  7. aktivuj C(p) pre

2.2 Vyhodnotenie metódy Exemplar-based Image Inpainting

Prednosťou vyššie popísanej metódy Exemplar-Based Image Inpainting je nižšia náročnosť na výpočtový výkon a v mnohých prípadoch správne doplnenie štruktúry i textúry chýbajúcej časti obrazu, ako je demonštrované na Obr. 3. Na Obr. 4 môžeme vidieť, že táto metóda si dokáže dobre poradiť s doplnením textúry, správne je tiež vytvorená horná hrana. Celkovo je obraz v tejto oblasti ostrý, avšak v žiadnom kroku algoritmu nie je aplikované vyhladzovanie na rozdiel od predchádzajúcich metód. V porovnaní s Fragment-Based Image Completion, dosiahlo v tomto prípade lepšieho výsledku vo výrazne kratšom čase.

p16436_03_obr03
Obr. 3 Príklad správneho doplnenia jednoduchej štruktúry pomocou metódy Exemplar-Based Image Inpainting

p16436_04_obr04
Obr. 4 Príklad úspešného doplnenia hrany a vyplnenia textúry pomocou metódy Exemplar-Based Image Inpainting

p16436_05_obr05
Obr. 5 Nahradenie väčšej plochy obrazu s náročnou štruktúrou pomocou metódy Exemplar-Based Image Inpainting

Exemplar-Based Image Inpainting však stále nedokáže uspokojivo opraviť niektoré zložité štruktúry, ako je ukázané na Obr. 5, kde vznikajú artefakty a tvar doplnenej oblasti nezapadá logicky do celkového obrazu [1].

3. Hodnotenie kvality maskovania

Hodnotenie kvality obrazu môžeme deliť do dvoch základných smerov, a to objektívne a subjektívne. Objektívne hodnotenie sa zakladá na báze štatistických výpočtov a metrík z matíc, ktoré sú tvorené z informácie obrazu (napr. stredná kvadratická chyba, stredná absolútna chyba, pomer signálu k šumu). Subjektívne hodnotenie kvality sa neurčuje pomocou výpočtu. Zakladá sa na báze pozorovania obrazu skupinou ľudí, ktorí subjektívne hodnotia kvalitu pomocou zadefinovanej stupnice. Pre tieto dva typy hodnotenia sa používajú vopred vyhradené testovacie obrazy, ktoré zachytávajú premennú frekvenčnú či priestorovú distribúciu, textúry, jednofarebné plochy či detaily [2]. Predpokladom je, že originálny obraz f(i,j) a hodnotený obraz f(i,j) má rozmery N × M obrazových prvkov. Potom pre obrazovú metriku PSNR (Peak Signal to Noise Ratio – špičkový pomer signál šum), hodnotenia kvality platí [2]:

PSNR = 10 log \frac{(2^n-1)^2}{MSE} = 20 log \frac{(2^n-1)^2}{RMSE} (6)

3.1 Hodnotenie kvality inpainting

Posudzovanie kvality obrázka, na ktorý bol implementovaný dostupný inpainting algoritmus sa delí do niekoľkých metrík [3].Prvá metrika je Average Squared Visual Salience (ASVS – priemerná umocnená vizuálna asymetria), ktorá sa vypočíta pomocou rovnice:

ASVS(I)=(1/||\Omega||)(\sum_{\Omega}(S'(p))^2) (7)

kde I predstavuje obraz, ktorý chceme upraviť, p je pixel patriaci do vkreslenej oblasti Ω a S'(p) je hodnota “vyčnievania” (Salience), korešpondujúca s vkresľovanou oblasťou. ASVS metrika nie je referenčná metrika, čo znamená, že nevyžaduje použitie pôvodného (nepoškodeného) obrazu. To má veľký význam v praxi, kde nepoznáme pôvodný nepoškodený obraz. Druhá matrika je Degree of noticeability (DN-stupeň všimnuteľnosti), ktorá berie na vedomie obe skupiny artefaktov, a vypočíta sa ako:

DN(I)=\frac{|\Omega|}{|\Omega|+|\Theta|}in-region(I)+\frac{|\Omega|}{|\Omega|+|\Theta|}out-region(I) (8)

kde I v rámci regiónu = ASVS(I). Ak v ASVS bude dosiahnuté vyššie bodovanie pre DN zvyčajne to znamená slabý výkon inpaintingu. Vysoká hodnota metriky ASVS môže byť vysvetlená ako ukazovateľ veľmi viditeľných artefaktov. Tretia a štvrtá Gdin a Gdout, sú založené taktiež na vyčnievaní, definujú normalizovanú mieru “gaze” (hľadieť) hustoty, ktorá používa pôvodný (nepoškodený) obraz ako odkaz a ukazuje, či sa vyskytujú nejaké zmeny v mape vyčnievania zhodnej s vkresleným obrazom, potom je táto zmena spojená so zmyslovou kvalitou inpaintingu. Vypočítajú sa pomocou rovnice:

GD_{in} = \sum_{p \in \Omega} S'(p) \; \text{a} \; GD_{out} = \sum_{p \in \Theta} S'(p) (9)

Kde Ω predstavuje oblasť pre aplikáciu inpaintingu a Θ predstavuje doplnkovú oblasť. Navyše S’ je mapa vyčnievania korešpondujúca s vkresleným obrazom, ktorý dáva S'(p) ako hodnotu mapy vyčnievania, korešpondujúcu s pixelom p. V rovnici (9) tieto dve metriky vypočítavajú hodnotu gaze vo vnútri a vonku vkreslenej oblasti poškodeného obrazu. Aby sa hodnoty poskytnuté týmito metrikami mohli porovnať s viacerými obrazmi, vyžaduje sa normalizácia.

4. Simulácia algoritmu

Pre vytvorenie 3D záznamu som použil dostupnú 3D videokameru značky Sony HDR-TD20VE s použitím dvoch objektívov. Táto videokamera ukladala videozáznam na SD kartu vo formáte *mts. Po stiahnutí 3D záznamu do počítača a načítaní videa v programe Stereoskopic Player som zobrazil ľavý a pravý obraz. Na tieto obrazy bol v prostredí Matlab aplikovaný algoritmus Exemplar-based inpainting. Obrazy pre správnu funkčnosť programu museli byť uložené v bezstratovom formáte png. Pre označenie chybnej časti alebo oblasti, ktorá sa má vmaľovať bola použitá zelená farba nadobúdajúca hodnoty: odtieň-80, sýtosť-240, jas-120, červená-0, zelená-255, modrá-1. Rýchlosť výpočtu označenej oblasti závisela priamoúmerne od jej veľkosti (počtu označených pixelov). Doba trvania rekonštrukcie jedného obrázka trvala v rozmedzí od 3s – 15s.

p16436_06_obr06
Obr. 6 Originálny ľavý a pravý obraz

4.1 Výsledky simulácii

So zvyšujúcim sa počtom poškodených pixelov sa zvyšuje chybovosť algoritmu. Metrika MSSIM nadobúda hodnoty z intervalu [0,1], kde hodnota 1 určuje najväčšiu zhodu obrazov a hodnota 0 označuje najväčší rozdiel obrazov. Označenie pri PSNR vyjadruje jednotlivé RGB zložky. Veľkosť makroblokov bola zvolená zámerne dosť veľká (37×36 pixelov), aby sa ukázalo ako program skutočne funguje, a či je dostatočne sofistikovaný aj pre zložitejšie časti obrazu.

Tab.1 Priemer pre jeden stereopár
p16436_07_tab01

Pri hladkých povrchoch dosahoval dobré výsledky. Rozdiely neboli až tak viditeľné ako pri ostrých hranách, ako sú kontúry tváre, prechod medzi tabuľou a tvárou, vzorovanie na košeli. Pri doplnení poškodenej časti v oblasti, kde sa nachádzal väčší počet hrán a prechodov, vznikali rušivé artefakty. Počet týchto artefaktov závisel aj na počte makroblokov a ich pozícii. Ak sa nachádzali v hladkých oblastiach, ako je napríklad tabuľa, potom chyba nebola až tak veľká.

Opravené pixely nadobúdali hodnoty s menším rozdielom oproti referenčnému obrazu. Naopak, ak sa makroblok nachádzal v oblasti s väčším počtom hrán, potom opravené pixely nadobúdali väčšiu rozdielovú hodnotu oproti pixelom v referenčnému obrazu. Prejavilo sa to na výpočte PSNR a MSSIM, kde so zvyšujúcim počtom makroblokov sa zvyšovala aj chybovosť určenia správnych pixelov v poškodenej oblasti. Rozdiel hodnôt v tabuľke medzi ľavým a pravým obrazom bol zapríčinený aj tým, že pravý obraz bol svetlejší. Tento fakt bol spôsobený tým, že na pravý videoobjektív dopadalo viac slnečného svetla ako na ľavý, lebo bol bližšie pri okne a lúče denného svetla dopadali pod iným uhlom ako na ľavý videoobjektív. Pri počítaní PSNR a MSSIM pre stereo obrazy som zvolil spôsob priemeru. Hodnoty boli spočítané a podelené dvomi pri prekladanom riadkovaní. Pre 3D projekciu založenú na báze využívania polarizácie, kde je jeden obraz určený pre ľavé oko a druhý obraz pre pravé, hodnoty poškodených pixelov v tabuľkách ostali nezmenené.

p16436_08_obr07
Obr. 7 Závislosť PSNR od veľkosti poškodenia obrazu

p16436_09_obr08
Obr. 8 Závislosť MSSIM od veľkosti poškodenia obrazu

5. Záver

Automatické doplňovanie digitálnych obrazov je relatívne zložitý problém. Metóda Exemplar-Based Image Inpainting bola vyvinutá pre doplnenie rozsiahlych oblasti v obraze. Funguje na princípe preťahovaniu textúry aj štruktúry pomocou kopírovania blokov (patch). Táto metóda dokáže v prípade jednoduchšieho uspokojivo doplniť veľké oblasti v celkom krátkom čase. Problémy jej môžu robiť doplnenia obrazu so zložitou štruktúrou. Pri hladkých oblastiach dosahovala vynikajúce výsledky, čo sa odzrkadlilo aj na kvalite 3D obrazov, ktoré sme zhotovili z ľavého a pravého obrazu. No pri drsných povrchoch a hranách už výsledok nebol uspokojivý. V 3D obraze sa tieto artefakty umocnili a nadobúdali hodnoty v podobe rušivých vnemov. V budúcej práci navrhujeme zvoliť sofistikovanejšiu metódu doplnenia poškodených regiónov.

Literatúra

  1. GANONG, Wiliam: Přehled lékařské fysiologie. Praha: Nakladatelství a vydavatelství H&H, 2005. s. 25-3. ISBN 8072623117
  2. KRATOCHVÍL, T. Analýza prenosových zkreslení císlicových obrazových signálu. PhD Thesis. Brno: Nakladatelství VUTIUM Brno, 2007. 32 s. ISBN: 978-80-214-3412-7.
  3. FEIER, A.I.O. Digital Inpainting for Artwork Restoration: Algorithms and Evaluation thesis 2012/07/15

Ján Valiska, Katedra elektroniky a multimediálnych komunikácii, FEI TU Košice, Slovenská Technicka Univerzita, Košice, Letná 9, 042 00 Košice

Napísať príspevok