Výpočtová fotografia je pripravená na detail

Viac ako 87 miliónov Američanov cestovalo v roku 2017 do zahraničia, čo je podľa amerického úradu pre cestovný ruch a turistiku rekordné číslo. Ak ste boli medzi nimi, možno ste navštívili cieľ, ako je Stonehenge, Taj Mahal, Ha Long Bay alebo Veľká čínsky múr. A možno ste použili svoj telefón na snímanie panorámy, možno sa dokonca dokážete otočiť s telefónom tak, aby ste nasnímali super široký, 360-stupňový výhľad na krajinu.

Ak ste boli úspešní - to znamená, že neexistovali žiadne nesprávne zarovnané sekcie, vinetácie alebo farebné posuny -, zažili ste jednoduchý, ale efektívny príklad počítačovej fotografie. Ale v posledných niekoľkých rokoch sa výpočtová fotografia rozšírila za také úzke využitie. Mohlo by to nielen poskytnúť iný pohľad na fotografiu, ale tiež zmeniť spôsob, akým vnímame náš svet.

Čo je to počítačová fotografia?

Marc Levoy, profesor počítačovej vedy (emeritus) na Stanfordskej univerzite, hlavný inžinier spoločnosti Google a jeden z priekopníkov v tomto vznikajúcom odbore, definoval výpočtovú fotografiu ako množstvo „výpočtových zobrazovacích techník, ktoré zvyšujú alebo rozširujú možnosti digitálnej fotografie výstupom je obyčajná fotografia, ale taká, ktorú nemohol zachytiť tradičný fotoaparát. ““

Podľa Josha Haftela, hlavného produktového manažéra spoločnosti Adobe, pridávanie výpočtových prvkov do tradičnej fotografie umožňuje nové príležitosti, najmä pre zobrazovacie a softvérové ​​spoločnosti: „Počítačovú fotografiu vidím tak, že nám dáva príležitosť urobiť dve veci. majú sa pokúsiť podoprieť veľa fyzických obmedzení, ktoré existujú v mobilných kamerách. ““

Dobrým príkladom je získanie smartfónu na simuláciu malej hĺbky ostrosti (DOF) - charakteristický znak profesionálne vyzerajúceho obrázka, pretože vizuálne oddeľuje objekt od pozadia -. Zákony fyziky bránia tomu, aby kamera na veľmi tenkom zariadení, napríklad v telefóne, mohla zachytiť obrázok s plytkým DOF.

„Nemôžete mať povrchné Hĺbka ostrosti so skutočne malým senzorom, “hovorí Haftel. Ale veľký senzor vyžaduje veľkú šošovku. A keďže väčšina ľudí chce, aby ich telefóny boli ultratenké, veľký senzor spárovaný s veľkou objemnou šošovkou nie je možná., telefóny sú postavené s malými primárnymi šošovkami a malými snímačmi, ktoré vytvárajú veľkú hĺbku ostrosti, vďaka ktorej sú všetky objekty zaostrené blízko a ďaleko.

Haftel hovorí, že tvorcovia inteligentných telefónov a jednoduchých kamier to môžu kompenzovať pomocou výpočtovej fotografie na „podvádzanie simuláciou efektu spôsobmi, ktoré podvádzajú oko“. Preto sa algoritmy používajú na určenie toho, čo sa považuje za pozadie a čo sa považuje za predmet v popredí. Potom fotoaparát simuluje plytké DOF rozmazaním pozadia.

Haftel tvrdí, že výpočtovú fotografiu je možné použiť aj v druhom prípade, keď využíva nové procesy a techniky, ktoré fotografom pomáhajú robiť veci, ktoré nie sú možné pomocou tradičných nástrojov. Haftel poukazuje napríklad na HDR (vysoký dynamický rozsah).

„HDR je schopnosť nasnímať viac záberov súčasne alebo v rýchlom slede a potom ich zlúčiť, aby sa prekonali obmedzenia prirodzenej schopnosti snímača.“ HDR, najmä na mobilných zariadeniach, môže v skutočnosti rozšíriť tónový rozsah nad rámec toho, čo obrazový snímač dokáže zachytiť prirodzene, čo vám umožní zachytiť viac detailov v tých najsvetlejších svetlách a najtmavších tieňoch.

Keď počítačová fotografia nedosiahne čas

Nie všetky implementácie výpočtovej fotografie boli úspešné. Dva odvážne pokusy boli fotoaparáty Lytro a Light L16: Namiesto zmiešania tradičných a výpočtových fotografických funkcií (ako sú telefóny iPhone, Android telefóny a niektoré samostatné fotoaparáty) sa pokúsili zamerať výlučne na počítačové fotografie.

Prvým, ktorý na trh vstúpil, bola v roku 2012 svetelná kamera Lytro, ktorá vám umožní po zaostrení snímky upraviť zaostrenie fotografie. Urobilo to tak, že zaznamenalo smer svetla vstupujúceho do kamery, čo tradičné fotoaparáty nerobia. Táto technológia bola zaujímavá, ale fotoaparát mal problémy, vrátane nízkeho rozlíšenia a ťažko použiteľného rozhrania.

Mal tiež dosť úzky prípad použitia. Ako zdôrazňuje Dave Etchells, zakladateľ, vydavateľ a šéfredaktor Imaging Resource, „Aj keď sme boli schopní zaostriť po tom, čo bola skvelá vlastnosť, clona kamery bola tak malá, že ste nedokázali skutočne rozlíšiť vzdialenosti pokiaľ tam nebolo niečo skutočne blízko k fotoaparátu. ““

Povedzme napríklad, že strieľate baseballového hráča na miestny baseballový diamant. Môžete vziať fotografiu blízko plotu a tiež zachytiť hráča plotom, aj keď je ďaleko. Potom ľahko zmeníte zameranie z plotu na prehrávač. Ako však Etchells zdôrazňuje, „Ako často vlastne fotografujete takúto fotku?“

Novším zariadením, ktoré malo byť samostatným výpočtovým fotoaparátom, bol Light L16, pokus o výrobu tenkej prenosnej kamery s kvalitou obrazu a výkonom na rovnakej úrovni ako u špičkových D-SLR alebo zrkadlových kamier. Model L16 bol navrhnutý so 16 rôznymi modulmi objektívu a senzora v jednom tele fotoaparátu. mocný Palubný softvér by skonštruoval jeden obraz z rôznych modulov.

Na Etchells bol spočiatku ohromený koncept Light L16. Ako skutočný produkt však uviedol, že „mal celý rad problémov.“

Napríklad, Light, fotoaparát a fotografická spoločnosť, ktorá vyrába Light L16, tvrdila, že údaje zo všetkých tých malých senzorov by boli rovnocenné s tým, že by mal jeden veľký senzor. „Tvrdili tiež, že to bude kvalita D-SLR, “ hovorí Etchells. Ale vo svojich poľných testoch spoločnosť Imaging Resource zistila, že tomu tak nebolo.

Vyskytli sa aj ďalšie problémy vrátane toho, že určité oblasti fotografie mali nadmerný šum, „aj v jasných oblastiach obrazu… A prakticky neexistoval žiadny dynamický rozsah: tiene sa okamžite pripojili, “ hovorí Etchells, čo znamená, že v určitých časti fotografií - vrátane vzorových fotografií, ktoré spoločnosť používala na propagáciu fotoaparátu - v tieňoch neboli takmer žiadne podrobnosti.

„Bola to tiež katastrofa pri slabom osvetlení, “ hovorí Etchells. "To jednoducho nebol veľmi dobrý fotoaparát, obdobie."

Čo bude ďalej?

Napriek týmto nedostatkom veľa spoločností napreduje s novými implementáciami počítačovej fotografie. V niektorých prípadoch stierajú hranicu medzi tým, čo sa považuje za fotografiu, a inými druhmi médií, ako sú video a VR (virtuálna realita).

Spoločnosť Google napríklad rozšíri aplikáciu Fotky Google pomocou umelej inteligencie (AI) pre nové funkcie vrátane zafarbenia čiernobielych fotografií. Microsoft používa AI vo svojej Pix aplikácii pre iOS, takže používatelia môžu bez problémov pridávať vizitky na LinkedIn. Facebook čoskoro uvedie na trh funkciu 3D Fotky, ktorá „je novým typom média, ktorý umožňuje ľuďom zachytiť 3D okamihy včas pomocou smartfónu a zdieľať ich na Facebooku“. V aplikácii Lightroom od spoločnosti Adobe môžu fotografi mobilných zariadení využívať funkcie HDR a snímať obrázky vo formáte RAW.

VR a počítačové fotografie

Zatiaľ čo mobilné zariadenia a dokonca aj samostatné fotoaparáty používajú výpočtovú fotografiu zaujímavými spôsobmi, dokonca viac silné prípady použitia prichádzajú zo sveta platforiem s rozšírenou realitou, ako sú VR a AR (rozšírená realita). Pre Jamesa Georgea, výkonného riaditeľa a spoluzakladateľa spoločnosti Scatter, pôsobivého mediálneho štúdia v New Yorku, výpočtovej fotografie je otvárajú nové spôsoby, ako môžu umelci vyjadriť svoje vízie.

„V spoločnosti Scatter vidíme výpočtovú fotografiu ako jadro umožňujúce technológiu nových tvorivých disciplín, ktoré sa snažíme priekopníkom… Pridanie výpočtov by potom mohlo začať syntetizovať a simulovať niektoré z tých istých vecí, ktoré robia naše oči, so snímkami, ktoré robíme pozri v našich mozgoch, “hovorí George.

V podstate ide o inteligenciu. Naše mozgy používame na premýšľanie a porozumenie obrázkom, ktoré vnímame.

„Počítače začínajú byť schopné pozerať sa do sveta a vidieť veci a chápať, čo sú rovnako ako my, “ hovorí George. Výpočtová fotografia je teda „pridanou vrstvou syntézy a inteligencie, ktorá presahuje iba čisté zachytenie fotografie, ale v skutočnosti začína simulovať ľudskú skúsenosť vnímania niečoho“.

Spôsob, akým Scatter používa výpočtovú fotografiu, sa nazýva volumetrická fotografia, čo je metóda zaznamenávania predmetu z rôznych uhlov pohľadu a potom pomocou softvéru na analýzu a vytvorenie všetkých týchto uhlov pohľadu v trojrozmernom znázornení. (Fotografie aj videá môžu byť volumetrické a môžu sa javiť ako hologramy podobné 3D, ktoré sa môžete pohybovať v rámci VR alebo AR zážitku.) „Zaujíma ma najmä schopnosť rekonštruovať veci viac ako len dvojrozmerne, “hovorí George. „V našej pamäti, ak prejdeme priestor , v skutočnosti si môžeme priestorovo pripomenúť, kde to bolo vo vzájomnom vzťahu. ““

George hovorí, že Scatter je schopný extrahovať a vytvárať reprezentáciu priestoru, ktorý „je úplne a voľne splavný, tak, ako by ste sa ním mohli pohybovať ako videohra alebo hologram. Je to nové médium, ktoré sa rodí z priesečník medzi videohrami a filmom, ktorý umožňuje počítačová fotografia a volumetrická tvorba filmu. ““

Scatter vyvinul softvérovú aplikáciu DepthKit, ktorá umožňuje filmárom využívať hĺbkový snímač z kamier, ako je Microsoft Kinect, ako doplnok k videokamere HD, aby pomohla ostatným produkovať volumetrickú ochranu VR. DepthKit, hybrid CGI a video-softvér, pritom vytvára živé 3D formy „vhodné na prehrávanie v reálnom čase vo virtuálnych svetoch“, hovorí George.

Scatter vytvoril niekoľko výkonných VR skúseností s DepthKit pomocou výpočtovej fotografie a odmerných filmových techník. V roku 2014 George spolupracoval s Jonathanom Minardom na vytvorení dokumentu „Mraky“, ktorý skúma umenie kódu, ktorý obsahoval interaktívnu súčasť. V roku 2017 spoločnosť Scatter vyrobila adaptáciu VR založenú na filme Zero Days , pomocou VR poskytla divákom jedinečnú perspektívu v neviditeľnom svete kybernetického boja - aby videli veci z pohľadu vírusu Stuxnet.

Jedným z najmocnejších projektov súvisiacich s DepthKit je „Terminal 3“, rozšírená realitná skúsenosť pakistanského umelca Asada J. Malika, ktorý mal premiéru začiatkom tohto roka na filmovom festivale TriBeCa. Táto skúsenosť vám umožní virtuálne vstúpiť do topánok amerického pohraničného hliadky prostredníctvom Microsoft HoloLens a vypočúvať duchovného 3D volumetrického hologramu niekoho, kto sa javí ako moslim (je tu celkom šesť postáv, ktoré môžete vypočuť).

„Asad je pakistanský rodák, ktorý emigroval do USA, aby navštevoval vysokú školu, a mal nejaké veľmi negatívne skúsenosti, keď sa ho pýtali na jeho zázemie a prečo tam bol. Šokovaný touto skúsenosťou vytvoril terminál 3, “ hovorí George.

Jedným z kľúčov k tomu, aby bol zážitok tak presvedčivý, je to, že Malikov tím v štúdiu rozšírenej reality 1RIC použil spoločnosť DepthKit na premenu videa na objemové hologramy, ktoré sa potom môžu importovať do motorov videohier v reálnom čase, ako sú Unity alebo 3D. grafické nástroje ako Maya a Cinema 4D. Pridaním údajov hĺbkového senzora z Kinectu do videa D-SLR, aby sa hologram správne umiestnil vo virtuálnom priestore AR, softvér DepthKit premení video na výpočtovej Video. Na kalibráciu D-SLR a Kinectu sa používa čiernobiela šachovnica, potom je možné obe kamery súčasne použiť na zachytenie objemových fotografií a videa.

• 10 rýchlych tipov na opravu zlých fotografií 10 rýchlych tipov na opravu zlých fotografií
• 10 tipov pre digitálnu fotografiu, ktoré sú nad rámec 10 tipov pre digitálnu fotografiu, ktoré sú nad rámec základných pravidiel
• 10 jednoduchých tipov a trikov pre lepšiu fotografiu smartfónu 10 jednoduchých tipov a trikov pre lepšiu fotografiu smartfónu

Pretože tieto skúsenosti AR vytvorené pomocou nástroja DepthKit sú podobné spôsobu fungovania videohier, skúsenosť typu „Terminál 3“ môže vytvárať silné interaktívne efekty. Napríklad George hovorí, že Malik umožňuje hologramom meniť formu, keď sa ich pýtate: Ak sa počas výsluchu vaše otázky stanú obviňujúcimi, hologram sa dematerializuje a zdá sa byť menej ľudský. „Ale keď začnete vyvolávať biografiu osoby, jej vlastné skúsenosti a hodnoty, “ hovorí George, „hologram sa skutočne začína vyplňovať a stáva sa viac fotorealistickým.“

Pri vytváraní tohto jemného efektu sa hovorí, že môžete uvažovať o vnímaní vyšetrovateľa a o tom, ako by mohli vidieť osobu „iba ako znak namiesto skutočnej osoby so skutočnou identitou a jedinečnosťou“. Svojím spôsobom by to mohlo poskytnúť používateľom vyššiu úroveň porozumenia. „Prostredníctvom série výziev, kde môžete položiť jednu alebo druhú otázku, “ hovorí George, „ste konfrontovaní so svojimi vlastnými zaujatosťami a zároveň s týmto individuálnym príbehom.“

Podobne ako väčšina nových technológií aj v oblasti výpočtovej fotografie dochádza k podielu na úspechoch a neúspechoch. To znamená, že niektoré dôležité vlastnosti alebo celé technológie môžu mať krátku dobu použiteľnosti. Vezmite Lytro: V roku 2017, tesne pred tým, ako spoločnosť Google kúpila spoločnosť, spoločnosť Lytro zavrela obrázky images.lytro.com, takže už nemôžete zverejňovať obrázky na webových stránkach alebo na sociálnych médiách. Pre tých, ktorým chýba, má Panasonic funkciu zaostrovania podobnú lytro s názvom Post Focus, ktorú zahrnul do rôznych špičkových zrkadlových kamier a point-and-shoot.

Výpočtové fotografické nástroje a funkcie, ktoré sme doteraz videli, sú iba štart , Myslím si, že tieto nástroje sa stanú oveľa výkonnejšími, dynamickejšími a intuitívnejšími, pretože mobilné zariadenia sú navrhnuté s novšími, všestrannejšími fotoaparátmi a objektívmi, výkonnejšími zabudovanými procesormi a rozšíriteľnejšími možnosťami bunkovej siete. Vo veľmi blízkej budúcnosti môžete začať vidieť skutočné farby výpočtovej fotografie.