Keď je oblak zaplavený, je to na hrane výpočtovej techniky, ai na záchranu

Pozdĺž pobrežia austrálskeho štátu Nový Južný Wales (NSW) sa vznáša flotila bezpilotných lietadiel, ktorá pomáha udržiavať vodu v bezpečí. Začiatkom tohto roka roboti pomohli zachráncom pri štátnom Ďalekom severnom pobreží zachrániť dvoch tínedžerov, ktorí zápasili s ťažkým surfovaním.

Hukoty sú poháňané algoritmami umelej inteligencie (AI) a strojového videnia, ktoré neustále analyzujú svoje videoprenosy a zvýrazňujú položky, ktoré si vyžadujú pozornosť: povedzme, žraloky alebo túlaví plavci. Je to rovnaká technológia, ktorá umožňuje Fotky Google triediť obrázky, domáca bezpečnostná kamera na zisťovanie cudzincov a inteligentná chladnička, ktorá vás upozorní, keď sa vaše produkty rýchlo sa kazia blížia ku dňu vypršania ich platnosti.

Ale zatiaľ čo tieto služby a zariadenia potrebujú na svoje funkcie AI neustále pripojenie k cloudu, roboti NSW môžu vykonávať svoje úlohy na detekciu obrázkov s pevným pripojením na internet alebo bez neho, a to vďaka neurálnym počítačovým čipom, ktoré im umožňujú vykonávať výpočty hlbokého učenia na miestnej úrovni.,

Tieto čipy sú súčasťou rastúceho trendu inovácií v oblasti výpočtových technológií, ktoré umožňujú našim softvérovým zariadeniam vykonávať aspoň niektoré kritické funkcie bez neustáleho spojenia s cloudom. Nárast špičkových výpočtov pomáha riešiť nové a staré problémy a pripravuje pôdu pre ďalšiu generáciu inteligentných zariadení.

Uvoľnenie oblaku

V posledných dvoch desaťročiach sa cloud s dobrým dôvodom stal defacto spôsobom hostovania aplikácií.

„To, čo robí oblak tak atraktívnym, je to, že má tendenciu znižovať náklady na začatie akejkoľvek činnosti, ktorú chcete vykonať, “ hovorí Rob High, CTO spoločnosti IBM Watson. „Cloud… umožňuje ľuďom… riešiť skutočné problémy dnes bez toho, aby museli platiť náklady na vytvorenie infraštruktúry.“

S všadeprítomným pripojením na internet a takmer bezpočtovými cloudovými aplikáciami, službami a vývojovými platformami sa prekážky vytvárania a zavádzania aplikácií výrazne zmenšili. Obrovské zdroje poskytovateľov cloudových služieb, ako sú IBM, Google a Amazon, podporili vývoj nielen triviálnych obchodných aplikácií, ale aj komplexného softvéru, ktorý vyžaduje obrovské množstvo výpočtov a ukladacích priestorov - algoritmy AI a strojového učenia, ako aj streaming a AR (rozšírená realita) aplikácie.

Tieto pokroky však tiež vytvorili výzvu: Väčšina aplikácií, ktoré používame, nemôže fungovať, pokiaľ nie sú pripojené k cloudu. To zahŕňa väčšinu aplikácií, ktoré bežia na počítačoch a telefónoch, ako aj softvér v chladničkách, termostatoch, dverových zámkoch, sledovacích kamerách, automobiloch, robotoch, senzoroch počasia atď.

S príchodom internetu vecí (IoT) čoraz viac zariadení používa softvér a generuje údaje a väčšina z nich bude potrebovať prepojenie na cloud, aby sa tieto údaje mohli ukladať a spracovávať. Množstvo energie a šírka pásma potrebná na odoslanie týchto údajov do cloudu je obrovská a priestor potrebný na uloženie údajov bude výzvou pre zdroje aj tých najsilnejších oblačných monštier.

„V týchto systémoch zhromažďujeme veľa údajov, či už ide o okraj, alebo o zariadenie IoT alebo o akékoľvek iné miesto, o ktorom by ste sa mohli takmer rozhodnúť, že sa o to nestaráte, “ hovorí High. Ak sa však musí každé rozhodnutie uskutočniť v cloude, všetky tieto údaje sa budú musieť poslať cez sieť na cloudové servery, aby sa mohli vyčistiť a filtrovať.

Ako príklad uvádza High Higher moderné letúny, ktoré obsahujú stovky senzorov, ktoré monitorujú prúdové motory a zhromažďujú stovky gigabajtov údajov o stave a výkone počas každého letu. „Na koľko z týchto údajov skutočne záleží, ak ich chcete analyzovať na agregáte? Pravdepodobne iba ich zlomok, “ hovorí High. "Prečo sa toho nezbavíte len pri zdroji, keď to nie je potrebné pre nič iné, čo robíte?"

Robiť to, čo High navrhuje mimo cloudu, bolo predtým všetko nemožné, ale pokrok v lacných a lacných procesoroch System-on-Chip (SoC) dal okrajovým zariadeniam väčší výpočtový výkon a nechal ich niesť časť výpočtového zaťaženia svojich ekosystémy, ako napríklad vykonávanie analýz v reálnom čase alebo filtrovanie údajov.

„V okrajovom prostredí je toľko údajov, má zmysel preniesť niektoré z možností cloud computingu do výpočtovej kapacity okrajového zariadenia, “ hovorí High.

Obavy o ochranu súkromia

Výhody výpočtov na hranách sa neobmedzujú len na uvoľnenie zdrojov v cloude.

Remi El-Ouazzane, nová technologická skupina a generálna riaditeľka v spoločnosti Movidius (Intel), uvádza komerčné bezpečnostné kamery ako ďalší príklad toho, kedy môže výpočtová technika hrany urobiť obrovský rozdiel. Tieto kamery vidíte na semaforoch, na letiskách a pri vchodoch do budov, nahrávajú a streamujú vysokokvalitné video cez sieť 24 hodín denne.

„Čím menej údajov musíte preniesť späť na server alebo do dátového centra, tým viac vydrhovania a finesingu môžete urobiť na miestnej úrovni, tým lepšie budú vaše celkové náklady na vlastníctvo z hľadiska ukladania a prenosu, “ hovorí El-Ouazzane.

To znamená, že je potrebné poskytnúť kamerám možnosť analyzovať svoje vlastné videozáznamy, určiť, ktoré snímky alebo dĺžky videa si vyžadujú pozornosť, a posielať iba tieto údaje na server.

Ak sú tieto kamery nainštalované vo vašej domácnosti, kancelárii alebo na akomkoľvek súkromnom mieste, pripojenie k cloudu sa tiež stane potenciálnym bezpečnostným problémom. Hackeri a výskumníci v oblasti bezpečnosti dokázali narušiť spojenie medzi domácimi spotrebičmi a ich cloudovými servermi, aby zachytili citlivé videozáznamy. Analýza údajov na miestnej úrovni vylučuje potrebu videoprenosu medzi vaším domom, súkromným životom a poskytovateľom služieb.

Movidius, ktorý spoločnosť Intel získala v roku 2016, je jedným z niekoľkých startupov, vďaka ktorým sa počítačové čipy špecializujú na úlohy AI, ako sú rozpoznávanie reči a počítačové videnie. Spoločnosť vyrába jednotky na spracovanie obrazu (VPU) - procesory s nízkym výkonom, ktoré prevádzkujú neurónové siete, ktoré analyzujú a „chápu“ kontext digitálnych obrazov bez toho, aby ich bolo potrebné posielať späť do cloudu.

Movidius Myriad 2 je procesor s neustálym videním vyrobený pre prostredia s obmedzeným výkonom.

„Keď kamera chápe sémantiku toho, na čo sa pozerá, potom schopnosť ukladať pravidlá týkajúce sa toho, čo fotoaparát môže alebo nemôže robiť, sa stáva veľmi ľahkou úlohou, “ hovorí El-Ouazzane. "Nemusíte vlastne zachytávať svoju obývaciu izbu na ďalších 12 hodín, len aby ste vedeli, že v danom čase váš pes prešiel cez koberec pred pohovku."

Iné spoločnosti skúmajú použitie špecializovaného počítačového rozhrania na báze AI na ochranu súkromia používateľov. Napríklad Apple iPhone X je poháňaný čipom Bionic A11, ktorý dokáže lokálne spúšťať úlohy AI, čo mu umožňuje vykonávať zložité rozpoznávanie tváre bez toho, aby sa užívateľ poslal do cloudu.

Viac spracovania AI na okraji môže pripraviť pôdu pre decentralizovanú umelú inteligenciu, kde používatelia musia zdieľať menej údajov s veľkými spoločnosťami, aby mohli využívať aplikácie AI.

Zníženie latencie

Ďalším problémom poskytovateľov veľkých cloudových služieb je to, že ich dátové centrá sa nachádzajú mimo veľkých miest a umiestňujú ich stovky a tisíce kilometrov od ľudí a zariadení, ktoré používajú ich aplikácie.

V mnohých prípadoch môže latencia spôsobená dátami cestujúcimi do oblakov a z nich priniesť zlý výkon alebo horšie fatálne výsledky. Môže to byť robot, ktorý sa snaží vyhnúť kolíziám alebo pristátiu na nerovnom teréne, alebo vozidlo s vlastným riadením, ktoré sa pokúša rozhodnúť, či ide o prekážku alebo chodec.

Vďaka ľahkej implementácii hlbokých neurónových sietí a počítačového videnia spoločnosti Movidius sú jej čipy vhodné pre mobilné okrajové zariadenia, ako sú bezpilotné lietadlá, pre ktoré nie je možné použiť hardvér, ktorý spotrebúva energiu, napríklad GPU. Drony sú obzvlášť zaujímavou štúdiou, pretože potrebujú prístup s výpočtom AI s nízkou latenciou a musia fungovať aj v offline režime.

Detekcia gest ako ďalšia oblasť, v ktorej výpočty na hranách pomáhajú zlepšovať zážitok z lietania. "Cieľom je sprístupniť bezpilotné lietadlá pre mnohých ľudí a gesto sa zdá byť pre ľudí pekným spôsobom ich používania. Latentnosť je dôležitá, keď gestikuľujete dronom, aby vykonával nejakú úlohu, " hovorí El-Ouazzane.

V prípade startupov, ako je Skylift Global, ktorý poskytuje služby robotov s vysokou hmotnosťou záchranným pracovníkom a prvým respondentom, môže prístup k AI s nízkym oneskorením a zdroje na výpočet ušetriť peniaze a životy. „Výrazne to zníži náklady na príjem dát, zníži latenciu siete, zvýši bezpečnosť a pomôže premeniť streamovanie údajov na rozhodnutia v reálnom čase, “ hovorí Amir Emadi, generálny riaditeľ a zakladateľ spoločnosti Skylift.

Dodanie dodávok prvým respondentom si vyžaduje rozhodnutia v polovici sekundy. „Čím viac času uplynie, napríklad v boji proti požiaru, tým je nákladnejšie napraviť túto situáciu. Keď budú naše bezpilotné lietadlá schopné robiť rozhodnutia v reálnom čase na hrane, aj keď stratia konektivitu, budeme môcť ušetriť viac životy, peniaze a čas, “hovorí Emadi.

Ďalšími doménami, ktoré potrebujú výpočty v reálnom čase, sú aplikácie s rozšírenou a virtuálnou realitou a autonómne vozidlá. „Toto sú všetky počítačové prostredia založené na skúsenostiach. Stanú sa okolo ľudí, “ hovorí Zachary Smith, výkonný riaditeľ spoločnosti Packet z New Yorku so zameraním na to, aby vývojárom umožnil prístup k vysoko distribuovanému hardvéru.

Aplikácia AR alebo VR, ktorá nedokáže držať krok s pohybom používateľa, buď spôsobí závraty alebo zabráni tomu, aby sa zážitok stal ponorným a skutočným. A latencia bude ešte väčším problémom, keď sa vozidlá s vlastným riadením, ktoré sa vo veľkej miere spoliehajú na počítačové videnie a algoritmy strojového učenia, stanú hlavnými prúdmi.

„Na načítanie webovej stránky nebude záležať 30-milisekundová latencia, ale naozaj bude záležať na tom, aby auto pri rýchlosti 60 km / h určilo, či by sa malo odbočiť vľavo alebo vpravo, aby sa predišlo zrážke s dievčaťom, “ hovorí Smith.

Stretnutie s výzvami hrany

Napriek tomu, že je potrebné priblížiť výpočtovú techniku ​​k okraju, nemusí byť uvedenie špecializovaného hardvéru do každého zariadenia konečnou odpoveďou, Smith uznáva. „Prečo nielen dať všetky počítače do auta? Myslím, že to skutočne súvisí s vývojom toho, ako rýchlo dokážete kontrolovať jeho životný cyklus, “ hovorí.

„Keď uvediete hardvér na svet, zvyčajne tam zostane päť až desať rokov, “ hovorí Smith, zatiaľ čo technológia, ktorá poháňa tieto prípady použitia založené na skúsenostiach, sa vyvíja každých šesť až 12 mesiacov.

Dokonca aj veľmi veľké spoločnosti s komplikovanými dodávateľskými reťazcami často zápasia s aktualizáciou svojho hardvéru. V roku 2015 si spoločnosť Fiat Chrysler musela pripomenúť 1, 4 milióna vozidiel, aby opravila zraniteľnosť, ktorá bola odhalená pred piatimi rokmi. A obrovský chipmaker Intel sa stále snaží prekonať konštrukčnú chybu, ktorá vystavuje stovky miliónov zariadení hackerom.

Movidius's El-Ouazzane tieto výzvy uznáva. „Vieme, že každý rok budeme musieť zmeniť rad produktov, pretože každý rok prinesieme viac inteligencie na okraj a požiadame našich zákazníkov o upgrade, “ hovorí.

Aby sa predišlo neustálym stiahnutiam a aby zákazníci mohli dlhodobo využívať svoj špičkový hardvér, Movidius zbiera svoje procesory ďalšími zdrojmi a kapacitou. „Potrebujeme schopnosť v nasledujúcich rokoch vykonať upgrade týchto produktov, “ hovorí El-Ouazzane.

Spoločnosť Packet, Smithova spoločnosť, používa iný prístup: Vytvára mikroúdaje, ktoré môžu byť nasadené v mestách, bližšie k používateľom. Spoločnosť potom môže vývojárom poskytnúť výpočtové prostriedky s veľmi nízkou latenciou - čo najbližšie k používateľom, bez toho, aby ste na okraj umiestnili skutočný hardvér.

„Sme presvedčení, že bude potrebné zaviesť mechanizmus poskytovania infraštruktúry, ktorý umožní hardvér, ku ktorému majú vývojári prístup v každom meste na celom svete, “ hovorí Smith. Spoločnosť už pôsobí na 15 miestach a plánuje sa nakoniec rozšíriť na stovky miest.

Ambície spoločnosti Packet však idú ďalej než len vytváranie miniatúrnych verzií rozľahlých zariadení prevádzkovaných spoločnosťami ako Google a Amazon. Ako Smith vysvetľuje, nasadenie a aktualizácia špecializovaného hardvéru nie je možné s verejným cloudom. V obchodnom modeli spoločnosti Packet výrobcovia a vývojári nasadia špecializovaný hardvér v okrajových dátových centrách spoločnosti, kde ho môžu rýchlo aktualizovať a aktualizovať, keď to bude potrebné, a zároveň zabezpečiť, aby ich používatelia získali super rýchly prístup k počítačovým zdrojom.

Hatch, jeden zo zákazníkov spoločnosti Packet, je odčlenením sa od spoločnosti Rovio, hernej spoločnosti, ktorá vytvorila spoločnosť Angry Birds. Spoločnosť prevádzkuje Android na serveroch s výpočtovými hranami, aby používateľom s nízko-koncovými zariadeniami Android poskytovala streamingové služby pre viac hráčov s nízkou latenciou.

„potrebuje na všetkých týchto trhoch po celom svete pomerne špecializované servery ARM, “ hovorí Smith. „Prispôsobili konfigurácie našej ponuky serverov a umiestnili sme ju na osem globálnych trhoch v celej Európe a čoskoro to bude na 20 alebo 25 trhoch. Je to pre nich ako Amazon, ale na každom trhu v Európe sa im darí spúšťať prispôsobený hardvér.."

Teoreticky by Hatch mohol urobiť to isté vo verejnom cloude, ale náklady by z neho urobili neefektívne podnikanie. „Rozdiel je medzi umiestnením 100 používateľov na procesor a umiestnením 10 000 používateľov na procesor, “ hovorí Smith.

Smith verí, že tento model osloví generáciu vývojárov, ktorá bude riadiť ďalšie softvérové ​​inovácie. „Zameriavame sa na to, ako prepojiť generáciu softvéru, ľudí, ktorí vyrastali v cloude, so špecializovanými hardvérovými primitívami, “ hovorí Smith. „Hovoríme o používateľoch, ktorí si nemôžu otvoriť svoj MacBook a pozrieť sa dovnútra, a to je osoba, ktorá sa chystá inovovať v komprimovanom hardvéri / softvéri.“

Zmiznú oblaky?

Keď budú okrajové zariadenia schopné vykonávať zložité výpočtové úlohy, je budúcnosť cloudu ohrozená?

„Okrajové výpočty sú pre mňa prirodzeným a logickým ďalším vývojom cloud computingu, “ hovorí IBM Watson's High.

V skutočnosti v roku 2016 spoločnosť IBM uviedla na trh sadu nástrojov, ktoré umožňujú vývojárom hladko distribuovať úlohy medzi okrajom a cloudom, najmä v ekosystémoch IoT, kde okrajové zariadenia už zhromažďujú veľa údajov o svojom bezprostrednom prostredí. Koncom roku 2016 Amazon Web Services, ďalšia významná platforma pre vývoj cloudu, oznámila Greengrass, službu, ktorá umožňuje vývojárom IoT spúšťať časti svojich cloudových aplikácií na svojich okrajových zariadeniach.

Nič z toho neznamená, že mrak odchádza. „V cloude je veľa vecí, ktoré je lepšie urobiť, aj keď sa stále veľa práce deje na okraji, “ hovorí High. Patria sem úlohy, ako napríklad zhromažďovanie údajov z mnohých rôznych zdrojov a vykonávanie rozsiahlych analýz s obrovskými množinami údajov.

„Ak potrebujeme vytvoriť modely v algoritmoch AI, ktoré používame v týchto okrajových zariadeniach, vytváranie a školenie týchto modelov je stále veľmi masívnym výpočtovo náročným problémom a často vyžaduje výpočtovú kapacitu, ktorá ďaleko presahuje to, čo je k dispozícii na týchto okrajových zariadeniach, “ hovorí.

El-Ouzzane súhlasí. „Schopnosť lokálne trénovať modely AI je veľmi obmedzená, “ hovorí. „Z hľadiska hlbokého učenia má školenie iba jedno miesto na sedenie. Je to v cloude, kde máte dostatok výpočtových zdrojov a dostatok úložného priestoru, aby ste sa mohli vysporiadať s veľkými množinami údajov.“

Ustanovenia El-Ouazzane tiež používajú prípady, keď sú okrajové zariadenia priradené k úlohám kritickým pre misiu a čas, zatiaľ čo cloud sa stará o pokročilejšie konferencie, ktoré nie sú závislé od latencie. "Žijeme vo svete kontinuity medzi mrakom a hranou."

„Medzi výpočtami na hrane a cloud computingom existuje veľmi symbiotický a synergický vzťah, “ hovorí High.