Vysvetlenie dátových jazier

Revolúcia Big Data predefinovala spôsob práce podnikov; dáta podporujú všetko. Nielenže nástroje s otvoreným zdrojovým kódom, ako napríklad Apache Hadoop a Spark, uľahčili zhromažďovanie, spracovanie a ukladanie obrovského množstva údajov v reálnom čase, ale nástroje business intelligence (BI) a vizualizácia údajov nám začali pomáhať poškriabať povrch analýzy a transformácia týchto údajov na informovanie o základných obchodných rozhodnutiach.

Aj napriek vývoju technológie Big Data a BI stále narážame na také obrovské objemy údajov, ktoré neustále spájajú údaje, že nájdenie správnych bodov na analýzu sa stále javí ako potápanie sa ihlami v nekonečnom stohu sena. Riešenie? Znovu navrhnite stoh sena.

Zadajte dátové jazerá, nový typ podnikovej architektúry založenej na cloude, ktorá štruktúruje údaje škálovateľnejším spôsobom, ktorý uľahčuje experimentovanie; robí to skôr otvoreným pre prieskum a manipuláciu, než aby bol zamknutý v rigidných schémach a silách. Nasry Angel, výskumník podnikovej architektúry vo Forrester Research, vysvetlil, prečo podniky prijímajú architektúry dátových jazier.

„Znie to klišé, ale keď uvažujete o účinnom modernom dátovom prostredí, je to oveľa experimentálnejšie, “ povedal Angel. „Musíte sa naučiť rýchlo a rýchlo zlyhať. V minulosti bola správa údajov, najmä v sklade, o kvalite, s presnosťou na desatinnú čiarku; uistite sa, že všetko bolo úplne presné a pravdivé. Verzia pravdy. Potom vygenerujte správu perfektnú pre pixel a odstreľte ju na 5 000 používateľov.

„V súčasnosti je to vedecký postup. Vstúpiš do hypotézy o údajoch, ktoré chceš otestovať a chceš si s nimi zahrať, premiešať a porovnávať, vyskúšať rôzne veci skôr, ako pôjdete a niečo vyprodukujete."

Čo je v dátovom jazere?

Údajové jazero je úložisko. Na rozdiel od dátového skladu alebo „dátového mart“ Angel vysvetlil, že dátové jazerá sú distribuované skôr na viacerých uzloch ako v pevnom štruktúrovanom prostredí údajového skladu, ktoré sa spolieha na schémy (pozri nižšie uvedený infographic).

„Dátové jazero vám umožňuje aplikovať schému, keď píšete dáta verzus dátový sklad, ktorý vyžaduje, aby ste si prečítali schému. Takže dátový sklad v podstate vyžaduje, aby ste modelovali údaje skôr, ako pochopíte jeho kontext, čo nevie Naozaj to nedáva zmysel, “povedal Angel.

Zdroj: JustOne Database, Inc. (Kliknutím na obrázok vyššie zobrazíte úplné zobrazenie.)

„Zvyčajne máte v sklade IT profesionálov, ktorí prichádzajú s tým, čo považujú za najlepšie dátové modely, a nie sú prípadnými používateľmi údajov. Môžete rýchlo zistiť, ako to bráni produktivite a obchodnej hodnote, “ dodal., „V konečnom dôsledku musíte byť vy a firemní používatelia tí, ktorí rozhodujú o štruktúre údajov, a v dátovom jazere si môžete najskôr zistiť a zistiť, čo je tam, a potom vymyslieť schému, ktorá ich najlepšie zorganizuje.“

Dátové jazerá sú zvyčajne postavené na Hadoope a podnikové distribúcie Hadoop, ako sú Hortonworks a MapR, ponúkajú architektúry dátových jazier. Podniky môžu tiež vytvárať dátové jazerá pomocou cloudov Infraštruktúra ako služba (IaaS) vrátane Amazon Web Services (AWS) a Microsoft Azure. Amazon Elastic Compute Cloud (EC2) podporuje dátové jazerá, zatiaľ čo spoločnosť Microsoft má vyhradenú platformu Azure Data Lake na ukladanie a analýzu údajov v reálnom čase. Angel povedal, že dátové jazerá dozrievajú do bodu v priestore veľkých dát, kde podniky môžu do nich začať investovať s primeranou dôverou.

„Pred niekoľkými rokmi bol Hadoop zúrivosťou. Teraz sa dostávame k bodu, keď je Hadoop komoditizovaný, “ povedal Angel. „Otázka nie je, či Hadoop, ale kedy a čo s tým urobíte. Aké typy aplikácií budete stavať na Hadoop, akonáhle ste dostali dáta na spoločné miesto, ako je dátové jazero? V tomto bode ide o použitie údajov na vývoj aplikácií, ktoré vyhovujú vašim konkrétnym obchodným potrebám. ““

Budovanie na dátovom rezervoári

Najzaujímavejšou časťou týkajúcou sa veľkých dát je všetka možnosť, ktorú odomkne. Keď nastavíte dátové jazero, v ktorom budete hrať a experimentovať s rôznymi kombináciami údajov a obchodnými výsledkami, môžete začať vrstviť inovatívne analytické techniky na vrchole.

Algoritmy strojového učenia (ML) sa už stávajú súčasťou štruktúry cloudovej infraštruktúry a výskumníci neustále zdokonaľujú techniky hlbokého učenia a neurónové siete, aby trénovali stroje a dátové systémy na rozpoznávanie zložitých vzorcov. Prediktívna analytika sa zapaľuje do stále väčšieho množstva dátových nástrojov a podnikových platforiem, ktoré sa používajú na všetko od prediktívneho bodovania a automatizovanej segmentácie pre riadenie vzťahov so zákazníkmi (CRM), až po identifikáciu trendov na finančných trhoch a preventívne zachytenie mechanických porúch v strojoch.

To všetko sa deje na vrchole akéhokoľvek ukladacieho priestoru údajov, ktorý vaša firma zásobuje a prispôsobuje podľa svojich potrieb. Angel hovoril o niektorých prípadoch použitia v reálnom svete, v ktorých videl dátové jazerá zmeniť spôsob fungovania organizácií.

„Pracoval som s vydavateľskou spoločnosťou, ktorá má portfólio rôznych časopisov - majú publikáciu pre právnikov, inú pre účtovníkov, inú pre konzultantov atď. - a každá publikácia mala vlastný sklad údajov. Každá publikácia mala vlastne svoj vlastný silo, “vysvetlil Angel.

„Vybrali sme všetky údaje zo skladu a vložili ich do dátového jazera. Dátové jazero im umožnilo vidieť v silách. Dokázali údaje preskúmať a zistiť údaje a uvedomili si to vo všetkých týchto rôznych publikáciách, zákazníci z každého časopisu sa zaujímali o kybernetickú bezpečnosť. Čitateľstvo o kybernetickej bezpečnosti bolo silné vo všetkých týchto rôznych úlohách. Čo teda urobili? Z kybernetickej bezpečnosti sa stali témou ich výročnej konferencie. ““

Ďalším príkladom, o ktorom Angel hovoril, je elektronický obchod. Ďalší klient, maloobchodný predajca umeleckých diel, ukladal množstvo údajov do údajového jazera a používal ich nielen ako úložisko, ale aj ako plátno rôznych druhov, aby zhromaždil obchodné informácie. Maloobchodník priniesol do jazera údaje o transakciách (objednávky, faktúry, platby atď.), Údaje o kliknutiach (postupnosť kliknutí a stránok každého návštevníka webovej stránky) a údaje z dátového skladu maloobchodníka a použil ich na boj proti nákupnému košíku. opustenie a konverzie.

„Chcete stavať na dátovom jazere a používať ho na formulovanie zložitých obchodných názorov, “ povedal Angel. „Maloobchodný predaj umeleckých diel bol schopný pozerať sa na údaje o kliknutiach zákazníkov a porovnávať kliknutia s profilmi zákazníkov, potom pomocou transakčných údajov zistiť, čo zákazník kúpil v minulosti, a pomocou týchto prehľadov spustiť veľmi konkrétne e-mailové kampane. Ak teda zákazník opustil ich vozík, maloobchodník by to mohol sledovať o dve hodiny neskôr a povedať: „Videli sme, že sa chystáte vyskúšať tento program Picasso; ak sa na to chcete znova pozrieť, tu je odkaz.“ “

Dátové jazerá sú univerzálne použiteľné vo všetkých druhoch obchodných použití. Ale pre generálneho riaditeľa (CTO) alebo riaditeľa pre informačnú bezpečnosť (CISO), ktorý uvažuje o prechode na architektúru, Angel zdôraznil, že dátové sklady ešte nie sú zastarané, a to v žiadnom prípade. Pre väčšinu podnikových organizácií, či už používate poskytovateľa cloudu alebo vlastnú distribúciu Hadoop, podniky stále potrebujú obe.

Dátové jazerá vám poskytujú prístup k jedinečným poznatkom odstránením limitov prispôsobených údajov pre konkrétnu schému a prichádzajú s oveľa nižšími celkovými nákladmi na vlastníctvo vzhľadom na použitie lacného a flexibilného úložiska v cloude, ako je napríklad AWS, na zväčšovanie a znižovanie - zatiaľ čo iba platiť za spracovateľský výkon, ktorý skutočne používate. Prevádzka dátového skladu je drahšia a následne robí IT profesionálov selektívnejšími pri výbere a získavaní údajov. Ale pre podnikovo najdôležitejšie údaje to nie je zlá vec.

„Dátový sklad má výhody z hľadiska bezpečnosti a je veľmi ľahkým nástrojom na riadenie správy údajov, “ uviedol Angel. „Takže si stále chcete ponechať svoje najcitlivejšie informácie v sklade, čo je kriticky dôležité. Ale pokiaľ ide o nové obchodné príležitosti a objavovanie skrytých poznatkov, chcete využiť dátové jazero.“