Recenzia a hodnotenie veľkého dopytu spoločnosti Google

Google BigQuery, ktorý je zadarmo po dobu 10 gigabajtov (GB) mesačne, je obrovským dátovým skladom gigantických petabajtov (PB) pre analytiku. Je to produkt na úrovni podniku, produkt SQL a Big Data je v DNA spoločnosti Google. Dôkazom toho sú všetky nástroje a služby spoločnosti. Stručne povedané, ak chcete s údajmi niečo urobiť, môžete sa staviť, že spoločnosť Google má k dispozícii nástroj, ktorý to umožní. Ak máte rozsiahle súbory údajov alebo ich zhromažďujete spojením s verejnými alebo komerčnými súbormi údajov, môže byť Google BigQuery dobrou voľbou. Je určený na skenovanie terabajtov (TB) v sekundách a PB v minútach. Najväčší dopyt k dnešnému dňu je 2, 1 PB a Google BigQuery ho riešil bez problémov. Napriek týmto schopnostiam je analýza veľkých údajov náročná a ak pracujete s menšími množinami údajov, môže to byť zbytočné. Google BigQuery je stále solídny výber, ktorý sleduje hneď za databázou Microsoft Azure SQL Database a MongoDB Atlas. Možnosti editorov si vyberá naša spoločnosť DBaaS.

Cenový model

Google BigQuery je model na analýzu dát bez serverov. Oddelenie úložiska a výpočet vám poskytuje lepšiu kontrolu cien, ktoré sa zvyčajne zaujímajú o ľudí, ktorí prevádzkujú mimoriadne veľké projekty. Ukladací priestor je spoplatňovaný paušálne a počíta sa podľa miery využitia. Prvých 10 GB úložného priestoru je zadarmo každý mesiac a náklady začínajú 2 centy na GB mesačne. Napríklad, ak ukladáte 1 terabajt (TB) za mesiac, cena by bola 20 USD. Vkladanie streamovaných údajov sa začína na 1 cent na 200 megabajtov (MB). Prvých 1 TB dopytov je bezplatné a ďalšia analýza je potom 5 USD za TB. Operácie s údajmi Meta sú bezplatné.

Máte tiež možnosť platiť as you go alebo mesačný paušálny poplatok. Niektorí vývojári uprednostňujú paušálny poplatok za rozpočtovú úľavu. Pretože skladovanie je už za paušálny poplatok, táto voľba znamená len to, že výpočet je tiež v paušálnom mesačnom poplatku. Predtým, ako sa príliš budete nadchnúť registráciou paušálnej ceny, nezabudnite, že pre túto možnosť sú vhodné iba účty s mesačnými analytickými výdavkami vo výške 40 000 dolárov.

Bezplatná vrstva nástroja Google BigQuery poskytuje až 1 TB údajov analyzovaných každý mesiac a 10 GB ukladania údajov, ale vážne, ak ste hlboko pod touto značkou, existujú ďalšie nástroje, ktoré sú pre túto úlohu vhodnejšie, napríklad Microsoft Azure SQL Database, IBM Db2 v cloude alebo Google Cloud s Google Analytics 360.

Krok za krokom

Ak už účet Google nemáte, musíte si ho nastaviť. Bude potrebné, aby ste sa zaregistrovali do účtu Google Cloud Platform, ktorý bude tiež vyžadovať kreditnú kartu na používanie bezplatnej skúšobnej verzie. Nebojte sa, pretože na konci skúšobného obdobia nebudete automaticky inovovaní a fakturovaní. Ak chcete niečo naúčtovať na svoju kreditnú kartu, musíte inovovať manuálne.

Z používateľského rozhrania Google Cloud (UI) prejdite na BigQuery. UI BigQuery je trochu obyčajná Jane, ale jeho usporiadanie uľahčuje použitie. Google mi hovorí, že teraz pracuje na novom používateľskom rozhraní. Ak chcete pomocou súčasného používateľského rozhrania preskúmať, kliknite na príkaz Zostaviť dopyt a na úvodnej stránke vyberte jednu z množín verejných údajov. Napíšte štandardný dotaz SQL do poľa dotazu pomocou editora dopytov alebo editora funkcií definovaných používateľmi (UDF) a môžete ísť.

Sprievodcovia Quickstartom sú užitočné pri prenose údajov alebo spriadaní vlastnej databázy v Cloud Bigtable, Cloud Spanner, Cloud SQL alebo Cloud Datastore (databáza NoSQL). BigQuery využíva SQL kompatibilné s American National Standards Institute (ANSI), ako aj ovládače Open Database Connectivity (ODBC) a Java Database Connectivity (JDBC) na integráciu s údajmi v iných cloudových produktoch a ďalších typoch aplikácií. Unikátne implementácie SQL určené na hladké dotazovanie znamenajú, že existuje niekoľko dialektov SQL, ktoré môžu byť mätúce. Všimol som si, že keď je predvolené nastavenie „Pôvodný SQL“, mohol by som zrušiť začiarknutie políčka nárečia SQL a vrátiť sa k skutočnému štandardnému SQL.

Google BigQuery má tiež nástroj na príjem streamingu na zachytávanie a analýzu údajov v reálnom čase. Na vytvorenie množiny údajov použite kartu Vytvoriť množinu údajov v rozbaľovacej ponuke Môj prvý projekt. Zadajte ID množiny údajov, vyberte umiestnenie údajov (USA, Európska únia alebo Ázia-severovýchod) a nastavte expiráciu údajov. Aplikácia Google BigQuery dokáže automaticky zistiť schému. Po nastavení množiny údajov ste pripravení na vykonávanie dopytov.

Panel nástrojov

Existujú konektory pre väčšinu nástrojov business intelligence (BI). Možno však budete chcieť použiť dátové štúdio, ktoré je vizualizačným nástrojom spoločnosti BI od spoločnosti Google a je to zadarmo. Zoznam nástrojov Google, ktoré môžete použiť, je zdĺhavý. Odporúčame vám začať s prehľadom zoznamu bezplatných úrovní platformy Google Cloud Platform.

Platforma Google Cloud Platform má 15 regiónov, 45 zón, viac ako 100 kontaktných miest a dobre vybavenú globálnu sieť so 100 000+ míľami optických káblov. Vďaka globálnej službe získate lepšiu cenu, ale môžete slobodne určiť regióny podľa vášho želania.

Zálohy a dohody o úrovni služieb (SLA) spadajú pod záštitu služby Google SQL Cloud. Úplná SLA je tu. Cloud SQL uchováva sedem automatických záloh pre každú inštanciu. Zálohy prvej generácie (gen) zachytávajú všetko a sú zahrnuté do nákladov na inštanciu (podľa modelu použitia). Ich úložný priestor sa nezapočítava do prideleného úložného priestoru. Zálohy druhej generácie zachytávajú iba údaje, ktoré sa zmenili, a ich ukladanie je spoplatňované zníženou rýchlosťou.

Celkovo je služba Google BigQuery skvele navrhnutá. Je vhodnejší pre veľké súbory údajov a pre tých, ktorí majú skúsenosti s prácou s nimi. Ak chcete písať aplikácie strojového učenia (ML) alebo navrhovať údaje o školeniach ML, potom sa vám tento produkt bude páčiť. To isté platí pre vývojárov pracujúcich na aplikáciách Internet of Things (IoT) alebo akýkoľvek vývoj vyžadujúci flexibilné prijímanie údajov a rozsiahlu analýzu údajov.