Mobilné procesory roku 2018: nárast funkcií strojového učenia

Niet divu, že tohtoročné inteligentné telefóny majú rýchlejšie procesory ako procesory z minulého roku - k čomu dochádza každý rok. Novinkou v tomto roku je však prevaha funkcií strojového učenia, ktoré takmer každý predajca procesorov ponúka ako spôsob diferenciácie svojich zariadení. To platí pre predajcov telefónov, ktorí navrhujú svoje vlastné čipy, nezávislých alebo obchodných predajcov čipov, ktorí predávajú procesory predajcom telefónov, a dokonca aj pre výrobcov IP, ktorí navrhujú jadrá, ktoré idú do samotných procesorov.

Pozadie

Prvé trochu zázemia: medzi všetky moderné procesory aplikácií patria návrhy (často označované ako duševné vlastníctvo alebo IP) od iných spoločností, najmä od firiem ako ARM, Imagination Technologies, MIPS a Ceva. Takáto IP sa môže objaviť v rôznych formách - napríklad ARM predáva všetko od základnej licencie pre svoju 32-bitovú a 64-bitovú architektúru až po konkrétne jadrá pre procesory, grafiku, spracovanie obrazu atď., Ktoré potom môžu návrhári čipov použiť na vytvárať procesory. Dizajnéri čipov zvyčajne spájajú tieto jadrá s vlastnými návrhmi a robia rôzne rozhodnutia týkajúce sa pamäte, prepojení a ďalších funkcií v snahe vyvážiť výkon s požiadavkami na energiu, veľkosťou a nákladmi.

Na čele procesora má väčšina čipov kombináciu väčších jadier, ktoré sú výkonnejšie a rýchlejšie a teplejšie, a menších jadier, ktoré sú účinnejšie. Telefóny zvyčajne väčšinou používajú menšie jadrá, ale pri náročných úlohách sa prepínajú na vysoko výkonné jadrá a kombináciu jadier a GPU a ďalších jadier využívajú na najlepšie riadenie výkonu a tepelných hľadísk (nemôžete použiť prevádzkujte vysokovýkonné jadrá veľmi dlho, pretože by sa prehriali a zvyčajne ich nemusíte). Najznámejšími príkladmi veľkých jadier sú jadrá ARM Cortex-A75 a A73; zodpovedajúce menšie jadrá by boli A55 a A53. V dnešných špičkových telefónoch sa často objavujú štyri z nich, ktoré sú známe ako oktávové rozloženie, aj keď niektorí predajcovia prijali iné prístupy.

Pokiaľ ide o grafiku, je tu väčšia rozmanitosť. Niektorí dodávatelia si vybrali linku Mali od spoločnosti ARM, iní si vybrali PowerVR spoločnosti Imagination Technologies a ďalší sa rozhodli navrhnúť svoje vlastné grafické jadrá. A existuje ešte väčšia rozmanitosť, pokiaľ ide o veci, ako sú spracovanie obrazu, digitálne spracovanie signálu a neskoré funkcie AI.

jablko

Spoločnosť Apple začala tlačiť svoje schopnosti AI v oznámení o páde telefónu, najmä vrátane čipu „A11 Bionic“, ktorý sa používa v telefónoch iPhone 8 a 8 Plus a iPhone X.

A11 Bionic je šesťjadrová architektúra s dvoma vysokovýkonnými a štyrmi účinnými jadrami. Apple navrhuje svoje vlastné jadrá (pod licenciou architektúry ARM) a tradične tlačil výkon s jedným vláknom. Toto je krok zo štvorjadrového jadra A10 Fusion a spoločnosť Apple uviedla, že výkonové jadrá v A11 sú až o 25 percent rýchlejšie ako v A10, zatiaľ čo štyri výkonové jadrá môžu byť až o 70 percent rýchlejšie ako čip A10 Fusion., Uviedla tiež, že grafický procesor je až o 30 percent rýchlejší.

Apple hovorí o tom, že čip má dvojjadrový „Neural Engine“, ktorý môže pomôcť s rozpoznaním scény v aplikácii fotoaparátu, a Face ID a Animoji na iPhone X. Spoločnosť tiež vydala API s názvom CoreML, ktoré pomáha tretím stranám vývojári vytvárajú aplikácie, ktoré to využívajú.

Apple zvyčajne neposkytuje veľa informácií o svojich procesoroch, ale hovorí, že neurónový motor A11 je dvojjadrový dizajn, ktorý dokáže spracovávať v reálnom čase až 600 miliárd operácií za sekundu.

Na rozdiel od väčšiny ostatných výrobcov procesorov spoločnosť Apple integruje modem do svojich aplikačných procesorov a namiesto toho používa samostatné modemy Qualcomm alebo Intel. Došlo k určitým sporom o tom, či spoločnosť Apple podporuje iba funkcie svojich modemov Qualcomm, ktoré podporuje aj spoločnosť Intel; v praxi to znamená, že telefóny iPhone podporujú agregáciu 3-smerných operátorov, ale nie niektoré z pokročilejších funkcií.

Huawei

Huawei bol tiež čoskoro na AI push a nazval svoj Kirin 970, ktorý oznámil na výstave IFA minulý rok na jeseň, „prvú mobilnú spracovateľskú jednotku AI na svete“. Kirin 970 sa teraz používa v Huawei Mate 10. Zahŕňa štyri procesorové jadrá Cortex-A73 s rýchlosťou až 2, 4 GHz a štyri A53 s rýchlosťou až 1, 8 GHz, spolu s GPU Mali G72 MP12 GPU.

Najmä nové v roku 970 je to, čo spoločnosť Huawei nazýva svoju NPU alebo jednotku neurálneho spracovania. Spoločnosť uviedla, že úlohy, ktoré môžu byť presunuté do tohto procesora, môžu vidieť 25-násobok výkonu a 50-násobok efektívnosti v porovnaní s úlohami bežiacimi na klastri CPU. Zameriava sa to najmä na rýchlejšie rozpoznávanie snímok a lepšiu fotografiu. Na výstave Huawei povedal, že telefón dokáže spracovať 1, 92 16-bit TeraFLOPs.

Kirin 970 má procesor s dvoma obrazovými signálmi, modem LTE kategórie 18 s agregáciou 5 nosných a MIMO 4-by-4, ktoré by mali umožniť maximálnu rýchlosť sťahovania 1, 2 Gbps.

Na mobilnom svetovom kongrese spoločnosť Huawei oznámila svoj prvý 5G modem, Balong 5G01, ktorý by podľa neho mal byť prvým 5G modemom. Zdá sa pravdepodobné, že niektoré budúce aplikačné procesory tiež prijmú tento modem, ale to ešte nebolo oznámené. Technicky všetky tieto produkty vytvára dcérska spoločnosť HiSilicon.

Qualcomm

Čip, ktorý sa v tomto roku pravdepodobne stane v jadre väčšiny vlajkových telefónov s Androidom v USA, je Snapdragon 845 od Qualcomm. Ide o inováciu Snapdragon 835, ktorá sa používala vo väčšine prémiových telefónov s Androidom v roku 2017 a ktorá sa už používa v severoamerické verzie Galaxy S9.

Rovnako ako u väčšiny ostatných dodávateľov, Qualcomm tlačí neurónové siete a AI ako jednu z najväčších oblastí vylepšenia tohtoročného čipu spolu so zvýšeným zameraním na „ponorenie“ - čo v podstate znamená lepšie zobrazovanie.

V oblasti AI Qualcomm rád hovorí o tom, že má viacjadrový neurónový procesor (NPE), ktorý používa novú verziu svojho Hexagon DSP, ako aj CPU a GPU na inferenciu.

Čip má procesor Hexagon 685 DSP, ktorý podľa Qualcomm dokáže viac ako zdvojnásobiť výkonnosť spracovania AI; procesor Kryo 385, ktorý uvádza, že poskytuje zvýšenie výkonu o 25 až 30 percent pre jeho výkonové jadrá (štyri jadrá ARM Cortex-A75 pracujúce pri frekvencii 2, 85 GHz) a až o 15 percent nárast pre svoje „výkonové jadrá“ (štyri Jadrá Cortex-A55 pracujúce až do 1, 8 GHz) so všetkými zdieľajúcimi vyrovnávaciu pamäť 2MB L3 a procesor GPU Adreno 630, ktorý podľa Qualcommu podporí zvýšenie výkonu o 30 percent alebo zníženie výkonu o 30 percent a až 2, 5-krát rýchlejšie displeje.

V oblasti AI čip podporuje veľké množstvo rôznych rámcov strojového učenia a spoločnosť tvrdí, že to funguje pre veci ako klasifikácia objektov, detekcia tváre, segmentácia scény, rozpoznávanie reproduktorov atď. Dve zvýraznené aplikácie sú živé efekty bokeh (na vytváranie portrétov s rozmazaným pozadím) a aktívneho snímania hĺbky a štruktúrovaného svetla, ktoré by malo umožniť lepšie rozpoznanie tváre. Presunutím konferencií z cloudu do zariadenia spoločnosť Qualcomm tvrdí, že získate výhody nízkej latencie, súkromia a zvýšenej spoľahlivosti.

V zobrazovacej oblasti má čip novú verziu produktu Spectra ISP od spoločnosti Qualcomm, vylepšené snímanie videa Ultra HD s redukciou šumu viacerých snímok, schopnosť snímať 16 megapixelové video rýchlosťou 60 snímok za sekundu a 720p pomalé video pri 480 snímkach snímok za sekundu. Pre VR podporuje 845 displeje s rozlíšením 2 000 x 2 K pri 120 snímkach za sekundu, čo je veľký krok z 1, 5 K na 1, 5 K pri 60 snímkach za sekundu podporovaných 835.

Medzi ďalšie vlastnosti patrí zabezpečená procesorová jednotka, ktorá používa svoje vlastné jadro na ukladanie bezpečnostných informácií mimo jadra a spolupracuje s procesorom TrustZone a procesorom Qualcomm.

845 integruje modem X20, ktorý spoločnosť Qualcomm uviedla v minulom roku a je schopná podporovať LTE kategóriu 18 (s rýchlosťami až 1, 2 Gbps), až 5 agregácie operátorov a 4X4 MIMO, a používa techniky ako napr. rýchlosti možné vo viacerých oblastiach.

Čip sa vyrába v procese Samsung s nízkou spotrebou energie 10 nm.

Qualcomm tiež vyrába radu aplikačných procesorov Snapdragon 600, ktorý vedie model 660, ktorý používajú mnohí čínski dodávatelia, vrátane spoločností Oppo a Vivo. Počas príprav na Svetový mobilný kongres predstavil rodinu Snapdragon 700, ktorá má mnoho rovnakých funkcií ako rodina 800, vrátane Hexagon DSP, Spectra ISP, Adreno graphics a Kryo CPU. V porovnaní so 660, Qualcomm tvrdí, že ponúkne 2x vylepšenie aplikácií AI na zariadení a 30 percentné zlepšenie energetickej účinnosti.

Samsung

Spoločnosť Samsung síce používa procesory Qualcomm na väčšine svojich severoamerických telefónov, ale na mnohých ďalších trhoch používa svoje vlastné procesory Exynos a začína ich sprístupňovať iným výrobcom telefónov.

Jej najnovšou špičkou je model Exynos 9810, ktorý spoločnosť Samsung použije v medzinárodných verziách Galaxy S9 a S9 +.

Spoločnosť Samsung opäť presadzuje nové funkcie pre „softvér založený na hlbokom učení“, ktorý podľa neho pomáha spracovateľovi presne identifikovať položky alebo osoby v telefónoch a podporuje hĺbkový zmysel pre rozpoznávanie tváre.

9810 je tiež osemjadrový čip, so štyrmi jadrami A55 pre energetickú účinnosť a štyrmi zvyčajnými návrhmi CPU pre výkon. Spoločnosť Samsung uvádza, že tieto nové jadrá, ktoré môžu bežať až do 2, 9 GHz, majú širší kanál a optimalizovanú vyrovnávaciu pamäť, vďaka čomu im v porovnaní s predchádzajúcim rokom v minulom roku 8895 poskytli dvojnásobný výkon jednojadrového výkonu a o 40 percent viacjadrového výkonu. (Zverejnené referenčné hodnoty ukazujú zlepšenie v skutočnom svete, ale nie toľko, ako sa tvrdilo; v tejto chvíli zostávam skeptický voči všetkým mobilným porovnávacím kritériám.)

Medzi ďalšie funkcie patrí grafika Mali-G72 MP18, podpora až 3840-by-2400 displejov a 4096-by-2160 displejov, procesor s duálnym obrazovým signálom (ISP) a podpora 4K snímania rýchlosťou 120 snímok za sekundu. Model 9810 má tiež modem kategórie 18 s agregáciou 6 nosičov a 4-by-4 MIMO pre downlink (2 CA pre uplink), s maximálnou rýchlosťou downlinku 1, 2 Gbps a nahrávaním 200 Mbs. Na papieri to zodpovedá modelom kategórie 18, ktoré majú Qualcomm aj Huawei vo svojich súčasných špičkových čipoch. Rovnako ako model Snapdragon 845 sa vyrába v procese 10nm FinFET od spoločnosti Samsung.

MediaTek

MediaTek bol skôr hráčom telefónov strednej triedy a nižšej kategórie a minulý mesiac predstavil nový čip s názvom Helio P60 zameraný na trh „New Premium“ - telefón strednej kategórie v rozmedzí 200 - 400 dolárov, ktorý ponúka všetky základné vlastnosti telefónov vyššej kategórie. Prvý telefón, ktorý oznámil, že použije tento čip, je Oppo R15.

Špičkovým procesorom spoločnosti, ktorý bol ohlásený minulý rok, je Helio X30, ktorý je dekádrovým procesorom zameraným na prémiové telefóny. Zahŕňa to dve procesorové jadrá ARM Cortex-A73 pracujúce pri rýchlosti až 2, 5 GHz, štyri jadrá Cortex-A53 pracujúce pri rýchlosti až 2, 2 GHz a štyri jadrá A35, ktoré môžu bežať pri rýchlosti až 1, 9 GHz, spolu s grafikou PowerVR série 7XT Plus spoločnosti Imagination na 800 GHz a LTE kategória 10 modem schopný agregácie 3 nosných na downlinku. Je to zaujímavý čip, ktorý sa vyrába na základe 10nm procesu TSMC, a presadzuje myšlienku, že viac jadier môže byť flexibilnejších. Medzi telefóny, ktoré boli ohlásené, že ich používajú, sú Meizu Pro 7 Plus s duálnymi obrazovkami a Vernee Apollo 2 (8MP predná kamera, 16MP + 13MP zadná kamera).

Minulý rok spoločnosť MediaTek oznámila dva procesory na strednom trhu, Helio P23 a P30, ktoré sú zamerané konkrétne na globálne trhy a na Čínu, pričom každý z nich má osem jadier Cortex-A53 s frekvenciou 2, 53 GHz a grafiku Mali G71 MP2. Jedná sa o čipy, ktoré P60 je navrhnutý tak, aby nahradil, a ponúkajú viac energie a umožňujú rad nových funkcií.

P60 ponúka vyšší výkon a je návratom k veľkému.LITTLE konfigurácii ARM a MediaTek tlačeným v predchádzajúcich rokoch, kombináciou štyroch výkonnejších ARM Cortex-A73 až do 2, 0 GHz so štyrmi z efektívnejších Cortex-A53 jadrá, tiež pri 2, 0 GHz. K nim sa pripája GPU ARM Mali G72 NMP3 až do 800 MHz a všetky sú riadené štvrtou verziou technológie CorePilot MediaTek na plánovanie, kde sa spúšťajú úlohy. V porovnaní s P23 a P30, MediaTek hovorí, že P60 ponúka 70-percentné zvýšenie výkonu v procesoch CPU aj GPU.

MediaTek sa tiež dostáva do rozbehnutého vlaku AI s modelom P60 vrátane platformy NeuroPilot pre hardvérovú akceleráciu neurónovej siete. Podporuje to neurónovú sieť Google Android (NN) a bežné rámce AI vrátane TensorFlow, TensorFlow Lite, Caffe a Caffe 2. Toto je skutočne špecializovaný procesor digitálneho signálu schopný 280 GMAC (miliardy operácií hromadenia sa za sekundu). Je navrhnutý na použitie pri veciach, ako je napríklad rozpoznávanie tváre, na odomknutie telefónu (niečo, čo sme doteraz videli v telefónoch vyššej kategórie, ale zatiaľ nie v telefónoch strednej triedy), a rozpoznávanie objektov, dokonca aj vo videách, rýchlosťou 60 snímok za sekundu.

Okrem toho má P60 množstvo nových obrazových funkcií, vrátane troch procesorov obrazových snímačov, ktoré môžu podporovať konfiguráciu duálnych kamier 16 a 20 MP senzorov alebo jednu kameru až do 32 MP. (Zatiaľ som ešte nevidel telefón vo výrobe s kamerovým senzorom s toľkými megapixelov, ale pravdepodobne prichádzajú.) Tieto senzory pridávajú funkcie redukcie šumu spolu s bokehom v reálnom čase (rozmazanie pozadia používaného v režimoch na výšku), Čip obsahuje modem, ktorý podporuje sťahovanie kategórie 7 (do 300 Mbps) a nahrávanie kategórie 13 (až 150 Mbps s agregáciou 2 operátorov). Vyrába sa na základe 12nm procesu FinFet spoločnosti TSMC, ktorý podľa spoločnosti pomáha dosiahnuť 25-percentnú úsporu energie pre aplikácie náročné na energiu, ako sú hry, a celkovo 12-percentnú úsporu energie.

Spreadtrum Communications

Spoločnosť Spreadtrum, ktorá vyrába modemy väčšinou predávané na čínskom trhu, oznámila partnerstvo so spoločnosťou Intel, ktorá bude využívať 5G modem Intel a procesory kompatibilné s ARM. Je to ešte pár rokov, takže detaily ešte nie sú k dispozícii.

Všimnite si, že zatiaľ čo Spreadtrum nie je v USA veľmi viditeľný, na obchodnom trhu aplikačných procesorov sleduje iba Qualcomm a MediaTek. Väčšinou predáva produkty s procesormi ARM a vlastným 4G modemom, ale má dohodu a spoločnosť Intel je v menšinovom vlastníctve. Výsledkom je čip s procesormi Intel a modemom Spreadtrum (opak oproti novému oznámeniu).

ARM

Samozrejme, nie sú to len výrobcovia čipov, ktorí vidia AI ako ďalšiu veľkú vlnu, a spoločnosti, ktoré robia IP, tiež robia veľký tlak v tejto oblasti.

ARM, najúspešnejší z výrobcov IP, minulý mesiac ohlásil balík IP pre strojové učenie, vrátane hardvéru a softvéru, a poslal to na Mobile World Congress.

Projekt Trillium s názvom Project Trillium, ktorý zahŕňa návrhy procesorov (IP) pre strojové učenie (ML) a detekciu objektov (OD), spolu s novou softvérovou knižnicou.

Procesor ML je navrhnutý tak, aby sedel v aplikačnom procesore a bežal vedľa CPU, GPU a zobrazovacieho jadra. Softvérová knižnica, ktorá je známa ako ARM NN (neurónová sieť), je navrhnutá tak, aby podporovala rámce ako TensorFlow, Caffe a Android NN. To umožňuje týmto aplikáciám spúšťať softvér samotný na existujúcich procesoroch, ktoré majú procesor ARM a grafiku; hoci to samozrejme bude značne urýchlené, keď bude bežať na procesoroch, ktoré zahŕňajú ML jadrá. Softvér tretích strán bude tiež pracovať na jadre procesora. ARM tvrdí, že jadro ML bolo navrhnuté od základov špeciálne pre chod neurónových sietí. Môže bežať ako 8, tak 16-bitové aplikácie, hoci trendom je jednoduchosť zamerať sa na 8-bitové aplikácie.

Procesor OD je navrhnutý tak, aby sedel vedľa obrazového signalizačného procesora (ISP), aby poskytoval detekciu objektov s nízkou spotrebou energie, konkrétne pre aplikácie, ako je detekcia tváre a sledovanie pohybu. Jedná sa o vyhradený hardvérový blok navrhnutý na použitie s novými senzorovými technológiami, ako sú napríklad stereoskopické kamery.

ARM uviedol, že nová IP bude dostupná pre náhľad vývojárov v apríli a bude všeobecne dostupná koncom tohto roka, ale vzhľadom na typický časový cyklus je nepravdepodobné, že by sa nové procesorové jadrá objavili v čipoch až do roku 2019 alebo neskôr. Softvér, ktorý pracuje na existujúcich jadrách, by sa samozrejme mohol nasadiť oveľa skôr.

ARM tiež presadzovala niektoré nové riešenia pre internet vecí, vrátane nového riešenia SIM s názvom Kigen, ktoré bolo navrhnuté tak, aby bolo zabudované do SoC pre zariadenia s nízkou spotrebou, ktoré nahradia dnešné fyzické karty SIM.

Imaginačné technológie

Predstavivosť, známa svojou grafikou PowerVR, minulý rok na jeseň oznámila svoju IP adresu neurónovej siete - PowerVR 2NX Neural Network Acceleration (NNA). Je to flexibilná architektúra s jedným až ôsmimi jadrami, z ktorých každé môže obsahovať 256 8-bitových jednotiek hromadného hromadenia (MAC). Predstavivosť hovorí, že dokáže vykonať viac ako 3, 2 bilióna operácií za sekundu.

Ceva

Na trh sa dostávajú aj ďalší predajcovia IP. Ceva, ktorá je známa svojimi DSP jadrami, práve oznámila NeuPro, rodinu jadier procesorov AI určených pre okrajové zariadenia. Tieto stavajú na procesoroch, ktoré firma predala v oblasti počítačového videnia, a využívajú rámec CDNN na rôzne „procesy AI“. Bude to fungovať s bežnými rámcami strojového učenia a prevádzať ich tak, aby bežali na mobilných procesoroch na inferenciu. Spoločnosť plánuje procesory v rozsahu od 2 do 12, 5 teraopov za sekundu (TOPS) určené pre spotrebiteľské, sledovacie a ADAS produkty (pre autonómne vozidlá). Ceva povedal, že jeden z hlavných automobilových zákazníkov plánuje umožniť 100 TOPS výkonu pri spotrebe energie menej ako 10 wattov. Licencie sa začnú v druhej polovici tohto roka.

Ceva tiež oznámila svoju platformu DSP PentaG pre modemy základného pásma 5G. Spoločnosť tvrdí, že jej súčasné DSP sú v 40 percentách svetových telefónov a pokrývajú približne 900 miliónov telefónov ročne av modemy od spoločností Intel, Samsung a Spreadtrum. Nová platforma má viac inteligencie, ktorá sa používa najmä na „prispôsobenie prepojenia“. Vo svete 5G môžu mať telefóny viac liniek k základňovej stanici a spoločnosť Ceva tvrdí, že jej hardvér a softvér pomáha určiť najlepšie spojenie každých pár milisekúnd. V porovnaní so samotným softvérom to môže ušetriť veľa energie. Toto nie je univerzálny DSP alebo neurónový sieťový čip, ale skôr ten, ktorý je navrhnutý špeciálne pre komunikáciu. Bolo to ohlásené a malo by byť k dispozícii v treťom štvrťroku.

Ceva tiež robí veľký tlak na DSP na trhu 5G základňových staníc a uviedla, že až 50 percent novej 5G novej rádiovej infraštruktúry bude využívať spoločnosť DSP IP spoločnosti, vrátane systémov od Nokia a ZTE.

Aká je pravdepodobnosť, že odporučíte PCMag.com?