Umelá inteligencia má problém so zaujatosťou a je to naša chyba

V roku 2016 vedci z Bostonskej univerzity a spoločnosti Microsoft pracovali na algoritmoch umelej inteligencie, keď objavili rasistické a sexistické tendencie v technológii, z ktorej vychádzajú niektoré z najpopulárnejších a najdôležitejších služieb, ktoré každý deň používame. Zjavenie bolo proti konvenčnej múdrosti, že umelá inteligencia netrpí rodovými, rasovými a kultúrnymi predsudkami, ktoré my ľudia robíme.

Vedci urobili tento objav pri štúdiu algoritmov vkladania slov, čo je typ umelej inteligencie, ktorý nájde korelácie a asociácie medzi rôznymi slovami analýzou veľkých častí textu. Napríklad vyškolený algoritmus vkladania slov môže pochopiť, že slová pre kvety úzko súvisia s príjemnými pocitmi. Na praktickejšej úrovni vkladanie slov chápe, že výraz „počítačové programovanie“ úzko súvisí s „C ++“, „JavaScript“ a „objektovo orientovanou analýzou a návrhom“. Keď je táto funkcia integrovaná do aplikácie na obnovenie skenovania, umožňuje zamestnávateľom nájsť kvalifikovaných kandidátov s menším úsilím. Vo vyhľadávačoch môže poskytnúť lepšie výsledky tým, že ponúkne obsah, ktorý sémanticky súvisí s hľadaným výrazom.

Vedci BU a Microsoftu zistili, že algoritmy vkladania slov majú problémové zaujatosti - napríklad spájanie „počítačového programátora“ s mužskými zámenami a „domáce ženy“ so ženskými. Ich zistenia, ktoré publikovali vo výskumnom dokumente vhodne nazvanom „Človek je počítačovým programátorom ako žena je v domácnosti“? bola jednou z niekoľkých správ, ktorá odhalila mýtus neutrality AI a objasnila algoritmickú zaujatosť, jav, ktorý dosahuje kritické rozmery, pretože algoritmy sa stále viac zapájajú do našich každodenných rozhodnutí.

Počiatky algoritmického skreslenia

Algoritmy strojového učenia a hlbokého učenia sú základom najmodernejšieho softvéru poháňaného AI. Na rozdiel od tradičného softvéru, ktorý pracuje na základe preddefinovaných a overiteľných pravidiel, si hlboké vzdelávanie vytvára vlastné pravidlá a učí sa príkladom.

Napríklad na vytvorenie aplikácie na rozpoznávanie obrázkov založenej na hlbokom učení, programátori „zaškolia“ algoritmus tak, že ho doplnia označenými údajmi: v tomto prípade fotografie označené názvom objektu, ktorý obsahujú. Akonáhle algoritmus preverí dostatok príkladov, môže zhromaždiť bežné vzorce medzi podobne označenými údajmi a použiť tieto informácie na klasifikáciu neoznačených vzoriek.

Tento mechanizmus umožňuje hĺbkové učenie vykonávať mnoho úloh, ktoré boli prakticky nemožné so softvérom založeným na pravidlách. Znamená to však aj to, že softvér na hlboké vzdelávanie môže zdediť skryté alebo zjavné predpojatosti.

„Algoritmy umelej inteligencie nie sú zo svojej podstaty neobjektívne, “ hovorí profesor Venkatesh Saligrama, ktorý vyučuje na Katedre elektrotechniky a počítačového inžinierstva na Bostonskej univerzite a pracoval na algoritmoch vkladania slov. „Majú deterministickú funkčnosť a zachytia všetky tendencie, ktoré už existujú v údajoch, ktoré trénujú.“

Algoritmy vkladania slov testované výskumníkmi z Bostonskej univerzity boli vyškolené na stovkách tisícov článkov z Google News, Wikipedia a ďalších online zdrojov, v ktorých sú sociálne predsudky hlboko zakorenené. Ako príklad možno uviesť, že kvôli technickej kultúre dominujú mužské mená častejšie mužské mená s úlohami súvisiacimi s technológiami, čo vedie k algoritmom, ktoré mužov spájajú s úlohami, ako je programovanie a softvérové ​​inžinierstvo.

„Algoritmy nemajú silu ľudskej mysle, aby odlíšili právo od zlého, “ dodáva Tolga Bolukbasi, doktorandka posledného ročníka na BU. Ľudia dokážu posúdiť morálku nášho konania, aj keď sa rozhodneme konať proti etickým normám. Ale pre algoritmy sú údaje rozhodujúcim určujúcim faktorom.

Saligrama a Bolukbasi neboli prví, ktorí vzniesli poplach o tomto zaujatosti. Vedci z IBM, Microsoft a University of Toronto zdôraznili potrebu zabrániť algoritmickej diskriminácii v dokumente uverejnenom v roku 2011. V tom čase bola algoritmická zaujatosť esoterickým problémom a hlboké vzdelávanie sa stále nedostalo do hlavného prúdu. Dnes však algoritmická zaujatosť zanecháva stopy v mnohých veciach, ktoré robíme, ako napríklad čítanie správ, hľadanie priateľov, nakupovanie online a sledovanie videí na serveroch Netflix a YouTube.

Dopad algoritmického skreslenia

V roku 2015 sa spoločnosť Google musela ospravedlniť po tom, ako algoritmy poháňajúce jej aplikáciu Fotky označili dvoch čiernych ľudí ako gorily - možno preto, že v jej školiacom súbore údajov nebolo dostatok obrázkov čiernych ľudí. V roku 2016 bolo zo 44 víťazov v súťaži krásy posudzovaných AI takmer všetko biele, málo ázijských a iba jedna mala tmavú pokožku. Opäť bolo dôvodom, že algoritmus bol väčšinou trénovaný s fotografiami bielych ľudí.

Fotky Google, všetci ste v prdeli. Môj priateľ nie je gorila. pic.twitter.com/SMkMCsNVX4

- jackyalciné na to veľa nereaguje. DM (@ jackyalcine) 29. júna 2015

V poslednom čase test služieb na analýzu tváre od IBM a Microsoft zistil, že algoritmy spoločností boli takmer bezchybné pri zisťovaní pohlavia mužov so svetlou pokožkou, ale často sa pri prezentácii s obrázkami žien s tmavou pokožkou často mýlili.

Aj keď tieto incidenty pravdepodobne spôsobili zanedbateľné škody, to isté sa nedá povedať o algoritmoch AI v kritickejších oblastiach, ako sú zdravotníctvo, presadzovanie práva a nábor. V roku 2016 sa pri prieskume spoločnosti ProPublica zistilo, že spoločnosť COMPAS - softvér riadený AI, ktorý hodnotí riziko recidívy u páchateľov - bol zaujatý voči ľuďom farby. Tento objav sa týkal najmä toho, že sudcovia v niektorých štátoch používajú spoločnosť COMPAS na určenie, kto chodí slobodne a kto zostáva vo väzení.

V inom prípade štúdia reklamnej platformy spoločnosti Google, ktorá je založená na algoritmoch hlbokého učenia, zistila, že muži sa častejšie zobrazovali reklamy na vysoko platené pracovné miesta ako ženy. Samostatná štúdia zistila podobný problém s reklamami na prácu na LinkedIn. Ešte ďalší ukázal, že algoritmy neobjektívneho zamestnávania boli o 50 percent pravdepodobnejšie, že pozvú na pohovor osobe, ktorej meno bolo európsko-americké, ako niekomu s africko-americkým menom.

Podobným hrozbám čelia oblasti, ako je schvaľovanie pôžičiek, úverový rating a štipendium.

Algoritmická zaujatosť je ďalej znepokojujúca kvôli tomu, ako by mohla zosilniť spoločenské zaujatosti. Pri ilúzii, že AI je studená, matematický výpočet bez predsudkov alebo zaujatosti, môžu mať ľudia tendenciu dôverovať algoritmickému úsudku bez toho, aby to spochybňovali.

V rozhovore pre Wired UK prednášateľ kriminológie na University of Napier v Londýne Andrew Wooff poznamenal, že „časom tlačený, na zdroje závislý“ svet policajtov by mohol spôsobiť, že sa úradníci činní v trestnom konaní príliš spoliehajú na algoritmické rozhodnutia. „Dokážem si predstaviť situáciu, keď by sa policajný dôstojník mohol viac spoliehať na systém ako na svoje vlastné rozhodovacie procesy, “ uviedol. „Čiastočne by to mohlo byť také, aby ste mohli zdôvodniť rozhodnutie, keď sa niečo pokazí.“

Spoliehanie sa na skreslené algoritmy vytvára spätnú väzbu: Robíme rozhodnutia, ktoré vytvárajú viac skreslených údajov, ktoré algoritmy potom budú analyzovať a trénovať v budúcnosti.

Tento druh sa už deje na sociálnych sieťach, ako sú Facebook a Twitter. Algoritmy prevádzkujúce informačné kanály vytvárajú „filtračné bubliny“, ktoré zobrazujú obsah, ktorý vyhovuje preferenciám a zaujatostiam používateľov. To ich môže urobiť menej tolerantnými voči opozičným názorom a môže tiež ďalej polarizovať spoločnosť tým, že vedie klin prostredníctvom politického a sociálneho rozdelenia.

„Algoritmická zaujatosť by mohla mať dopad na akúkoľvek skupinu, “ hovorí Jenn Wortman Vaughan, vedecká pracovníčka spoločnosti Microsoft. „Skupiny, ktoré sú v údajoch nedostatočne zastúpené, môžu byť obzvlášť ohrozené.“

V doménach, ktoré sú už známe pre zaujatosť, ako je napríklad endemická diskriminácia žien v priemysle, algoritmy umelej inteligencie môžu zvýrazniť tieto predpojatosti a viesť k ďalšej marginalizácii skupín, ktoré nie sú dobre zastúpené.

Zdravie je ďalšou kritickou doménou, zdôrazňuje Wortman. „Mohlo by to spôsobiť vážne problémy, ak sa algoritmus strojového učenia, ktorý sa používa na lekársku diagnostiku, vyškolí na údaje z jednej populácie a v dôsledku toho na iných nebude fungovať dobre, “ hovorí.

Predpojatosť môže byť škodlivá aj jemnejšie. „Minulý rok som plánoval vziať svoju dcéru na strih a hľadal som online obrázky„ účesov pre batoľatá “pre inšpiráciu, “ hovorí Wortman. Vrátené obrázky však boli takmer všetky biele deti, predovšetkým s rovnými vlasmi, a čo je prekvapujúce, predovšetkým chlapci, všimla si.

Odborníci označujú tento jav za „reprezentatívnu ujmu“: keď technológia posilňuje stereotypy alebo zmenšuje konkrétne skupiny. „Je ťažké vyčísliť alebo zmerať presný dopad tohto druhu zaujatosti, ale to neznamená, že to nie je dôležité, “ hovorí Wortman.

Odstránenie skreslenia z algoritmov AI

Stále kritickejšie dôsledky zaujatosti umelej inteligencie pritiahli pozornosť niekoľkých organizácií a vládnych orgánov a podnikajú sa určité pozitívne kroky na riešenie etických a sociálnych otázok súvisiacich s využívaním umelej inteligencie v rôznych oblastiach.

Spoločnosť Microsoft, ktorej produkty sa silne spoliehajú na algoritmy AI, začala pred tromi rokmi výskumný projekt s názvom Spravodlivosť, zodpovednosť, transparentnosť a etika v AI (FATE), ktorého cieľom je umožniť používateľom využívať vylepšené informácie a efektívnosť služieb založených na AI bez diskriminácie a bias.

V niektorých prípadoch, napríklad v súťaži krásy určenej AI, môže byť nájdenie a oprava zdroja neobjektívneho správania algoritmu AI rovnako jednoduché ako kontrola a zmena fotografií v súbore údajov o školení. Ale v iných prípadoch, ako sú algoritmy vkladania slov, ktoré skúmali vedci z University of Boston, je zaujatosť v údajoch o školení zakorenená jemnejšie.

Tím BU, ku ktorému sa pripojil výskumný pracovník spoločnosti Microsoft Adam Kalai, vyvinul metódu na klasifikáciu vkladania slov na základe ich rodovej kategorizácie a identifikáciu analógií, ktoré boli potenciálne neobjektívne. Neurobili však konečné rozhodnutie a každé podozrivé združenie by viedlo 10 ľudí na internetovom trhu spoločnosti Amazon na trhu s úlohami súvisiacimi s údajmi, ktorí by rozhodli, či bude asociácia odstránená alebo nie.

„Nechceli sme do procesu vložiť svoje vlastné predsudky, “ hovorí Saligrama, profesorka a vedkyňa BU. "Práve sme poskytli nástroje na objavenie problematických združení. Ľudia sa konečne rozhodli."

V novšom článku Kalai a ďalší vedci navrhli použitie samostatných algoritmov na klasifikáciu rôznych skupín ľudí namiesto použitia rovnakých opatrení pre všetkých. Táto metóda sa môže ukázať ako účinná v doménach, kde sú už existujúce údaje ovplyvnené v prospech konkrétnej skupiny. Napríklad algoritmy, ktoré by hodnotili ženy uchádzajúce sa o programovacie zamestnanie, by namiesto použitia širšieho súboru údajov, ktoré sú hlboko ovplyvnené existujúcimi predsudkami, používali kritériá, ktoré sú pre túto skupinu najvhodnejšie.

Microsoft Wortman vidí inkluzívnosť v priemysle AI ako nevyhnutný krok v boji proti zaujatosti v algoritmoch. „Ak chceme, aby naše systémy AI boli užitočné pre všetkých a nielen pre určité demografické údaje, potom spoločnosti musia najímať rôzne tímy, aby pracovali na AI, “ hovorí.

V roku 2006 pomohol Wortman založiť program Ženy vo strojovom vzdelávaní (WiML), ktorý organizuje každoročný seminár, na ktorom sa ženy, ktoré študujú a pracujú v priemysle AI, môžu stretávať, sieťovať, vymieňať si nápady a zúčastňovať sa panelových diskusií so staršími ženami v priemysle a akademickej obci. Podobným úsilím je nový workshop Black in AI Workshop, ktorý založil Timnit Gebru, ďalší výskumný pracovník spoločnosti Microsoft, ktorého cieľom je budovať rozmanitejšie talenty v umelej inteligencii.

Bolukbasi z Bostonskej univerzity tiež navrhuje zmeniť spôsob, akým algoritmy AI riešia problémy. „Algoritmy si vyberú množinu pravidiel, ktorá maximalizuje ich cieľ. Môže existovať veľa spôsobov, ako dosiahnuť rovnakú množinu záverov pre dané páry vstupov a výstupov, “ hovorí. „Urobte príklad testov na výber u ľudí. Jeden môže dosiahnuť správnu odpoveď pomocou nesprávneho myslenia, ale napriek tomu môže mať rovnaké skóre. Kvalitný test by mal byť navrhnutý tak, aby minimalizoval tento účinok a umožňoval iba ľuďom, ktorí skutočne poznať subjekt, aby získal správne skóre.Uvedenie algoritmov o sociálnych obmedzeniach sa dá považovať za analógiu k tomuto príkladu (aj keď nie presnému), v ktorom sa za cieľ trestá učenie nesprávneho súboru pravidiel. Ide o prebiehajúci a náročný výskum. tému."

Nepriehľadnosť AI komplikuje spravodlivosť

Ďalšou výzvou, ktorá stojí v ceste spravodlivejšiemu dosiahnutiu algoritmov AI, je jav „čiernej skrinky“. V mnohých prípadoch spoločnosti žiarlivo strážia svoje algoritmy: Napríklad spoločnosť Northpointe Inc., výrobca softvéru COMPAS, ktorý predpovedá trestné činy, odmietla zverejniť svoj proprietárny algoritmus. Jedinými ľuďmi, ktorí sa zasadzujú o vnútorné fungovanie spoločnosti COMPAS, sú jej programátori, nie sudcovia, ktorí ju používajú na vynášanie rozsudku.

Okrem podnikového tajomstva sa algoritmy umelej inteligencie niekedy stávajú tak spletenými, že dôvody a mechanizmy, na ktorých sa zakladajú ich rozhodnutia, unikajú dokonca aj ich tvorcom. V Spojenom kráľovstve používa polícia Durham systém AI HART na zistenie, či podozrivé osoby majú v priebehu dvojročného obdobia nízke, stredné alebo vysoké riziko spáchania ďalších trestných činov. Akademické hodnotenie HART v roku 2017 však zistilo, že „opacity sa zdá byť ťažké sa vyhnúť“. Čiastočne je to kvôli veľkému množstvu a rôznorodosti údajov, ktoré systém používa, čo sťažuje analýzu príčin jeho rozhodnutí. „Tieto podrobnosti by sa mohli voľne sprístupniť verejnosti, ale na úplné porozumenie by si vyžadovalo obrovské množstvo času a úsilia, “ uvádza sa v dokumente.

Niekoľko spoločností a organizácií sa usiluje o zvýšenie transparentnosti v umelej inteligencii, vrátane spoločnosti Google, ktorá zaviedla GlassBox, iniciatívu zameranú na lepšie pochopenie správania algoritmov strojového učenia bez obetovania kvality výstupu. Agentúra pre obranné výskumné projekty (DARPA), ktorá dohliada na používanie AI v armáde, tiež financuje úsilie, aby algoritmy AI mohli vysvetliť svoje rozhodnutia.

V iných prípadoch bude pri riešení zaujatosti rozhodujúci ľudský úsudok. Aby zabránil prenikaniu existujúcich rasových a sociálnych ľudských zaujatostí do algoritmov HART, poskytol Durham Constabulary členom svojich zamestnancov informačné stretnutia okolo podvedomia v bezvedomí. Polícia tiež podnikla kroky na odstránenie dátových bodov, ako sú rasové črty, čo by mohlo byť dôvodom na skreslené rozhodnutia.

Ľudská zodpovednosť

Z iného hľadiska môžu algoritmy AI poskytnúť príležitosť zamyslieť sa nad našimi predsudkami a predsudkami. „Svet je neobjektívny, historické údaje sú neobjektívne, a preto nie je prekvapujúce, že dostávame neobjektívne výsledky, “ povedala The Guardian Sandra Wachterová, výskumníčka v oblasti etiky a algoritmov údajov na Oxfordskej univerzite.

Wachter je súčasťou výskumného tímu Alan Turing Institute v Londýne a University of Oxford, ktorý uverejnil dokument vyzývajúci na nariadenia a inštitúcie, aby preskúmali možnú diskrimináciu pomocou algoritmov AI.

Joanna Bryson, počítačová vedkyňa univerzity v Bath a spoluautorka výskumnej práce o algoritmickom skreslení, tiež povedala: „Mnoho ľudí hovorí, že ukazuje, že AI je poškodená. sú predsudky a AI sa to učí. ““

V roku 2016 spoločnosť Microsoft uviedla na trh Tay, Twitter robota, ktorý sa mal učiť od ľudí a zapájať sa do inteligentných rozhovorov. Ale do 24 hodín od uvedenia spoločnosti Tay na trh ju spoločnosť Microsoft musela vypnúť, keď začala chrípať rasistické komentáre, ktoré zdvihla zo svojich rozhovorov s používateľmi Twitteru. Možno je to pripomenutie, že je minulosť, že my ľudia uznávame svoju vlastnú úlohu pri zjavení a šírení javu algoritmického zaujatosti a podnikáme spoločné kroky na odstránenie jeho účinkov.

„Je to veľmi komplikovaná úloha, ale je to zodpovednosť, ktorej by sme sa my ako spoločnosť nemali vyhýbať, “ hovorí Wachter.