Ibm Watson pomáha študentom vysokých škôl učiť sa mandarínky

Univerzity prešli dlhou cestou v jazykových štúdiách, presahujúc iba tradičné triedy v prednáškovej sále a prednastavené hodiny bez interakcie. Teraz majú študenti prístup k technológiám, ako je umelá inteligencia (AI) a spracovanie prirodzeného jazyka (NLP) v pôsobivom učebnom prostredí. To sa deje v laboratóriu kognitívnych a pohlcujúcich systémov (CISL) na Troy v New Yorku, v areáli Rensselaer Polytechnic Institute (RPI). Práve tu sa inštitút spojil s výskumom IBM Research s cieľom vytvoriť technológiu pre šesťtýždňový letný kurz, v ktorom študenti spolupracujú s agentmi AI v prostrediach, ktoré zahŕňajú pouličné trhy a reštaurácie.

Kurz s názvom „AI-Assisted Immersive Chinese“ je vybavený 360-stupňovým panoramatickým zobrazovacím systémom počítačom generovaných scén v laboratóriu Cognitive Immersive Room (CIR), ktoré sa tiež nazýva „Situačná miestnosť“. Virtuálne scény sa konajú v Číne. Študenti sa rozprávajú s avatarmi, ktoré sú poháňané programom Watson Assistant, a opravia ich reč a výslovnosť. V CIR študenti používajú konverzačnú umelú inteligenciu, naratívnu generáciu, uvedomenie si priestorového kontextu a techniku ​​rozpoznávania gest a tváre.

CIR je príkladom rozmanitosti možností pre IBM Watson v rôznych odvetviach okrem vzdelávania. Tieto odvetvia zahŕňajú poľnohospodárstvo, ľudské zdroje (HR) a riadenie flotily.

V RPI, okrem asistenta Watsona, používajú študenti vo svojich štúdiách aj Watson Speech to Text, Watson Text to Speech a Language Translator.

Študenti sa učia Mandarin pomocou AI v areáli RPI. (Obrazový kredit: IBM Research / RPI)

Aktívne vzdelávacie skúsenosti

Pre Juliana Wonga, mladšieho v RPI, bol pohlcujúci zážitok z umelej inteligencie príťažlivým spôsobom, ako sa naučiť Mandarina, pretože mu to dáva aktívnejší spôsob, ako sa učiť. Pretože Mandarin je tónový jazyk, v ktorom zmena výšky tónu môže zmeniť význam slov, avatary v skúsenosti s AI poskytujú spätnú väzbu o tóne, aby sa ubezpečili, že Wong a ostatní študenti správne vyjadrujú výslovnosť.

Práca s AI v CIR poskytuje peknú rovnováhu s bežným časom v triede, podľa Wonga. „Stretnutie s počítačom… rozhodne pomáha pri mnohých aspektoch výučby jazyka, najmä pri verbálnych schopnostiach, “ povedal Wong.

Wongova trieda Mandarin sa stretáva štyrikrát týždenne. V pondelok a piatok navštevuje triedu v tradičnej triede s docentom Heleny Zhouovej na RPI. Tam sa učí novú slovnú zásobu a dostane úvod do fráz a gramatických štruktúr. V utorok a štvrtok sa trieda stretne v CIR, kde študenti vedú rozhovory s virtuálnymi agentmi. V prostredí reštaurácie Wong povedal, že študenti môžu prejsť celým procesom sedenia v reštaurácii, pri pohľade na menu, objednávaní jedla, rozhovore s čašníkom o tom, ako sa jedlo pripravuje, a zaplatení faktúry. K ďalším prostrediam patrí záhrada, trh a školský areál.

Trieda Mandarin v ponornej triede sa líši od tradičného prostredia, pretože podľa Zhou poskytuje multimodálny zážitok z jazyka a videa. Povedala, že tradičná trieda bude menej pohlcujúca a interaktívnejšia. "V simulácii v pohlcujúcej triede máme dvoch agentov, ktorí spolu bojujú a snažia sa presvedčiť študentov, aby si produkt kúpili, " uviedol Zhou. „Študenti by teda radšej rozumeli osobnou skúsenosťou než sledovaním videí alebo počúvaním prednášok. Verím, že kultúru vyzdvihnú ľahšie, než len učením sa z učebníc alebo počúvaním pások.“

V CIR študenti robia kvízy súvisiace so scénami, s ktorými interagovali, a zdvihnú ruky, aby dali odpovede. Techniky počítačového videnia z kamier v miestnosti zachytávajú ich gestá. Asistent AI dá kvíz súvisiaci so scénou a študenti musia odpovedať frázou v čínštine.

„Ak si chcete vybrať jedno z automaticky otváraných okien, ktoré je na obrazovke, môžete natiahnuť ruku, otvorenú dlaň a potom ruku zatvoriť, “ vysvetlil Wong. „Vyberiete si, na ktorom mieste je kurzor. Ak máte malé kvízy, ak viete, aká je správna odpoveď, môžete presunúť ruku k znakom, ktoré chcete vybrať, a potom ich zatvorte rukou, aby ste ich vybrali. dá vám vedieť, či máte pravdu alebo nie. ““

Virtuálny agent rozumie študentom väčšinu času, s výnimkou prípadov, keď nemusia mať mikrofón blízko úst. Systém má rôzne nastavenia rozpoznávania hlasu, ktoré vyzdvihujú študentov, ak sú mimo výslovnosti. Poskytuje tiež okamžitú spätnú väzbu v rozhovore, ak nemáte profesora. Študenti triedy Mandarin vo svojom voľnom čase navštívia webovú stránku, kde si môžu vyskúšať hlasové klipy.

Skvelou vlastnosťou pohlcujúceho zážitku v RPI je uvedomenie si priestorového kontextu, v ktorom môže viacero virtuálnych agentov na obrazovke povedať, s kým z nich ste v kontakte s očami. „Ak povieš niečo, keď sa pozeráš na jedného agenta, potom ten agent zareaguje a nie ten druhý, “ povedal Wong.

Študent používa techniku ​​rozpoznávania gesta a tváre IBM Watson ako súčasť triedy Mandarin na RPI. (Obrazový kredit: IBM Research / RPI )

Ako sa vyvíjal pohlcujúci zážitok

Pohlcujúci zážitok prišiel do RPI bol vytvorený stretnutím profesorov jazykov a herných dizajnérov, aby prediskutovali lepší spôsob výučby jazyka. Podľa Hui Su, ktorý je zároveň riaditeľom kognitívnej používateľskej skúsenosti v IBM Research a riaditeľom CISL, sa plán na vývoj hry na hrdinov čoskoro dostal do diskusie o tom, ako učiť Mandarín prostredníctvom simulácie reálnych scenárov. IBM a RPI začali kurz rozvíjať koncom roka 2015 a v tom čase založili spoločné laboratórium. CISL sa potom formoval čoskoro potom.

"Účelom laboratória je vybudovať kognitívne a pohlcujúce prostredie na zlepšenie skupinových aktivít, na zvýšenie inteligencie skupiny v kontexte učenia a rozhodovania, " povedal Su. „Zameriavame sa aj na budovanie kognitívnych pohlcujúcich zasadacích miestností… pozerať sa na údaje o kritickej situácii a snažiť sa dať zmysel informáciám a vytvoriť rozhodnutia alebo odporúčania pre tvorcov rozhodnutí.“

Ako súčasť programu výučby jazykov AI, IBM a RPI experimentujú s analýzou rozstupov tónov. Su opísal, ako táto technológia funguje. „Keď hovoríte slabikou, keď vyslovujete slabiku, základná technológia zachytí hlas a vytvorí vizuálny obrys toho, ako túto slabiku vyslovíte, “ povedal Su. „Potom použije tento vizuálny obrys a porovná tento vizuálny obrys s vizuálnym obrysom hovoriaceho rodného hovorcu.“

Študenti potom môžu upraviť svoju výslovnosť tak, aby dosiahli správny tón. Naučia sa, že potrebujú zmeniť výslovnosť určitých slabík. S vedomosťami, ktoré študenti získajú učením mandarínky v pohlcujúcej triede pomocou technológie Watson, budú mať väčšiu dôveru v reálny život, hovorí Su.

"Celá myšlienka je poskytnúť dostatok kultúrneho kontextu prostredníctvom nášho pohlcujúceho prostredia a technológie AI, aby mohli študenti praktizovať cvičenie, " povedal Su. "Nebudú sa teda báť ako hovoriť s ľuďmi v skutočnom živote."

Študent cvičí mandarínu vo virtuálnom prostredí reštaurácie pomocou technológie IBM Watson. (Obrazový kredit: IBM Research / RPI )

Most medzi technickým priemyslom a akademickou obcou

IBM a RPI sú schopné vybudovať most medzi výskumníkmi IBM a členmi fakulty, pričom IBM vkladá výskumného pracovníka do kampusu, a to Su. Medzitým Zhou, profesor triedy na RPI, poskytuje spätnú väzbu dizajnérom, používateľom a učiteľom, ako zlepšiť pohlcujúci zážitok v triede.

„Musím im dať okamžitú spätnú väzbu na ladenie alebo vylepšenie dizajnu, aby sme študentom mohli ponúknuť prirodzenejšiu triedu, “ povedal Zhou. "Takže je tu veľa práce, ale stojí to za to."

Budúcnosť jazykového vzdelávania

• Najlepší softvér pre výučbu jazykov pre rok 2019 Najlepší softvér pre výučbu jazykov pre rok 2019
• Spoločnosť IBM vydáva vylepšené nástroje Watson AI v niekoľkých odvetviach Spoločnosť IBM vydáva vylepšené nástroje Watson AI v niekoľkých odvetviach
• Naozaj hovorí AI náš jazyk? Naozaj hovorí AI náš jazyk?

Podľa Zhou je tento typ pohlcujúceho prostredia cenný z dôvodu schopnosti poskytnúť zdanlivo skutočné prostredie. „Pohlcujúce prostredie umelej inteligencie môže nielen zlepšiť rozprávanie a počúvanie študentov, ale aj pragmatiku používania tohto jazyka v skutočných situáciách, “ uviedol Zhou. „Preto je AI pre mňa ako inštruktora ideálnejšia, aby študenti mohli mať pocit, že budú čoskoro používať jazyk, dokonca aj pre začiatočníkov, bez toho, aby cestovali do krajiny.“

Multimodálne vzdelávacie prostredia, ako sú prostredia ponúkané v RPI, rozšíria úlohu AI v triede. So skúsenosťami, ktoré AI poskytuje prostredníctvom virtuálnych agentov, budú študenti pripravení zvládnuť rôzne scenáre v reálnom svete s potrebnými jazykovými znalosťami.