V november 2016, mikroskop brought prid od AI-sila stroj prevod, aka živčni stroj prevod (NMT), v razvijalec ter prenehati uporabnik podoben. prejšnji teden Microsoft je pripeljal NMT zmogljivost na rob oblaka z vplivanjem na NPU, ki je namenjen za umetne inteligence, vgrajen v Mate 10, Najnovejši vodilni telefon družbe Huawei. Novi čip omogoča AI-powered prevodi na voljo na napravi tudi v odsotnosti dostopa do interneta, ki omogoča sistem za izdelavo prevodov, katerih kakovost je na par s spletnim sistemom.

Da bi dosegli ta preboj, raziskovalci in inženirji iz Microsofta in Huawei sodelovali pri prilagajanju nevronske prevajanje v to novo računalniško okolje.

Najnaprednejši sistemi NMT, ki so trenutno v proizvodnji (tj. uporabljeni v oblaku podjetij in aplikacij), uporabljajo nevronsko omrežno arhitekturo, ki združuje več plasti Omrežja LSTM, algoritem za pozornost in plast za prevajanje (dekodirnik).

Animacija spodaj pojasnjuje, na poenostavljen način, kako to multi-Layer nevronske mreže funkcij. Več podrobnosti najdete vKaj je strojno prevajanje stran"na spletnem mestu Microsoft Translator.

V tem oblaku NMT izvajanje, te srednje LSTM plasti porabijo velik del računalniške moči. Da bi lahko zagnali polno NMT na mobilni napravi, je bilo treba najti mehanizem, ki bi lahko zmanjšali te računalske stroške, hkrati pa ohranili, kolikor je mogoče, kakovost prevajanja.

To je, če je za nevronske procesne enote Huawei (NPU) pride v poštev.  Mikroskop raziskovalec ter inženir od to take ugodnost od NPU, kateri je specifikacija predelki v odlikovati se v pritličen-Latency AI računati, v znebijo špekulacija to hoteti življati been nesprejemljivo počasi vozite obdelovati naprej najvažnejši CPU.

Izvajanje

Izvajanje, ki je zdaj na voljo v aplikaciji Microsoft Translator za Huawei mate 10, optimizira prevajanje tako, da v NPU odnaša najbolj zahtevne naloge.

Natančneje, to izvajanje nadomešča te srednje LSTM omrežja plasti, ki jih globoko fEED-naprej nevronske mreže. Deep krme-naprej nevronske mreže so močni, vendar zahtevajo zelo velike količine računanja zaradi visoke povezljivosti med nevroni.

Nevronske mreže zanašajo predvsem na matriksa multiplications, operacija, ki ni zapletena od matematičnega vidika, vendar zelo drago, ko se izvajajo na lestvici, potrebnih za tako globoko nevronske mreže. Huawei NPU blesti pri opravljanju teh matrik razmnožitvah v masivno vzporedno mode. Prav tako je precej učinkovit od moči uporabe vidika, pomembna kakovost na baterijski pogon naprave.

Na vsaki plasti te krme-Forward omrežja, NPU izračuna tako surovi Nevron proizvodnje in poznejše Funkcija aktivacije ReLu učinkovito in z zelo nizko latenco. Z vplivanjem na veliko visoke hitrosti pomnilnika na NPU, da opravlja te izračune vzporedno, ne da bi morali plačati stroške za prenos podatkov (tj., upočasnjuje učinkovitost) med CPU in NPU.

Ko je končna plast te globoke krme-Forward omrežja se izračuna, sistem ima bogato predstavitev stavka izvornega jezika. Ta predstavitev se nato krmijo z leve proti desni LSTM "dekoderja" za izdelavo vsakega ciljnega jezika besedo, z enako pozornost algoritem, ki se uporabljajo v spletni različici NMT.

As Anton Aue, glavni inženir za razvoj programske opreme v ekipi Microsoft Translator pojasnjuje: "taking a sistem to runs naprej silen oblak pomočnik v a novice središče ter tekmovanje v teku to nespremenjen naprej a prenosen telefon ni a izvedljiv predkupna pravica. Mobilne naprave imajo omejitve v računalniškem napajanju, pomnilniku in porabi energije, ki jih rešitve v oblaku nimajo. Ob dostopu do NPU, skupaj z nekaterimi drugimi arhitekturnih poteg, nam je omogočilo, da delo okoli številnih od teh omejitev in za oblikovanje sistema, ki lahko hitro in učinkovito delujejo na napravi, ne da bi ogrozili kakovost prevajanja."

Izvajanje teh modelov prevajanja na inovativen NPU čipov dovoljeno Microsoft in Huawei za dostavo na napravi nevronske prevajanje na kakovost primerljiva s tistim v oblaku sistemov, tudi če ste off omrežja.