Novembris 2016, Microsoft tõi kasu AI-powered masintõlke, teise nimega Neural masin Translation (NMT), arendajatele ja lõppkasutajatele nii. Eelmine nädal Microsoft tõi NMT võime pilve serva NPU võimendamisel, integreeritud TEHISINTELLEKTI ühendav volitatud Paariline 10, Huawei uusim lipulaev telefon. Uus kiip muudab AI-powered tõlked seadmes kättesaadavaks isegi puudumisel internetiühendus, võimaldades süsteemi toota tõlked, mille kvaliteet on par online süsteemi.

Selle läbimurde saavutamiseks tegid Microsoft ja Huawei teadlased ja insenerid koostööd, et kohandada neurotransleerimise uut andmetöötluskeskkonda.

Kõige arenenum NMT süsteemid praegu tootmises (st mida kasutatakse skaala pilve ettevõtted ja rakendused) kasutavad närvi võrgu arhitektuur ühendab mitu kihti LSTM-võrgud, tähelepanu algoritm ja tõlge (dekooder) kiht.

Allpool kirjeldatud animatsioon selgitab lihtsustatud viisil, kuidas see mitmekihiline närvivõrk toimib. Täpsema teabe saamiseks tutvuge palun "mis on masina tõlge lehekülg"Microsoft Translator saidi.

Selle pilve NMT rakendamist, need keskmised LSTM kihid tarbivad suur osa arvuti võimsus. Et oleks võimalik käitada täismahus NMT mobiilseadmes, oli vaja leida mehhanism, mis võiks vähendada neid arvutuskulusid, säilitades nii palju kui võimalik tõlke kvaliteeti.

See on koht, kus Huawei Neural töötlemise üksus (NPU) tuleb mängida.  Microsofti teadlased ja insenerid kasutasid ära NPU, mis on spetsiaalselt projekteeritud Excelisse madala latentsusaja AI arvutuste, mahalaadimiseks toimingud, mis oleks olnud vastuvõetamatult aeglane protsessi peamine CPU.

Rakendamine

Nüüd saadaval Microsoft Translator app Huawei Mate 10 rakendus optimeerib tõlke, mahalaadimiseks kõige compute-intensiivne ülesanded NPU.

Täpsemalt asendab see rakendamine need keskmised LSTM võrgu kihid sügav ftulevikku suunatud närvivõrk. Sügav sööda tulevikku närvivõrgud on võimas, kuid nõuavad väga suurel hulgal arvutuste tõttu kõrge Ühenduvus neuronite vahel.

Närvivõrgud sõltuvad peamiselt maatriksi paljastuste, operatsioon, mis ei ole keeruline matemaatiline vaatepunktist, kuid väga kallis, kui teostatakse skaalal vajalik selline sügav närvivõrk. Huawei NPU vabandab nende maatriksi paljastuste tegemisel massiivselt paralleelses stiilis. See on ka üsna tõhus toitekasutuse seisukohast, oluline kvaliteet aku powered seadmed.

Selle edastusvõrgu igas kihis arvutab NPU nii toores neuron väljund kui ka järgnevad ReLu aktiveerimise funktsioon ja väga madala latentsusega. Võimendades rohkesti kiire mälu NPU, see teeb need arvutused paralleelselt, ilma et maksta kulu andmete edastamiseks (st aeglustades jõudlust) vahel CPU ja NPU.

Kui selle sügava edastusvõrgu lõplik kiht on arvutatud, siis on süsteemil rikkalikult esindatud lähtekeele lause. See esitus on seejärel toidetud vasakult paremale LSTM "dekooder" toota iga Target keel sõna, sama tähelepanu algoritmi kasutatakse online versiooni NMT.

Nagu Antoniuse, on Microsoft translaatori meeskonna peamine tarkvaraarenduse insener seletatav: "võttes süsteemi, mis töötab võimas pilv serverid andmekeskuses ja töötab see muutmata mobiiltelefoni ei ole mõistlik variant. Mobiilsideseadmetes on piiratud arvutikasutuse võimsus, mälu ja toitekasutus, mida pilvelahendused ei ole. Võttes juurdepääsu NPU koos mõne muu arhitektuuriga tweaks, võimaldas meil töötada umbes palju neid piiranguid ja kujundada süsteem, mis võib joosta kiiresti ja tõhusalt seadmes, ilma et ohustada tõlke kvaliteet."

Nende tõlkemudelite rakendamine innovatiivsel NPU-kiil võimaldas Microsoftil ja Huawei pakkuda seadme närvitõlke kvaliteeti, mis on võrreldav pilvepõhiste süsteemidega, isegi kui olete võrgust väljas.