În noiembrie 2016, Microsoft a adus beneficiul de AI-Powered Machine traducere, alias neuronale Machine traducere (NMT), pentru dezvoltatori și utilizatorii finali deopotrivă. săptămâna trecută Microsoft a adus capabilitatea NMT la marginea norului prin mobilizarea NPU, un procesor AI dedicat integrat în Pereche 10, Cel mai recent telefon pilot al Huawei. Noul cip face traducerile AI-Powered disponibile pe dispozitiv chiar și în absența accesului la internet, permițând sistemului să producă traduceri a căror calitate este la egalitate cu sistemul online.

Pentru a realiza acest progres, cercetătorii și inginerii de la Microsoft și Huawei au colaborat la adaptarea traducerii neuronale la acest nou mediu de calcul.

Cele mai avansate sisteme NMT aflate în prezent în producție (de exemplu, utilizate la scară în cloud de către întreprinderi și aplicații) folosesc o arhitectură de rețea neuronală care combină mai multe straturi de Retele LSTM, un algoritm de atentie, si un strat de traducere (decodor).

Animația de mai jos explică, într-un mod simplificat, funcționează această rețea neuronală multistrat. Pentru mai multe detalii, vă rugăm să consultațiCe este pagina de traducere mașină"pe site-ul Microsoft Translator.

În acest nor NMT punerea în aplicare, aceste straturi LSTM de mijloc consumă o mare parte din puterea de calcul. Pentru a putea rula NMT complet pe un dispozitiv mobil, a fost necesar să se găsească un mecanism care ar putea reduce aceste costuri computaționale păstrând, cât mai mult posibil, calitatea traducerii.

Aceasta este în cazul în care Huawei ' s neuronale de procesare unitate (NPU) intră în joc.  Cercetatorii si inginerii Microsoft au profitat de NPU, care este special proiectat pentru a excela la low-latenta AI computations, la operațiunile de Offload care ar fi fost inacceptabil de lent pentru a procesa pe PROCESORUL principal.

Implementarea

Punerea în aplicare acum disponibilă în aplicația Microsoft Translator pentru huawei mate 10 optimizează Traducerea prin descărcarea sarcinilor cele mai de calcul intensiv la NPU.

În mod specific, această punere în aplicare înlocuiește aceste straturi de rețea LSTM de la o adâncime frețea neuronală înainte. Deep feed-transmite rețele neuronale sunt puternice, dar necesită cantități foarte mari de calcul datorită conectivității ridicate printre neuroni.

Rețelele neuronale se bazează în primul rând pe multiplications matrice, o operațiune care nu este complexă dintr-un punct de vedere matematic, dar foarte scumpe atunci când sunt efectuate la scara necesară pentru o astfel de rețea neuronale profundă. Huawei NPU excelează în efectuarea acestor multiplicări matrice într-o manieră masiv paralel. De asemenea, este destul de eficient din punct de vedere al utilizării puterii, o calitate importantă pe dispozitive alimentate cu baterii.

La fiecare strat al acestei rețele de alimentare înainte, NPU calculează atât producția de neuron brut, cât și Funcția de activare ReLu eficient și cu latență foarte scăzută. Prin mobilizarea memoriei ample de mare viteză pe NPU, se efectuează aceste calcule în paralel fără a trebui să plătească costul pentru transferul de date (de exemplu, încetinirea performanței) între CPU și NPU.

Odată ce stratul final al acestei rețele de alimentare profundă-forward este calculat, sistemul are o reprezentare bogată a pedepsei limba sursă. Această reprezentare este apoi alimentat printr-un LSTM de la stânga la dreapta "decodor" pentru a produce fiecare cuvânt de limbă țintă, cu același algoritm de atenție utilizat în versiunea online a NMT.

As Mihai Aue, un inginer principal de dezvoltare software în echipa Microsoft Translator explică: "a lua un sistem care ruleaza pe serverele Cloud puternice într-un centru de date și rulează-l neschimbat pe un telefon mobil nu este o opțiune viabilă. Dispozitivele mobile au limitări în puterea de calcul, memorie și consumul de energie pe care soluțiile cloud nu le au. Având acces la NPU, împreună cu unele alte trucuri arhitecturale, ne-a permis să lucreze în jurul multe dintre aceste limitări și pentru a proiecta un sistem care poate rula rapid și eficient pe-dispozitiv, fără a compromite calitatea traducerii."

Implementarea acestor modele de traducere pe chipset-ul inovator NPU a permis Microsoft și Huawei să livreze Traducerea neuronală pe dispozitiv la o calitate comparabilă cu cea a sistemelor bazate pe cloud, chiar și atunci când sunteți în afara rețelei.