Em novembro de 2016, a Microsoft trouxe o benefício da tradução automática de máquinas AI-powered, aka neural Machine Translation (NMT), para desenvolvedores e usuários finais. A semana passada A Microsoft trouxe capacidade de NMT para a borda da nuvem utilizando o NPU, um processador dedicado à ia integrado no Companheiro 10, O mais recente telefone emblemático da Huawei. O novo chip faz traduções de AI-powered disponíveis no dispositivo, mesmo na ausência de acesso à Internet, permitindo que o sistema para produzir traduções cuja qualidade é a par com o sistema on-line.

Para alcançar esse avanço, pesquisadores e engenheiros da Microsoft e da Huawei colaboraram na adaptação da tradução neural a esse novo ambiente de computação.

Os sistemas NMT mais avançados atualmente em produção (ou seja, usados em escala na nuvem por empresas e aplicativos) estão usando uma arquitetura de rede neural que combina várias camadas de Redes LSTM, um algoritmo de atenção e uma camada de tradução (decodificador).

A animação abaixo explica, de forma simplificada, como esta rede neural de várias camadas funciona. Para mais detalhes, por favor, consulte o "o que é a página de tradução automática"no site do Microsoft Translator.

Nesta implementação de nuvem NMT, essas camadas médias LSTM consomem uma grande parte do poder de computação. Para ser capaz de executar NMT completa em um dispositivo móvel, era necessário encontrar um mecanismo que poderia reduzir esses custos computacionais, preservando, tanto quanto possível, a qualidade da tradução.

Este é o lugar onde a unidade de processamento neural da Huawei (NPU) entra em jogo.  Pesquisadores e engenheiros da Microsoft aproveitaram a NPU, que foi projetada especificamente para se sobressair em computações de ia de baixa latência, para descarregar operações que teriam sido inaceitavelmente lentas para processar na CPU principal.

Implementação

A implementação agora disponível no aplicativo Microsoft Translator para o Huawei mate 10 otimiza a tradução, transferindo as tarefas mais intensivas de computação para o NPU.

Especificamente, essa implementação substitui essas camadas de rede LSTM médias por um f profundorede neural direta. As redes neurais de avanço profundo são poderosas, mas exigem grandes quantidades de computação devido à alta conectividade entre os neurônios.

As redes neurais dependem principalmente de multiplicações de matrizes, uma operação que não é complexa do ponto de vista matemático, mas muito cara quando realizada na escala necessária para uma rede neural tão profunda. O Huawei NPU destaca em executar estas multiplicações da matriz em uma forma maciçamente paralela. Também é bastante eficiente a partir de um ponto de vista de utilização de energia, uma qualidade importante em dispositivos alimentados a bateria.

Em cada camada desta rede feed-forward, o NPU calcula a saída do neurônio cru e o subsequente Função de activação ReLu de forma eficiente e com latência muito baixa. Aproveitando a memória de alta velocidade ampla no NPU, ele executa essas computações em paralelo sem ter que pagar o custo de transferência de dados (ou seja, diminuindo o desempenho) entre a CPU e o NPU.

Uma vez que a camada final desta rede feed-forward profunda é calculada, o sistema tem uma representação rica da sentença de idioma de origem. Esta representação é então alimentada através de um LSTM "decodificador" da esquerda para a direita para produzir cada palavra de idioma de destino, com o mesmo algoritmo de atenção usado na versão online do NMT.

Como Antonio de Oliveira, um engenheiro de desenvolvimento de software principal na equipe do Microsoft Translator explica: "tomar um sistema que é executado em servidores de nuvem poderosos em um centro de dados e executá-lo inalterado em um telefone celular não é uma opção viável. Os dispositivos móveis têm limitações na capacidade de computação, memória e uso de energia que as soluções de nuvem não têm. Ter acesso ao NPU, juntamente com alguns outros ajustes arquitetônicos, permitiu-nos trabalhar em torno de muitas dessas limitações e para projetar um sistema que pode ser executado de forma rápida e eficiente no dispositivo sem ter que comprometer a qualidade da tradução."

A implementação desses modelos de tradução no inovador chipset NPU permitiu que a Microsoft e a Huawei entregem a tradução neural no dispositivo a uma qualidade comparável à dos sistemas baseados na nuvem, mesmo quando você está fora da grade.