Maschinelle Übersetzung

Maschinelle Übersetzungssysteme sind Anwendungen oder Online-Dienste, die maschinelle Lerntechnologien nutzen, um große Mengen von Text aus und in eine ihrer unterstützten Sprachen zu übersetzen. Der Dienst übersetzt einen "Source"-Text von einer Sprache in eine andere "Zielsprache".

Obwohl die Konzepte hinter der maschinellen Übersetzungstechnologie und die Schnittstellen, um Sie zu verwenden, relativ einfach sind, sind die Wissenschaft und die Technologien dahinter äußerst komplex und bringen mehrere Spitzentechnologien zusammen, insbesondere das Deep Learning ( künstliche Intelligenz), Big Data, Linguistik, Cloud Computing und Web-APIs.

Seit Anfang der 2010er Jahre hat eine neue künstliche Intelligenz Technologie, Deep neuronale Netzwerke (Alias Deep Learning), es der Technologie der Spracherkennung ermöglicht, ein Qualitätsniveau zu erreichen, das es dem Microsoft Translator Team ermöglichte, Spracherkennung mit seinen Kerntext-Übersetzungstechnologie zur Einführung einer neuen sprach Übersetzungstechnologie.

Historisch gesehen war die primäre maschinelle Lerntechnik, die in der Branche verwendet wurde, statistische maschinelle Übersetzung (SMT). SMT verwendet eine fortschrittliche statistische Analyse, um die bestmöglichen Übersetzungen für ein Wort zu schätzen, die im Kontext einiger Worte stehen. SMT wird seit Mitte der 2000er Jahre von allen großen Übersetzungsdienstleistern, darunter Microsoft, eingesetzt.

Das Aufkommen der neuronalen maschinellen Übersetzung (NMT) führte zu einem radikalen Wandel in der Übersetzungstechnologie, was zu einer viel höheren Qualität der Übersetzungen führte. Diese Übersetzungstechnologie begann für Anwender und Entwickler in der Letzter Teil von 2016.

Sowohl SMT als auch NMT-Übersetzungstechnologien haben zwei Elemente gemeinsam:

1. Beide benötigen große Mengen vormenschlicher über setzter Inhalte (bis zu Millionen von übersetzten Sätzen), um die Systeme zu trainieren.
2. Sie fungieren weder als zweisprachige Wörterbücher, sondern übersetzen Wörter, die auf einer Liste potenzieller Übersetzungen basieren, sondern übersetzen anhand des Kontextes des Wortes, das in einem Satz verwendet wird.

Übersetzer- und Sprachdienste, Teil der Kognitive Dienste Sammlung von APIs, sind maschinelle Übersetzungsdienste von Microsoft.

Translator wird seit 2007 von Microsoft-Gruppen eingesetzt und steht seit 2011 als API für Kunden zur Verfügung. Translator wird in Microsoft häufig verwendet. Es ist in produktlokalisierungs-, Support- und Online-Kommunikationsteams integriert. Derselbe Dienst ist auch ohne zusätzliche Kosten aus vertrauten Microsoft-Produkten wie Bing, Cortana, Microsoft Edge, Office, Share, Skypeund Jammern.

Translator kann in Web- oder Clientanwendungen auf jeder Hardwareplattform und mit jedem Betriebssystem verwendet werden, um Sprachübersetzungen und andere sprachbezogene Vorgänge wie Spracherkennung, Text-zu-Sprache oder Wörterbuch durchzuführen.

Der Entwickler nutzt die branchenübliche Rest Technologie, schickt Quelltext (oder Audio für die Sprachübersetzung) an den Dienst mit einem Parameter, der die Zielsprache angibt, und der Dienst schickt den übersetzten Text für den Client oder die Web-App zurück.

Der Translator-Dienst ist ein Azure-Dienst, der in Microsoft-Rechenzentren gehostet wird und von der Sicherheit, Skalierbarkeit, Zuverlässigkeit und Nonstop-Verfügbarkeit profitiert, die auch andere Microsoft-Clouddienste erhalten.

Die Übersetzungstechnologie für Übersetzersprach wurde Ende 2014 mit Skype Translator eingeführt und ist seit Anfang 2016 als offene API für Kunden verfügbar. Es ist in die Microsoft Translator Live-Funktion, Skype, Skype-Meeting-Übertragung und die Microsoft Translator-Apps für Android und iOS integriert.

Sprachübersetzung ist jetzt über Microsoft Speech verfügbar, ein Ende-zu-Ende-Set von vollständig anpassbaren Diensten für Spracherkennung, Sprachübersetzung und Sprachsynthese (Text-zu-Sprache).

Es gibt zwei Haupttechnologien, die für die Textübersetzung verwendet werden: die Legacy One, die statistische maschinelle Übersetzung (SMT) und die neuere Generation One, neuronale maschinelle Übersetzung (NMT).

Translators Implementierung von Statistical Machine Translation (SMT) basiert auf mehr als einem Jahrzehnt natürlicher Forschung bei Microsoft. Anstatt handgearbeitete Regeln für die Übersetzung zwischen Sprachen zu schreiben, nähern sich moderne Übersetzungssysteme der Übersetzung als ein Problem, um die Umwandlung von Text zwischen Sprachen aus bestehenden menschlichen Übersetzungen zu lernen und die jüngsten Fortschritte in der angewandten Statistik und im maschinellen Lernen zu nutzen.

Sogenannte "Parallelcorpora" wirken als moderner Rosetta-Stein in massiven Proportionen und liefern Wort-, Phrasen- und idiomatische Übersetzungen im Kontext für viele Sprachpaare und -domänen. Statistische Modellierungstechniken und effiziente Algorithmen helfen dem Computer, das Problem der Entschlüsselung (Erkennung der Entsprechungen zwischen Quell- und Zielsprache in den Trainingsdaten) und Dekodierung (Suche nach der besten Übersetzung eines neuen Eingabesatzes) anzugehen. Der Übersetzer vereint die Macht statistischer Methoden mit sprachlichen Informationen, um Modelle zu erstellen, die besser verallgemeinern und zu verständlicheren Übersetzungen führen.

Aufgrund dieses Ansatzes, der sich nicht auf Wörterbücher oder grammatikalische Regeln verlässt, bietet er die besten Übersetzungen von Phrasen, bei denen er den Kontext um ein bestimmtes Wort versus den Versuch, einzelne Wortübersetzungen durchzuführen, verwenden kann. Für Single-Words-Übersetzungen wurde das zweisprachige Wörterbuch entwickelt und ist über www.Bing.com/Translator.

Kontinuierliche Verbesserungen bei der Übersetzung sind wichtig. Seit Mitte der 2010er Jahre haben sich die Leistungsverbesserungen mit der SMT-Technologie jedoch verbessert. Durch die Nutzung des Umfangs und der Leistungsfähigkeit von Microsofts KI-Supercomputer, insbesondere des Microsoft Cognitive Toolkits, bietet Translator jetzt neuronale Netzwerke (LSTM) basierte Übersetzung, die eine neue Dekade der Verbesserung der Übersetzungsqualität ermöglicht.

Diese neuronalen Netzwerkmodelle sind für alle Sprachsprachen über den Sprachdienst in Azure und über die Text-API unter Verwendung der Kategorie-ID "generalnn" verfügbar.

Neuronale Netzwerk Übersetzungen unterscheiden sich grundlegend in ihrer Durchsetzung im Vergleich zu den herkömmlichen SMT-solchen.

Die folgende Animation zeigt die verschiedenen Schritte, die neuronale Netzwerk Übersetzungen durchlaufen, um einen Satz zu übersetzen. Aufgrund dieses Ansatzes wird die Übersetzung den vollen Satz in den Kontext stellen, versus nur ein paar Worte Schiebefenster, die SMT-Technologie verwendet und wird mehr flüssige und menschlich übersetzte aussehende Übersetzungen zu produzieren.

Basierend auf dem neuronalen Netzwerk-Training wird jedes Wort entlang eines 500-Dimensionen-Vektors (a) kodiert, der seine einzigartigen Eigenschaften innerhalb eines bestimmten Sprach Paares (z.b. Englisch und Chinesisch) darstellt. Basierend auf den Sprachpaaren, die für die Ausbildung verwendet werden, wird das neuronale Netzwerk selbst definieren, was diese Dimensionen sein sollten. Sie könnten einfache Konzepte wie Geschlecht (weiblich, männlich, neutral), Höflichkeit-Ebene (Slang, lässig, schriftlich, formell, etc.), Art des Wortes (Verb, Substantiv, etc.), aber auch alle anderen nicht-offensichtlichen Merkmale, wie Sie aus den Trainingsdaten abgeleitet sind, kodieren.

Die Schritte, die neuronale Netzwerk Übersetzungen durchlaufen, sind folgende:

In dem Beispiel, das in der Animation abgebildet ist, ist das kontextbewusste 1000-Dimension-Modell von "Die"wird kodieren, dass das Substantiv (Haus) ist ein weibliches Wort auf Französisch (La Maison). Dies ermöglicht die passende Übersetzung für "Die"to be"La"und nicht"Le"(Singular, männlich) oder"Les"(Plural), sobald es die Decoder-(Übersetzungs-) Ebene erreicht.

Der Aufmerksamkeits-Algorithmus wird auch berechnet, basierend auf dem Wort (s) zuvor übersetzt (in diesem Fall "Die"), dass das nächste Wort, das übersetzt werden soll, das Thema sein sollte ("Haus") und kein Adjektiv ("Blau"). In kann dies erreichen, weil das System erfuhr, dass Englisch und Französisch die Reihenfolge dieser Wörter in Sätzen umkehren. Es hätte auch ausgerechnet, wenn das Adjektiv "Große"statt einer Farbe, dass Sie Sie nicht umkehren sollte ("Das große Haus"= >"La Grande Maison").

Dank dieses Ansatzes ist die Endausgabe in den meisten Fällen flüssiger und näher an einer menschlichen Übersetzung, als es eine SMT-basierte Übersetzung jemals hätte sein können.

Übersetzer ist auch in der Lage, Sprache zu übersetzen. Diese Technologie wird in der Translator Live-Funktion (http://translate.it), die Translator-apps, Skype-Übersetzer und wird zunächst auch nur über die Skype-Translator-Funktion und in den Microsoft Translator-apps auf IOS und Android zur Verfügung gestellt, diese Funktionalität ist nun für Entwickler mit der neuesten Version des Open Auf dem Azure-Portal erhältliche API verfügbar.

Auch wenn es auf den ersten Blick wie ein geradliniger Prozess erscheinen mag, um eine sprach Übersetzungstechnologie aus den bestehenden Technologie Steinen zu bauen, erforderte es viel mehr Arbeit, als einfach eine bestehende "traditionelle" Mensch-zu-Maschine-Spracherkennung zu stopfen. Motor zur bestehenden Textübersetzung ein.

Um die "Quelle"-Rede von einer Sprache in eine andere "Zielsprache" zu übersetzen, durchläuft das System einen vierstufigen Prozess.

1. Spracherkennung, um Audio in Text umzuwandeln
2. TrueText: eine Microsoft-Technologie, die den Text normalisiert, um Sie für die Übersetzung geeigneter zu machen
3. Übersetzung durch die oben beschriebene textübersetzungs-Engine, aber auf Übersetzungs Modellen, die speziell für das reale Leben gesprochene Gespräche entwickelt wurden
4. Text-zu-Sprache, wenn nötig, um den übersetzten Ton zu produzieren.

Automatische Spracherkennung (ASR)
Die automatische Spracherkennung (ASR) erfolgt über ein neuronales Netzwerk (NN), das bei der Analyse von Tausenden von Stunden eingehender audiorede geschult wird. Dieses Modell ist auf Mensch-zu-Mensch-Interaktionen und nicht auf Mensch-zu-Maschine-Befehle geschult und produziert Spracherkennung, die für normale Gespräche optimiert ist. Um dies zu erreichen, werden viel mehr Daten benötigt als auch ein größerer DNN als herkömmliche Mensch-zu-Maschine-ASRS.

Erfahren Sie mehr über Microsofts Rede zu Text Diensten.

TrueText
Wenn Menschen mit anderen Menschen reden, sprechen wir nicht so perfekt, klar oder ordentlich, wie wir es oft denken. Mit der TrueText-Technologie wird der wörtliche Text transformiert, um die Benutzer Absicht näher zu reflektieren, indem sprach disfluenzen (Füll Wörter) entfernt werden, wie "um" s, "Ah" s, "und" s, "wie" s, Stutter und Wiederholungen. Der Text wird auch lesbarer und übersetzbarer gemacht, indem er Satz Brüche, richtige Zeichensetzung und Kapitalisierung hinzufügt. Um diese Ergebnisse zu erreichen, haben wir die jahrzehntelange Arbeit an Sprachtechnologien genutzt, die wir vom Übersetzer zur Erstellung von TrueText entwickelt haben. Das folgende Diagramm zeigt durch ein reales Beispiel die verschiedenen Transformationen, die TrueText zur Normalisierung dieses wörtlichen Textes betreibt.

Übersetzung
Der Text wird dann in einen der Sprachen und Dialekte unterstützt von Translator.

Übersetzungen mit der Sprachübersetzung API (als Entwickler) oder in einer Sprachübersetzung-APP oder-Dienstleistung werden mit den neuesten Neural-Netzwerk-basierten Übersetzungen für alle Spracheingabe-gestützten Sprachen angetrieben (siehe Hier für die vollständige Liste). Diese Modelle wurden auch durch die Erweiterung der aktuellen, meist geschriebenen Text-geschulten Übersetzungs Modelle, mit mehr gesprochenen Text-Kora gebaut, um ein besseres Modell für gesprochene Konversations Arten von Übersetzungen zu erstellen. Diese Modelle gibt es auch über die "Speech" Standard Kategorie der traditionellen Textübersetzung API.

Für alle Sprachen, die nicht durch neuronale Übersetzung unterstützt werden, wird traditionelle SMT-Übersetzung

Text zu Sprache
Wenn die Zielsprache eine der 18 unterstützten Text-to-Speech ist Sprachen, und der Anwendungsfall erfordert eine Audioausgabe, der Text wird dann mit Sprachsynthese in Sprachausgabe umgewandelt. Diese Phase wird in sprach-zu-Text-Übersetzungs Szenarien ausgelassen.

Erfahren Sie mehr über Microsofts Text zu Sprachdiensten.

Hier finden Sie die neuesten Forschungsarbeiten des Microsoft Translator-Teams.

• Universelle neuronale maschinelle Übersetzung für extrem ressourcenarme Sprachen
• Erreichen der menschlichen Parität bei der automatischen Übersetzung von chinesischen in englische Nachrichten
• Geschlechtsspezifische Übersetzung von gesprochenen Sprachen auf Englisch-Arabisch angewendet
• Synthetische Daten für die neuronale maschinelle Übersetzung von Spoken-Dialekten

Alle Publikationen ansehen