Сегодня мы очень рады объявить о выпуске нейронного словаря, который значительно улучшил качество перевода на нашей платформе. В этой статье блога мы рассмотрим функцию нейронного словаря.

Знакомство  

Нейронный словарь является расширением нашего Динамический словарь И Словарь фраз функции в Azure AI Translator. Оба позволяют нашим пользователям настраивать вывод перевода, предоставляя свои собственные переводы для определенных терминов или фраз. В нашем предыдущем методе использовался дословный словарь, который представлял собой точную операцию поиска и замены. Нейронный словарь улучшает качество перевода предложений, которые могут включать один или несколько переводов терминов, позволяя модели машинного перевода корректировать как термин, так и контекст для более плавного перевода. При этом сохраняется высокая точность перевода терминов.  

В следующем примере с английского на немецкий язык показаны различия в выходных данных перевода между обоими методами, когда запрашивается перевод пользовательской терминологии: 

Повышение качества 

На приведенной ниже диаграмме показаны значительные улучшения, которые новая функция вносит в общие общедоступные наборы терминологических тестов в автомобилестроении (https://aclanthology.org/2021.eacl-main.271), Здоровье (https://aclanthology.org/2021.emnlp-main.477) и Covid-19 (https://aclanthology.org/2021.wmt-1.69), используя наши общие модели перевода. 

Мы также провели серию оценок клиентов на платформе Custom Translator и моделях нейронных словарей. Мы измерили прирост качества перевода данных о клиентах между моделями с расширением нейронного словаря и без него. В нем приняли участие пять клиентов, владеющих немецким, испанским и французским языками в различных сферах бизнеса.

На графике ниже показано среднее улучшение КОМЕТА в области образования для англо-немецкого, англо-испанского и англо-французского; Для общих моделей слева и для пользовательских моделей справа. Полосы СИНЕГО цвета представляют общее качество перевода без нейронного словаря, а полосы ОРАНЖЕВОГО цвета представляют качество перевода с использованием нейронного словаря. Это общие средние улучшения по всем тестовым наборам. Для сегментов, включающих одну или несколько словарных статей клиента (от 19% до 63%), улучшение составляет от +6,3 до +12,9 баллов COMET. 

 Поддерживаемые языки  

• В настоящее время доступно (по состоянию на 6 декабря 2023 г.): китайский упрощенный, французский, немецкий, итальянский, японский, корейский, польский, русский, испанский и шведский — на английский и обратно.  
• В будущем мы добавим еще больше. Для получения обновлений см. Заметки о выпуске Custom Translator.  

Как работает нейронный словарь 

Нейронный словарь не использует точную операцию поиска и замены при обработке пользовательского перевода терминологии. Вместо этого он переводит термины или фразы из словаря таким образом, чтобы они лучше всего соответствовали всему контексту. Это означает, что термин может быть склонен или иметь другой регистр, или что окружающие слова могут быть скорректированы, что приведет к более плавному и связному переводу.  

Допустим, например, у нас есть следующее входное предложение на английском языке и его перевод на польский язык без каких-либо словарных фраз выглядит следующим образом:  

Если вы хотите убедиться, что «решение» переводится как «Альтернатива" ("an alternative" на английском языке), вы можете добавить динамическую словарную аннотацию, чтобы добиться этого:  

Результат, полученный предыдущим методом, не является беглым, так как нарушается грамматическая согласованность рода. Нейронный словарь выдает беглый вывод, а) склоняя запрашиваемую замену и б) изменяя окружающие слова там, где это необходимо. В некоторых случаях он также может изменить регистр, как в следующем примере:  

Нейронный словарь ожидает, что запрошенный перевод термина будет предоставлен в его базовой грамматической форме. Также поддерживаются многословные термины, которые должны быть представлены в виде существительных, т.е. слова не должны быть лемматизированы независимо друг от друга (например, «Парламентские выборы в Эстонии» будут лучше, чем «Выборы в Сейм Эстонии»). 

Как включить нейронный словарь 

Для всех поддерживаемых языков, перечисленных выше, нейронный словарь сразу же доступен для всех клиентов, использующих платформу Custom Translator с Фразовые словари. Для включения нейронного словаря требуется полное (или только словарное) переобучение пользовательской модели. 

 Рекомендации 

1. Если вы хотите, чтобы при работе с нейронным словарем чаще использовалась запись словаря фраз, вы можете рассмотреть возможность добавления записи фразы с исходной частью в различных формах. В приведенном выше примере рядом с "solution _ Альтернатива", вы также можете добавить следующие записи: "Решение _ Альтернатива", "решения _ alternatywy", "Решения _ alternatywy".  
2. Если цель состоит в том, чтобы гарантировать, что конкретное слово или фраза будет скопировано «как есть» из входного текста в выходной перевод при использовании словаря фраз, рассмотрите возможность применения дословного словаря, так как он может быть более последовательным.   
3. Избегайте добавления переводов распространенных или часто встречающихся слов или фраз в словарь фраз.  

Чтобы узнать больше о Custom Translator и о том, как он может помочь вашему бизнесу процветать на мировом рынке, начните с Руководство для начинающих по пользовательскому переводчику. 

Что вы можете сделать с пользовательским переводчиком Майкрософт 

Создавайте пользовательские модели с терминологией, специфичной для вашей предметной области, и переводите в режиме реального времени с помощью метода API переводчика Майкрософт. 

Использовать Пользовательский переводчик Майкрософт с вашими переводческими решениями, которые помогут глобализировать ваш бизнес и улучшить взаимодействие с клиентами. 

Для получения дополнительной информации посетите Бизнес-решения Microsoft Translator И Заметки о выпуске Custom Translator.