Сьогодні ми раді повідомити про випуск нейронного словника, який суттєво покращує якість перекладу на нашій платформі. У цій статті ми розповімо про функцію нейронного словника.

Вступ  

Нейронний словник є розширенням нашого динамічний словник І фразеологічний словник в Azure AI Translator. Обидві функції дають змогу нашим користувачам налаштовувати результати перекладу, надаючи власні варіанти перекладу для певних термінів або фраз. У нашому попередньому методі використовувався дослівний словник, який являв собою точну операцію пошуку та заміни. Нейронний словник покращує якість перекладу речень, які можуть містити один або кілька перекладів термінів, дозволяючи моделі машинного перекладу підлаштовуватися під термін і контекст для отримання більш вільного перекладу. При цьому зберігається висока точність перекладу термінів.  

Наведений нижче англо-німецький приклад демонструє відмінності в результатах перекладу обома методами в разі замовлення перекладу спеціальної термінології: 

Покращення якості 

Наведена нижче діаграма ілюструє значні покращення, які нова функція приносить у загальнодоступні набори тестів термінології в галузі Automotive (https://aclanthology.org/2021.eacl-main.271), Здоров'я (https://aclanthology.org/2021.emnlp-main.477) та Covid-19 доменів (https://aclanthology.org/2021.wmt-1.69) за допомогою наших загальних моделей перекладу. 

Ми також провели серію клієнтських оцінок платформи Custom Translator і моделей нейронних словників. Ми виміряли підвищення якості перекладу даних клієнтів між моделями з розширенням нейронного словника та без нього. У дослідженні взяли участь п'ять клієнтів, які перекладали німецькою, іспанською та французькою мовами в різних галузях бізнесу.

На діаграмі нижче показано середнє покращення КОМЕТА в освітній галузі для англо-німецької, англо-іспанської та англо-французької мов; для загальних моделей ліворуч, а для кастомізованих моделей праворуч. Сині смуги показують загальну якість перекладу без нейронного словника, а помаранчеві - якість перекладу з використанням нейронного словника. Це загальне середнє покращення для всіх тестових наборів. Для сегментів, що містять одну або кілька словникових статей замовника (від 19% до 63%), покращення становить від +6,3 до +12,9 балів за шкалою COMET. 

 Підтримувані мови  

• Наразі доступні (станом на 6 грудня 2023 року): китайська спрощена, французька, німецька, італійська, японська, корейська, польська, російська, іспанська, французька, шведська та японська - на англійську та з англійської.  
• У майбутньому ми будемо додавати більше. Для отримання оновлень зверніться до Примітки до випуску Користувацького перекладача.  

Як працює нейронний словник 

Нейронний словник не використовує точну операцію пошуку та заміни при перекладі термінології. Замість цього він перекладає терміни або фрази зі словника таким чином, щоб вони найкраще відповідали контексту. Це означає, що термін може відмінюватися або мати іншу оболонку, або що навколишні слова можуть бути скориговані, створюючи більш вільний і зв'язний переклад.  

Скажімо, наприклад, ми маємо наступне вхідне речення англійською мовою і його переклад на польську мову без будь-яких словникових зворотів виглядає наступним чином:  

Якщо ви хочете переконатися, що "solution" перекладається як "alternatywa" ("альтернатива" англійською), ви можете додати динамічну словникову анотацію, щоб досягти цього:  

Результат, отриманий попереднім методом, не є вільним, оскільки порушується граматична узгодженість гендеру. Нейронний словник видає вільний висновок, а) відмінюючи запитувану заміну і б) змінюючи навколишні слова, де це необхідно. У деяких випадках він також може змінювати відмінок, як у наступному прикладі:  

Нейронний словник очікує, що переклад запитуваного терміна буде надано в його базовій граматичній формі. Терміни, що складаються з кількох слів, також підтримуються і повинні надаватися у вигляді іменникових словосполучень, тобто слова не повинні лематизуватися незалежно (наприклад, "вибори до парламенту Естонії" буде краще, ніж "вибори до парламенту Естонії"). 

Як увімкнути нейронний словник 

Для всіх підтримуваних мов, перерахованих вище, нейронний словник відразу доступний для всіх клієнтів, які використовують платформу Custom Translator з фразеологічні словники. Для увімкнення нейронного словника потрібне повне (або тільки словник) перенавчання користувацької моделі. 

 Рекомендації 

1. Якщо ви хочете, щоб словникова стаття частіше використовувалася під час роботи з нейронним словником, ви можете додати до неї фразову статтю з вихідною частиною в різних формах. У наведеному вище прикладі поруч з "рішенням _ alternatywa", ви також можете додати наступні записи: "Рішення _ alternatywa", "solutions _", "solutions _ alternatywy", "Solutions _", "Рішення _ alternatywy".  
2. Якщо мета полягає в тому, щоб певне слово або словосполучення було скопійоване "як є" з вхідного тексту до вихідного перекладу при використанні фразового словника, розгляньте можливість застосування дослівного словника, оскільки він може бути більш послідовним.   
3. Уникайте додавання перекладів загальновживаних або часто вживаних слів чи словосполучень до фразеологічного словника.  

Щоб дізнатися більше про користувацький перекладач і про те, як він може допомогти вашому бізнесу процвітати на світовому ринку, почніть з Посібник перекладача для початківців. 

Що можна робити за допомогою настроюваного перекладача Microsoft 

Створюйте власні моделі з термінологією вашої галузі та перекладайте в режимі реального часу за допомогою Microsoft Перекладач API. 

Використовувати Користувацький перекладач Microsoft з вашими перекладацькими рішеннями, які допоможуть глобалізувати ваш бізнес і покращити взаємодію з клієнтами. 

Для отримання додаткової інформації відвідайте Бізнес-рішення Microsoft Translator І Примітки до випуску Користувацького перекладача.