По результатам международного независимого тестирования DiBiMT, «Яндекс Переводчик» признан сервисом, который лучше других справляется с переводом с английского на русский.
Рейтинг переводчиков был опубликован итальянскими институтами Sapienza и SSML Carlo Bo, которые считаются одними из ведущих исследовательских центров в области машинного обучения. Российская компания также заняла третье место по качеству перевода с английского на китайский, немецкий, итальянский и испанский языки.
Оказалось, что «Яндекс Переводчик» точнее определяет значения конкретных английских слов и совершает меньше семантических ошибок по сравнению с другими программами. Для тестирования учёные отобрали несколько тысяч предложений на английском языке с омонимами — словами, которые пишутся одинаково, но имеют разное значение. Сервисы перевели эти предложения, а алгоритмы DiBiMT оценили процент корректно переведённых слов.
Также правильность вариантов выборочно проверяли профессиональные переводчики, что обеспечило высокую точность измерений. На основе полученных показателей был сформирован опубликованный рейтинг.
Помимо «Яндекс Переводчика», тестирование прошли сервисы Google Translate и DeepL, а также крупные языковые модели mBART-50, M2M100 и OPUS.
