Большая языковая модель YandexGPT подготовила эталонные примеры текстов, на которых обучили нейросеть в Яндекс Переводчике, сообщили в пресс-службе Яндекса.
Это позволило сервису точнее понимать контекст, распознавать фразеологизмы и ориентироваться в профессиональной лексике. Он лучше справляется с длинными и сложными текстами, лучше определяет взаимосвязи внутри предложений и между ними.
Также выросло качество перевода статей узконаправленной тематики:
Изображение: Яндекс Например, сервис теперь поймёт по контексту, что речь идёт о языке программирования или фондовом индексе, и оставит их названия без перевода. Обновлённая технология используется для перевода текстов с английского на русский язык в Яндекс Переводчике, Поиске, а также в переводе видео в Браузере.
Технологию машинного перевода Яндекс мспользует на основе нейросетей с 2018 года. Нейросеть в Переводчике обучалась только на парах текстов — оригиналах и их переводе на другой язык.
Так она училась видеть взаимосвязи между ними и подражать им.
Нейросеть, работающая в сервисе, легковесная: это позволяет ей справляться с большим количеством пользовательских запросов в реальном времени.
Большая языковая модель YandexGPT способна генерировать сложные, лексически и стилистически разнообразные тексты, в том числе со специфической терминологией. Поэтому компания использовала её потенциал для создания эталонных примеров, чтобы расширить датасет и повысить его качество. Так нейросеть в Переводчике не утратила скорость своей работы, но стала умнее. Яндекс заявил, что для генерации эталонных обучающих примеров компания разработала специализированную модель семейства YandexGPT, адаптировав её под задачи перевода:
Изображение: Яндекс Сначала модель во время этапа pretraining проанализировала множество текстов на английском и русском языках и изучила правила лексики, морфологии и синтаксиса. Следующим этапом шла тонкая настройка языковой модели (supervised finetuning) под задачи перевода. Затем на этапе reinforcement learning AI-тренеры оценивали качество перевода YandexGPT и ранжировали её ответы от лучших к худшим. Компания утверждает, что работу дообученной нейросети в Переводчике оценивали методом Side by Side (SbS). Асессоры, владеющие русским и английским, сравнивали пары длинных и сложных текстов, переведённых при помощи двух версий технологии, и выбирали лучший вариант:
В 57% случаев новая версия справлялась лучше. Заглавное изображение: Яндекс
Комментарии