Перевод видео на русский язык в реальном времени от Яндекса: как включить и пользоваться

Компания Яндекс не боится внедрять новые технологии в свои продукты – только так и можно сохранять их привлекательность и актуальность. И в некоторых аспектах Яндекс может даже предложить своим пользователям то, чего лишены более именитые программы-аналоги. Так, в 2021 году в фирменном Яндекс Браузере с очередным обновлением появилась очень интересная и востребованная функция. Она позволяет автоматически переводить и на русском языке озвучивать видео на различных популярных платформах, например, на том же YouTube.

На каких языках работает автоматический перевод видео в Яндекс Браузере?

Изначально переводить можно было только с английского языка. С тех пор, сервис развивался и теперь он поддерживает уже 5 языков:

• английский;
• немецкий;
• испанский;
• французский;
• китайский.

Об этом полезном функционале Яндекс Браузера знают немногие, а ведь возможность очень удобная. Приложение можно установить хотя бы для того, чтобы пользоваться именно этим переводчиком видео. Озвучка с помощью нейронных сетей хорошо себя показывает при онлайн-просмотре презентаций. Все же субтитры отвлекают, мешая параллельно с прослушиванием выполнять другие задачи.

Изначально функция была применима только к отобранным видео, но сейчас она успешно справляется и с прямыми онлайн трансляциями. Самое интересное, что переводчик отличает пол одного спикера от другого, для этого используются разные мужские и женские синтезированные голоса.

Как работает синхронный перевод видео Яндекса и как лучше пользоваться этой функцией?

Как работает автоперевод видео на русский язык в Яндекс Браузере?

Чтобы реализовать эту функцию, Яндексу пришлось задействовать не только технологии сервиса Переводчик, но еще и синтез речи, биометрию. Для озвучивания видео используются возможности сразу шести нейросетей, а не одной, как могло бы показаться.

Первая нейросеть идентифицирует язык, на котором говорит спикер. Если язык поддерживается, то в браузере появится окошко с предложением осуществить перевод видео на русский.

Вторая нейросеть отвечает за перевод речи в текст. Формируется модель с аудиодорожкой, в которой алгоритмы выявляют и удаляют лишние звуки. Эта же нейросеть вычищает слова-паразиты, делая итоговый результат чище.

Третья нейросеть отвечает за приведение текста к воспринимаемому виду, расставляет требуемые знаки препинания. На входе эта нейросеть получает просто набор переведенных слов. Из них требуется с помощью пунктуации создать грамотные предложения, сохранив при этом изначальный смысл. Нейросеть получает еще и выделенный контекст, чтобы она понимала, о чем вообще в ролике идет речь. Этот вектор помогает расставить слова на нужные места и обеспечить их смысловую связь. Иногда на это требуется дополнительное время. Но в случае стрима небольшая задержка – неизбежный компромисс для обеспечения качества.

Разработчики говорят, что если нет уверенности в том, как надо разбивать речь на предложения в конкретном случае, то можно подождать нового материала, новых слов. Это поможет-таки определиться с разбиением или же превысит ограничения по контексту и заставит нейросеть формировать фразы с определенной, пусть и не со стопроцентной, долей уверенности.

Четвертая нейросеть определяет, сколько человек вообще говорит, какой их пол и какими местоимениями они пользуются. Алгоритм определяет, мужской голос или женский, за счет частоты звучания. У мужчин она составляет 80-150 Гц, а у женщин 150-250 Гц.

Пятая нейросеть уже непосредственно переводит текст на русский язык.

Последняя, шестая нейросеть, отвечает за синтез речи и ее синхронизацию с роликом. Именно она вставляет паузы, когда замолкает спикер, следует его темпу речи, то замедляясь, то ускоряясь.

Как Яндекс автоматически переводит прямые (онлайн) видео трансляции?

Обрабатывать стрим намного сложнее, чем готовый ролик. Ведь это видео нельзя заранее проанализировать и понять, как лучше сделать озвучку. В случае с готовым роликом имеется для обработки готовая аудиодорожка, тогда как со стримом все сложнее. Нейросети вынуждены осуществлять синхронный перевод прямо «на лету» создаваемой дорожки.

Такое отличие заставляет выбирать разные технологии, но в целом языковые модели все равно используются одни и те же. Если Яндекс работает со стримом, то дополнительно задействуется третья нейросеть, которая помогает нормализовать речь. Алгоритмы выявляют начало и конец предложения, выделяют вводные слова, сложносочиненные предложения и так далее.

А после расстановки нейросетью знаков препинания система уже формирует законченные по смыслу предложения и направляет их для перевода.

В результате задержка в ходе прямых трансляций может составлять от 20 до 50 секунд.

Это можно считать хорошим результатом, который позволяет все же не отставать от темпа происходящего.

Приятно удивляет возможность системы работать с разными голосами. Кажется, что это появилось относительно недавно. Ведь изначально перевод предлагал только два голоса: мужской и женский. Теперь же каждый из них получил дополнительные варианты.

Как включить автоперевод видео на русский язык в Яндексе?

Эта функция работает на разных операционных системах: Windows, macOS, Android, iOS, но только в приложениях Яндекс или Яндекс Браузер.

Чтобы запустить перевод, вам надо просто открыть видео на одной из популярных платформ: YouTube, Rutube, Vimeo или им подобных. Запустите воспроизведение, вскоре автоматически появится кнопка перевода ролика. Вам надо просто на нее нажать.

Если ролики мелкие, то процесс перевода займет пару секунд. Если же речь идет о трансляциях, то придется подождать 15-20 секунд в случае с новым стримом. Если же он уже какое-то время идет, то понадобится куда меньше – та же пара секунд.

Польза от функции автоматического перевода видео на русский язык в Яндекс.Браузере

Не секрет, что многие иностранные видео на русском языке посмотреть не получится. Немногие блогеры могут позволить себе дубляж. А вот автоперевод в Яндекс Браузере без проблем решает эту проблему. Всего пара кликов – и вы уже смотрите видео на русском языке, не отвлекаясь даже на субтитры. Вниманию ничто не мешает, а озвучка достаточно качественная, чтобы передавать суть.

Можно лишь посетовать на отсутствие у озвучки живых ноток. Хочется слышать больше интонаций, соотносящихся с речью спикера. Пока же упор сделан на качество перевода, а не на естественность речи. Да и не со всеми стримами функция работает так, как от нее ожидаешь. Но в скором времени Яндекс наверняка это исправит, ведь проект постоянно развивается.

🔥 Смотрите также:

• Как появилось слово Спам (Spam): удивительная история происхождения термина.
• ТОП 100 самых населенных стран мира. На каком месте Россия, Япония, США, Китай и т.д.
• Как превратить нарисованные от руки каракули в полноценные рисунки при помощи нейросети.

🍏 Мы в Telegram и YouTube, подписывайтесь!

Насколько публикация полезна?

Нажмите на звезду, чтобы оценить!

Средняя оценка 5 / 5. Количество оценок: 2

Оценок пока нет. Поставьте оценку первым.

Субтитры Youtube: как включить, перевести на русский

Как на Ютубе включить субтитры на русском – интересует многих пользователей, которые хотели бы смотреть зарубежный контент Youtube и понимать, о чём идет речь. Отображение текста значительно упростит эту задачу. Кроме того, люди со слабым слухом также нуждаются в субтитрах. В статье расскажу об актуальных методах 2018 года, которые учитывают все изменения и нововведения интерфейса. Также рассмотрим настройки и разберемся с переводом с английского на русский язык.

Некачественный контент

Хорошо, когда ролики создаются на профессиональном оборудовании, используется хороший микрофон, без посторонних шумов. Тогда смотреть/слушать такие видео – одно удовольствие. Но не всегда так бывает. Порой приходиться иметь дело с контентом плохого качества, когда голос практически неслышен, трудно разобрать, о чем говорят. А если еще и на чужом языке, то вообще проблемно. К сожалению, много полезных инструкций как назло записываются в других странах, приходиться по несколько раз просматривать, пытаясь уловить суть. Учить английский захочет не каждый, поэтому, компания Google, владеющая видеохостингом Youtube, решила помочь пользователям, снабдив каждый ролик автоматическими субтитрами. Если раньше текст должны были загружать сами авторы роликов, то теперь алгоритмы распознавания голоса неплохо справляются с данной задачей.

Как на Ютубе включить субтитры на русском?

• Достаточно навести курсор мыши на окно просмотра и кликнуть по специальному значку:

• После этого на экране сразу же появится текстовая трансляция на том языке, который автоматически определяется сервисом;
• Если визуальное оформление не устраивает, то рядом с кнопкой «Субтитры» есть символ настроек – «шестеренка», нажав на который откроем меню. А в нём будет нужный пункт:

• Далее следует выбрать «Параметры»:

• Настройка субтитров в Ютубе выглядят следующим образом:

• Как видите, реально менять фоновый цвет фона, шрифт, прозрачность элементов, контуры, высоту и прочие показатели. Это очень важный момент для людей с проблемным зрением, а также для случаев, когда цветовое оформление видео не очень совпадает со стилем текста.

К сожалению, искусственной интеллект совершенным назвать сложно, субтитры не всегда отображаются корректно. Порой показываются не те слова, которые произносятся в видео. Ну а со знаками препинания беда, поскольку их нет вообще. Хорошо, когда авторы контента сами создают файл «subtitles», синхронизируют его, чтобы всё совпадало по времени. Но на это нужно тратить больше времени, поэтому, приходиться в большинстве случаев довольствоваться автоматическими возможностями Google.

Кстати, еще одна полезная фишка – расшифровка. Включить её просто – жмем на «три точки» под заголовком клипа с правой стороны, активируем опцию и видим все произнесенные слова с разбиением на временные промежутки:

Как включить на телефоне Android в специальном приложении Ютуб, скачанном с Гугл Плей? Суть похожая – пальцем тапаем по области просмотра, в правом верхнем углу отобразится «три точки» (для входа в меню), вот там как раз и активируются субтитры. Но никаких параметров больше не найдете.

Возможные проблемы

Если в браузере пытаетесь включить текстовую трансляцию, но нужного значка нет, а в настройках стоит значение «Откл» (или «Off»), которое изменить нельзя, значит Youtube не смог создать автоматически контент для чтения. Это возможно из-за следующих факторов:

• Длительность клипа очень большая;
• В ролике используется язык, неизвестный системе (к примеру, африканский диалект и т.д.);
• Голос слишком неразборчив, много сторонних шумов.

В таких случаях мы никак не можем повлиять на ситуацию.

Автор рекомендует:

• Где найти и как запустить калькулятор на Windows 7/8/10: все способы
• Возвращаем «Персонализацию» в Windows 7
• Как узнать и поменять MAC адрес компьютера
• Устанавливаем будильник на компьютер Виндовс 10 / 8 / 7
• Как сделать принтскрин на компьютере — снимок экрана
• Как в Опере включить VPN на компьютере и смартфоне
• FYI что это значит, как расшифровывается

Как на видео включить субтитры с переводом с английского на русский

Активация происходит по схеме, описанной в предыдущей инструкции, вот только есть несколько дополнительных пунктов:

• Нужно кликнуть по надписи – «Перевести»:

• Появится немалый перечень языков, находим нужный. Только советую для этого использовать не прокрутку колесиком мышки с последующим кликом, а кнопки-стрелки на клавиатуре – листаем пока не выделим необходимый вариант, затем жмём Enter для подтверждения:

• Спустя пару секунд сможете увидеть переведенный текст. Опять же, используются возможности Google Translator, который почти совершенен, но не на 100%. ПО крайней мере, я просмотрел несколько зарубежных клипов и претензий никаких не возникло.

Видео

В нём я поведаю, как включить русские субтитры на Youtube, произвести настройку, как изменить язык на Ютубе:

Яндекс.Браузер стал переводить и озвучивать практически любое видео с YouTube и Vimeo

В Яндекс.Браузере появилась функция закадрового голосового перевода видеороликов с YouTube, Vimeo и других сервисов. Впервые режим закадрового перевода был представлен ещё в июле, но тогда он работал в тестовом режиме только в ПК-версии браузера и с ограниченным числом роликов. А теперь он стал доступен всем пользователям Яндекс.Браузера вне зависимости от типа устройства и платформы.

Подписывайтесь на наш Телеграм

Яндекс.Браузер предлагает автоматически перевести на русский язык и озвучить практически любые видеоролики, размещённые на YouTube, Vimeo и некоторых других популярных платформах, за исключением лицензионного контента (перевести новую серию свежего сериала от Neflix таким способом не получится). Пока функция доступна только для англоязычных видео, но в перспективе Яндекс планирует добавить новые языковые пары и голоса. Это, по задумке отечественного интернет-гиганта, поможет стереть языковые границы в интернете.

Отмечается, что весь процесс перевода видео занимает несколько минут. Сначала система распознаёт текст на видео, превращая звуковую дорожку в текст. После нейросеть разбивает полученный текст на предложения, переводит его и синтезирует голос с учётом пола. Затем оригинальная дорожка приглушается и на неё накладывается новая. В этом тоже помогают нейронные сети. Пока для озвучки доступны только два голоса — мужской и женский (голосового ассистента Алисы). Разработка системы видеоперевода заняла у Яндекса около года.

Материалы по теме:

• Можно управлять только голосом? Обзор Яндекс Телевизора 50″ с Алисой
• 2 часа ходил за роботом-доставщиком Яндекса и разобрался, как всё устроено. Это — будущее
• Алиса, Алекса и Маруся — неудачные имена голосовых ассистентов. Правильно поступил Google
• Браузерный «офис» от Яндекса, Google или Microsoft: детальное сравнение сервисов
• Умный дом Яндекса: какие устройства он включает и во сколько всё обойдётся

При подготовке материала использовались источники:
https://yablyk.com/157879-live-video-translation-how-to-enable-and-use/

https://trashbox.ru/link/2021-09-07-v-brauzere-poyavilsya-perevod-i-ozvuchka-prakticheski-lyubyh-video