Почему нейросети яндекса не переводят мне видео
Перейти к содержимому

Почему нейросети яндекса не переводят мне видео

  • автор:

«Яндекс» добавил в «Браузер» улучшение текста с помощью нейросети и перевод видео с корейского и японского

«Яндекс» добавил в «Браузер» улучшение текста с помощью нейросети и перевод видео с корейского и японского

Группы вкладок станут «облачными»: можно открыть страницу на смартфоне, а потом продолжить работу с ней на компьютере и наоборот. Главное условие — быть авторизованным в своём профиле «Яндекса».

Как пользоваться HeyGen — нейросетью для перевода видео с сохранением голоса

Аватар автора

Нейросеть HeyGen распознает речь в ролике и переводит ее на другой язык. При этом повторяет голос и даже соответствующие движения губ.

Это первый подобный популярный сервис. Он частично поддерживает русский язык: переозвучить на нем ничего нельзя, а вот с русского на английский, испанский, польский и другие — без проблем. Из-за ограничений HeyGen пока не получится пользоваться для длинных видео или сложных роликов с несколькими голосами. Зато короткие ролики переозвучить можно даже бесплатно.

Рассказываем, что такое HeyGen и как пользоваться сервисом.

БЕСПЛАТНЫЙ КУРС
Как управлять личными финансами
И перестать беспокоиться о деньгах, наладить с ними отношения и двигаться к целям и мечтам

Баннер

Что такое нейросеть HeyGen

Изначально HeyGen — cервис с виртуальными аватарами, которые озвучивают текст на разных языках. В соответствии с выбранным языком для цифрового персонажа генерируется мимика и движения губ. В сервисе есть свой видеоредактор, где можно создать диалог между несколькими персонажами. На выбор даются как мультяшные герои, так и реалистичные модели людей.

В сентябре 2023 года HeyGen выпустили в бета-версию функции перевода видео. Для нее используется одновременно три технологии: перевод, дипфейк

и распознавание голоса. Голос обрабатывают и копируют с помощью нейросетей. Текст переводят и переозвучивают на выбранном языке. Рот говорящего человека перерисовывают так, чтобы текст на новом языке ложился на мимику.

«Яндекс» встроил нейросети в свой браузер

МОСКВА, 13 февраля. /ТАСС/. «Яндекс» обновил собственный браузер, встроив в него нейросети, которые позволят улучшать тексты и генерировать изображения. Кроме того, стал доступен перевод видео с восьми языков, сообщили в пресс-службе «Яндекса».

«Яндекс» встроил нейросети нового поколения в собственный «Браузер». <. >Пользователи смогут улучшать свои тексты и генерировать изображения прямо в интерфейсе обновленного «Яндекс браузера». Его нейросети переведут на русский видео с восьми иностранных языков, перескажут их, сгенерируют субтитры и не только», — рассказали в пресс-службе.

Новые функции

После обновления встроенная в браузер нейросеть YandexGPT поможет пользователям писать комментарии, письма, отзывы и другие сообщения. Чтобы использовать функцию необходимо выделить фрагмент и выбрать функцию «Помочь с текстом», которая работает в трех режимах: «Исправить ошибки», «Сократить» и «Улучшить стиль».

Также нейросети «Яндекс браузера», после обновления, будут переводить видеоролики с японского и корейского языков на русский и накладывать озвучку. Ранее эта функция была доступна для английского, китайского, французского, испанского, итальянского и немецкого языков. Также нейробраузер сможет кратко пересказывать иноязычные видео с помощью YandexGPT и генерировать субтитры для русскоязычных видео.

Кроме того, пользователи смогут создавать изображения с помощью нейросети YandexART. Чтобы воспользоваться этой функцией нужно обратиться к «Алисе» и текстом или голосом описать то, что хочется увидеть на картинке.

В новую версию браузера была также внедрена ML-модель для проверки сайтов на наличие фишинга. В случае признаков опасности бразуер предупредит о рисках.

«Яндекс бразуер» был представлен в 2012 году. По данным компании, им пользуется более 80 млн человек.

Нейросети Яндекса научились переводить видео в реальном времени

Нейросети Яндекса научились переводить видео в реальном времени

Яндекс представил новую технологию перевода видео с английского языка, не имеющую аналогов в мире. Она объединяет в себе машинный перевод, технологии биометрии, распознавания и синтеза речи. Благодаря ей пользователи Яндекс.Браузера смогут смотреть ролики на иностранном языке с закадровым переводом.

Данный прототип разрабатывало несколько команд, и технология умеет сначала определять пол говорящего, а затем подбирать голос, соответствующий ему. Для большего совпадения закадрового голоса с картинкой алгоритм будет периодически делать паузы, а временами замедлять и ускорять переведенную речь. Это связано с тем, что некоторые англоязычные реплики в переводе на русский не совпадают по длине.

Создатели уже опробовали работу прототипа на видеозаписях из YouTube по различным тематикам, в том числе можно посмотреть переведенные ролики про изменение климата, самоуправляемые автомобили или историю Плутона. На данный момент работает только перевод ограниченного числа видео на английском языке.

Разработка прототипа еще продолжается. Тестирование доступно только пользователям операционных систем Windows и macOS, использующим Яндекс.Браузер. После финального релиза можно будет самостоятельно выбирать ролики для перевода с помощью новой технологии.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *