Oct 07, 2020 • 10:09

Nvidia запустила сервис Maxine, улучшающий качество видеозвонков на основе нейросетей

Oct 07, 2020 • 10:09

Данная страница содержит «вставки» с других сайтов, скрипты которых могут собирать ваши личные данные для аналитики и своих внутренних потребностей. Редакция рекомендует использовать браузеры с блокировкой трекеров для просмотра таких страниц. Подробнее →

Компания NVIDIA представила алгоритм, позволяющий многократно снизить загрузку сети при видеозвонках или улучшить качество видео при такой же загрузке. Вместо того, чтобы посылать все кадры, алгоритм посылает один кадр с человеком, а затем лишь карту ключевых точек его лица, а компьютер на другой стороне анимирует кадр по этим картам с помощью нейросети.

Другая важная особенность платформы Nvidia — послабление требования к качеству соединения. Передавая только ключевые точки лица, технология снижает требование к пропускной способности до одной десятой в сравнении с видео, сжатого кодеком H.264. Такой метод позволяет значительно сократить расход трафика и требования к пропускной способности интернет-соединения, что особенно важно для мобильных устройств.

В показанных примерах ИИ использует статичное изображение и данные о положении ключевых точек артикуляции лица с веб-камеры говорящего, чтобы анимировать «аватара». Кроме того, разработчики могут дополнять приложения для видеозвонков вспомогательными функциями: модулем переводчика, субтитрами, виртуальными помощниками и анимированными аватарами.

По данным Nvidia, в настоящее время ежедневно проводится около 30 миллионов видеоконференций. Nvidia хочет оптимизировать качество видео и пропускную способностью с помощью Maxine.

«Видеосвязь стала частью повседневной жизни, помогая миллионам людей работать, учиться и играть, и даже обращаться к врачу. NVIDIA Maxine объединяет наши самые передовые возможности видео, аудио и искусственного интеллекта, чтобы обеспечить революционную эффективность и новые возможности платформ, которые позволяют нам всем оставаться на связи», — заявил вице-президент NVIDIA Ян Бак.