Он все сделает сам: ИИ научили создавать видео на основе текста

Новый ИИ компании Baidu может автоматически создавать видео на основе текста.

Компания Baidu представила Vidpress — инструмент, который может создавать короткие видео только на основе коротких новостных заметок. Алгоритм на основе ИИ может производить до тысячи видео в день — новостные редакторы компании вручную могут выпустить лишь 300-500 видео в день. Vidpress создает двухминутные видео с разрешением 720p за две с половиной минуты, в то время как у людей уходит на это минимум 15 минут.

Для обучения модели Baidu использовала тысячи статей в интернете, чтобы объяснить системе как устроены новостные сюжеты. Кроме того, компания должна была отдельно обучить модели ИИ генерации голоса и видео. На последнем этапе алгоритм синхронизирует оба потока для финального видео.

Когда пользователь отправляет алгоритму ссылку, он автоматически собирает все связанные с ним статьи из интернета и создает из этого сводку. Например, если вы отправляете ему статью о том, что Apple запускает новый iPhone, ИИ изучит все подробности, связанные с запуском, включая спецификации и цену. После этого он создаст видео на основе ключевых тезисов, используя фото и видео.

ИИ также может следить за трендами в социальных сетях и создавать видео на смежные темы. Компания отмечает, что в будущем будет продавать ИИ новостным агентствам и использовать для продвижения своих видео на YouTube и других платформах.