Российские ученые заявляют об успехах в создании дипфейков, которые могут упростить создание удивительно правдоподобных аватаров.
Их техники кажется, создают дипфейковое видео с высоким разрешением портрета, используя почти кого угодно в качестве модели движения или драйвера, и один кадр изображения для подделки.
Исследователи из Центра искусственного интеллекта Samsung в Москве; Сколковский институт науки и технологий, также в Москве; а также яндексроссийская интернет-компания.
Они описывают свою инновацию как «уникальное создание человеческих аватаров с высоким разрешением, называемых мегапиксельными портретами или мегапортретами». Это набор новых нейронных архитектур и приводов для потоковой передачи видео высокого разрешения.
Это бросается в глаза, но ни в коем случае не незаметно.
В коротких видеороликах пилоты, мало похожие на исходное изображение, которое нужно анимировать, смотрят вверх, вниз, влево и вправо; слова из уст в уста; улыбаться и кивать головой.
Результатом являются, например, анимированная Мона Лиза и американский актер Брэд Питт, которые генерируются в режиме реального времени. Движение дипфейка такое же плавное, как и у водителя. Особого внимания заслуживают реалистичные блестки в глазах и черты лица, такие как высокие скулы (на исходном изображении Анджелины Джоли), едва заметные или отсутствующие на исходном изображении.
В видео, сопровождающем их исследовательскую работу, команда хвалит реализм, который они создают вокруг глаз, обеспечивая сильное приближение к подлинным эмоциям — и они правы, делая это.
Над одеждой и плечами, признаются они, нужно поработать. Плечи напоминают те, что можно увидеть на марионетках, а одежда нереально плывет и колышется.
Фоны тоже нуждаются в доработке, что странно. Алгоритмы создают ракурсы и элементы, которых нет в исходниках, поэтому когда голова аватара движется, это должно быть достаточно просто, чтобы создавать реалистичные черты. Вместо этого образуется пестрая серая тень, которая застывает на месте.
Пропорциональность тоже страдает. Лица Питта и Джоли громоздкие, а подбородок и лоб резиновые. И на нескольких дипфейковых портретах бело-белые зубы не двигаются бок о бок с движениями головы водителей.
Каждый образец дипфейка длится несколько секунд и молчит, ограничения, которые вряд ли сохранятся надолго.
Темы статей
ИИ | биометрия | подделка подделка | исследования и разработки | Россия | Samsung
