Дипфейк что это такое простым языком
Дипфейки: кому и зачем они нужны
Дипфейк (deepfake) – производная от «глубокого обучения» и «подделки»; штука, про которую сегодня большинство говорит с опаской. Само название как бы кричит: «Я зло!». А наша гипотеза в том, что это технология с огромнейшим позитивным потенциалом, которая пока используется в основном как игрушка в руках неразумного человека. Что это и как на самом деле? Давайте разбираться.
Дипфейки используют технологии искусственного интеллекта для синтеза изображений, в результате чего один персонаж как бы накладывается на другого и получается «комбо»: оживает Мона Лиза или Терминатором становится Бред Питт.
Эта технология позволяет легко манипулировать аудио- и видеоконтентом, а по мере того, как она развивается, разобраться, где правда, а где фейк – становится всё сложнее. Так в прогремевшем на весь интернет видео Барак Обама критикует Дональда Трампа, называя его «полным провалом». В США считается, что дипфейки представляют угрозу национальной безопасности. В Калифорнии некоторые виды дипфейков даже запретили законодательно.
Чаще всего дипфейки создаются с помощью генеративно-состязательной сети (GAN), в ней 2 системы: генератор и дискриминатор. Они работают как пара студентов в университетской микрогруппе: один предлагает идеи, другой их критикует. Генератор создаёт изображения, а обученный на реальных фотографиях дискриминатор подсказывает, что нужно исправить.
Заметим, что технология постоянно развивается. Так, например, алгоритм BigGAN от Google и NVIDIA позволяет не просто воссоздавать, а создавать лица несуществующих людей, которые невозможно отличить от настоящих.
Недавно разработчики из Samsung и Сколково представили алгоритм на основе BigGAN, который позволил «оживить» Мону Лизу, то есть для (относительно) хорошего результата нейросети достаточно одного кадра. Нейросеть работает лучше всего, если дать ей несколько изображений человека, снятых под разными углами.
Сейчас на рынке десятки приложений, с помощью которых любой может сделать дипфейк, самые известные – Zao, DeepFaceLab, Deepfakes web β.
Конкурентные преимущества приложений похожи на классический треугольник «цена-качество-скорость»:
– Скорость. Одни выполняют конверсию за секунды, другим нужны часы.
– Необходимое количество исходного материала. Некоторым достаточно одной фотографии.
– Точность итогового результата. Обычно чем больше исходного материала и дольше идёт процесс анализа, тем точнее получается результат.
Год назад NVIDIA представила нейросеть, которая может превращать скетчи в реальные изображения. Технологию назвали GauGAN в честь Поля Гогена. Такую штуку можно использовать в архитектуре, дизайне, создании игр, да где угодно.
Технологию, которая лежит в основе дипфейков, можно использовать и в киноиндустрии, рекламе или при реконструкции исторических событий. Например, с её помощью была сделана социальная реклама, в которой Дэвит Бэкхем рассказывает об опасности малярии на 9и языках.
Музей Сальвадора Дали во Флориде «оживил» художника с помощью всё той же технологии. В результате зрители могли пообщаться с Дали, послушать его истории и даже получить совместное селфи. Для этого потребовалось 6000 фотографий Дали, 1000 часов машинного обучения и 145 видео с актером похожих пропорций, а ещё горы интервью и писем художника, чтобы воспроизвести голос, акцент и манеру речи.
Кстати, алгоритм GAN предлагается использовать и в астрофизике для того, чтобы избавляться от помех и шумов при съёмке космических объектов и получать качественные изображения.
Если вы тоже считаете, что человеческий интеллект создан для творчества, а машинный – для работы, присоединяйтесь к нам на YouTube или в Facebook!
Deepfake: краткая история появления и нюансы работы технологии
Немного истории
Технологии синтезирования видео и аудио нельзя назвать новыми. Они разрабатываются с конца 90-х годов XX века. Конечно, разные попытки делались и до этого, но мы говорим о тех технологиях, которые получили продолжение. Так, в 1997 году компания Video Rewrite представила технологию, которая позволяла сформировать видео, где артикуляция лица совпадала с синтезированной аудиодорожкой. Т.е. моделировалась артикуляционная мимика лица, которая полностью соответствовала синтезированной компьютером аудиодорожкой.
Но это были лишь первые попытки, которые активно развивались в течение двух десятков лет. Сейчас нам доступны технологии обработки голоса, объединения компьютерной графики с реальными видео и многое другое. Не везде применяется ИИ, но все же самые реалистичные системы сформированы на базе машинного обучения.
Появление «настоящих» дипфейков
Технология Deepfake упрощает процесс синтезирования изображения и создания звуковых дорожек с заданными параметрами за счет использования нейронных сетей. Они обучаются на сотнях или даже тысячах примеров лиц и голосов, с ними связанными. После этого ИИ показывает весьма впечатляющие результаты.
Нет сомнения, что с течением времени будут появляться все более реалистичные дипфейки. Уже сейчас они никого не удивляют, а в ближайшем будущем и вовсе станут привычным делом. Но кто отвечает за развитие технологий, где они используются, как работают и чего нам ожидать в будущем?
Современные игроки
Большинство крупнейших технологических игроков и развлекательных компаний активно исследуют отрасль «синтетических медиа». Amazon стремится сделать голос Алексы более реалистичным, Disney изучает, как использовать технологию смены лица в фильмах, а производители оборудования, такие как Nvidia, расширяют границы синтетических аватаров, а также услуг для кинопроизводства и телевидения.
Но есть и организации, которые создают технологии, позволяющие отличить подделку от реальности. В их число входят, например, Microsoft и DARPA.
К слову, у большинства ПО по созданию дипфейков открытый исходный код, что дает возможность работать с дипфейками даже небольшим компаниям. Проектов достаточно много. Это, например, Wombo, Аvatarify, FaceApp, Reface, MyHeritage и многие другие.
Как создаются дипфейки
Классическая компьютерная обработка изображений использует сложные алгоритмы, созданные при помощи традиционного программного обеспечения. Эти алгоритмы чрезвычайно сложны. Как говорилось выше, совсем недавно дипфейки представляли собой контролируемую модель, которой управляют разработчики. Подавляющее большинство элементом артикуляционной мимики жестко прописывалось в алгоритмах.
Правда, для того, чтобы создать убедительный дипфейк, требуются большие объемы видео, статические изображения, голосовые записи, а иногда даже сканирование головы реального актера с последующим анализом в качестве обучающих вводных данных. Например, клиенты Synthesia в течение примерно 40 минут снимают на видео, как они зачитывают заранее подготовленную речь, чтобы потом этот контент использовался для обучения нейронными сетями.
Несмотря на весьма впечатляющие результаты, дипфейки, создаваемые ИИ, не являются идеальными. У дипфейков есть ряд хорошо заметных (не для человека, для специализированного ПО) признаков, которые пока еще позволяют отличить реальность от вымысла. Это, например, нюансы освещения и теней, мигание, артикуляция, выражение и тон голоса. Для создания убедительного дипфейка все это нужно правильно комбинировать.
Изображения и видео
Достаточно часть в этом направлении используется Variational Autoencoder – VAE. Это генеративная модель, которая находит применение во многих областях исследований: от генерации новых человеческих лиц до создания полностью искусственной музыки. Что касается видео, то VAE позволяет достаточно быстро перенести особенности мимики и артикуляции определенного человека на сформированную объемную модель. VAE используется достаточно давно, но дипфейк, созданный при помощи этой технологии, несложно выявить.
А вот с 2017 года развиваются генеративные состязательные сети (GAN). Здесь в единое целое объединены, по сути, две нейронные сети. Одна, «дискриминатор», определяет реалистичность модели, созданной другой нейросетью. На выходе получается модель, которая была «одобрена» и является наиболее реалистичной.
Что дальше?
Дипфейки также поднимают множество вопросов о том, кому какой контент принадлежит, что делать с лицензиями и как наказывать нарушителей. Так, уже сейчас актеры заключают контракты с компаниями, разрешая использовать их образ и голос в рекламе или фильмах. Но, вероятно, некоторые компании будут использовать дипфейки знаменитостей в своих целях без всяких разрешений.
Что такое дипфейк, почему он опасен и как его распознать?
Вы видели, как королева Елизавета танцевала на столе, произнося новогоднее послание? Или вы слушали речь Ким Чен Ына о демократии или восхищались Сальвадором Дали, рассказывающим о своей смерти (в которую он не верит)?
Все эти удивительные фильмы объединяет одно — они фальшивые. Deepfake — это создание и публикация ложной информации в виде видео, аудио и фотографий. Создавать Deepfake становится все проще, поэтому мы подготовили руководство по созданию, распознаванию и поиску дипфейков в Интернете.
Что такое дипфейк?
Deepfake — это, по сути, фото, видео или аудио материал, который не является реальным. Он создается с помощью алгоритмов, основанных на реальных образцах голоса, звука, видео или фотографий, которые объединены вместе. Алгоритм берет информацию из множества разных мест и затем объединяет их в один материал. В результате создается нечто новое (не настоящие), основанное на сопоставлении различных реальных данных.
Но не только это. Deepfake также может «рисовать» фотографии с нуля, например, создавая персонажей и лица людей, которых никогда не существовало.
Какова цель такой инновации? Deepfake используется для размещения ложной информации в Интернете (например, о политических событиях), взломе, краже (в том числе подделку голосовых команд). Его также можно использовать в образовательных и развлекательных целях.
Deepfake — как это работает?
Есть два метода создания дипфейк-материала.
Первый использует два алгоритма. Кодировщик ищет общие черты двух изображений (которые нужно объединить в одно), второй (декодер) может передать их в новое ложное изображение. Например, если мы хотим, чтобы актер двигался так же, как мы, кодировщик будет изучать движение из видео с танцами. Декодер превратит наше лицо в лицо актера и заставит его реагировать таким же образом. Ключевыми здесь являются выбранные функции, которые копируются в новое изображение (например, движение рта, жесты, мимика).
Второй способ — через генерирующие состязательные сети (GAN), где два алгоритма работают вместе. Первый называется генератором, потому что, используя общую информацию, он создает изображения (например, изображение человека), определяя другие его отличительные черты (у человека есть тело. У человека есть лицо. У человека есть глаза). Второй алгоритм — это дискриминатор, который оценивает, верны ли изображения, предоставленные ему генератором.
Со временем оба алгоритма становятся все более и более совершенными за счет обучения. Если генератор настроен так, что дискриминатор не распознает фальшивую фотографию (считает ее настоящей), процесс можно считать завершенным.
Поддельные записи остались в прошлом. Теперь нам нужно остерегаться фейковых видео.
Угроза Deepfake — с каких пор она существует?
Впервые подобная ложная информация появилась в 2017 году. На тот момент пользователь под псевдонимом deepfake опубликовал на Reddit несколько порнографических фильмов, в которых принимали участие знаменитости, в т.ч. Скарлетт Йоханссон, Галь Гадот и Тейлор Свифт. С тех пор эта область сильно развивается, потому что дипфейк-фильмы может делать практически любой.
Как сделать дипфейк?
Если дипфейк-видео может делать кто угодно, можно ли его снимать дома? Однозначно да, но их качество не будет идеальным. Для их создания вам потребуются большие вычислительные ресурсы и мощные видеокарты.
То, что у нас обычно есть в домашних компьютерах, недостаточно, а сам процесс разработки может занять несколько недель. Качество фильмов тоже оставляет желать лучшего — будут видны ошибки, движение рта может не совпадать со звуком, и будут видны места, где «старый» контент перекрывается с «новым».
Однако, если мы хотим немного «подправить» фотографию или сделать короткий дипфейк-фильм, программу можно загрузить прямо на смартфон. Очень простое в использовании приложение исправит недостатки красоты за несколько мгновений, превратит нас в избранных знаменитостей или позволит нашей собаке говорить человеческим голосом.
Как распознать дипфейк?
Профессиональные дипфейк-видео становится все труднее и труднее распознать. Первоначально у алгоритмов были проблемы с базовым поведением (например, с морганием глаз), и это сразу выдавало поддельное видео. Эта ошибка исправлена. Поддельные персонажи моргают, двигаются естественно, а также бегло говорят. Однако иногда у них возникают проблемы с естественным движением глаз.
Так как же обнаружить дипфейк? Вот на что следует обратить внимание при просмотре видео:
При анализе материалов на дипфейк также стоит полагаться на собственные ощущения. Иногда создается впечатление, что что-то «не так».
Прежде чем поверить найденной информации, обязательно ее проверьте.
Deepfake на русском языке — где можно встретить?
Ложный материал можно найти везде, где он может охватить большую аудиторию, то есть потенциальную аудиторию дипфейков. Вк, Одноклассники, Instagram, TikTok и другие социальные сети полны такого рода материалов. Это не только видео, но и «доработанные» фото и аудиозаписи. Некоторые из аутентично выглядящих профилей были полностью заполнены дипфейком!
Это не единственные места, где можно найти дипфейк. Приложение для смартфона, которое позволяет добавить на фото усы и бороду или другие спецэффекты (например, старение на несколько десятилетий), также основано на этом механизме.
Deepfake — фильмы
Deepfake можно использовать по-разному, как положительно, так и отрицательно.
Что такое дипфейк
Материалы Deepfake также могут иметь образовательные функции, «воскрешая» умерших артистов, певцов и музыкантов. Некоторые музеи (в том числе Музей Сальвадора Дали во Флориде) используют эту технологию. Благодаря этому сам художник показывает туристам свои коллекции, с которыми можно поговорить и даже сфотографироваться.
Записи Deepfake можно использовать в генераторах голоса — устройствах, предназначенных для людей, потерявших способность говорить. Благодаря им они все еще могут говорить с нами своим голосом.
К сожалению, мы также имеем дело с негативным использованием дипфейка. Политика — это пример того, как ложная информация такого рода может иметь далеко идущие глобальные последствия, в том числе: дискредитировать общественных деятелей, влиять на фондовый рынок, экономику или результаты выборов. Хорошо подготовленный фильм также упрощает манипулирование общественным мнением. Прогрессивное развитие технологий затруднит различение настоящих и поддельных материалов. Следовательно, это шаг к снижению общественного доверия и информационному хаосу.
Обязательно посмотрите примеры дипфейков
Угроза Deepfake — реальна для всех нас
Deepfake — это проблема не только американских актеров и политиков. Подделка может повлиять на любого. Созданное видео, в котором мы совершаем преступление или попадаем в не однозначную ситуацию, может стать элементом шантажа и вымогательства. Если вы ведете активный бизнес, дипфейк можно использовать для дискредитации компании среди ее подрядчиков.
Растущее количество подтасованных материалов также повлияет на социальное доверие и веру в предоставленную информацию. Как верить чему-либо, когда фильм, являющийся доказательством в суде, может быть неправдой, а в новостях описываются несуществующие события?
Чем больше записей с данным человеком, тем проще создать дипфейк.
Борьба с дипфейком
Поток ложной информации настолько велик, что многие социальные сети решили бороться с дипфейком. Facebook и Twitter пытаются обнаружить поддельные видео и автоматически удалить их. Крупные корпорации (в том числе Microsoft или Amazon) вкладывают средства в создание программного обеспечения, которое легко обнаруживает подделанные материалы. Ученые также работают над решениями.
Однако в ситуации, когда приложения для смартфона достаточно для создания фейкового фильма, борьба с дипфейком — это борьба с ветряными мельницами. Также отсутствуют правовые нормы, которые определяли бы последствия манипулирования информацией или использования чьего-либо изображения таким образом.
Резюме
Deepfake становится все более популярным, и его все труднее отличить от правды. Это связано с совершенствованием технологий, лучше имитирующих движения и жесты человека. Программное обеспечение Deepfake можно использовать с хорошими целями, создавая учебные материалы, но они также являются инструментом для хакеров, шантажистов и интернет-троллей.
Поэтому, если вы снова наткнетесь на удивительное видео в сети, сначала проверьте, не было ли оно создано искусственно. Возможно, то, что вы смотрите, никогда не происходило!
Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.
Дипфейки: дезинформация или шаг в будущее?
Фейки на выборах и «воскрешение» из мертвых
Совсем недавно, на рубеже XX и XXI веков, сверхпопулярной была программа Photoshop. Теперь на смену ей пришли нейросети, а именно дипфейки (Deepfake). Эта технология куда опаснее, но также перспективнее прежней возможности грубо вырезать лица людей с фотографий и приклеивать их на другие снимки.
Другая история произошла в 2020 году на выборах в Индии. В Дели лидер одной из оппозиционных партий Маноджа Тивари сделал заявление на хинди и на диалекте хариани. При этом говорить на этом языке он не умел. Пойти на обман Маноджа Тивари решился скорее всего из-за желания завоевать голоса рабочих-мигрантов в Дели. Они как раз говорят на диалекте хариани.
И подобных случаев уже много. В истории с лидером индийской оппозиции интересно то, что он так и не признался в использовании технологии: доказать это довольно сложно, вот и признаваться необязательно.
Еще один пример — фильм «Би-би-си» «Добро пожаловать в Чечню» про активистов, критикующих власть. Создатели картины не стали «замазывать» лица оппозиционеров, а наложили на них дипфейки активистов, живущих в Нью-Йорке.
Можно ли вычислить дипфейки
Сложность в борьбе с нечестным использованием технологии заключается в том, что подделки будут становиться только качественнее.
Дипфейк — это генеративно-состязательная сеть. В ней есть генератор и дискриминатор. Генератор создает подделку, а дискриминатор критикует и указывает на ее недостатки. После этих замечаний генератор снова приступает к работе. В итоге появляется очень точный фейк.
Некоторые страны приняли решение регулировать дипфейки законом.
В 2020 году Калифорнийский и Стэндфордский университеты смогли повысить точность выявления дипфейков до 97%. Ученые исследовали виземы и фонемы.
Виземы — визуальное выражение того, как произносится тот или иной звук. Условно — мы говорим что-то и наш рот как-то движется. Филологи пытаются сравнить виземы в дипфейках и в оригинальных видео. Действительно, виземы в дипфейках выглядят немного иначе. Если обучить алгоритмы на таком поле данных, точность распознавания подделки будет достаточно высокая.
Другой способ вычисления обмана — изучение того, как шумит реальное и поддельное видео. Шум в дипфейках немного другой, и часто это удается услышать.
Другая сторона дипфейков
С помощью генеративных нейронных сетей можно создавать контент, используя минимальное количество данных. С этой точки зрения технология связана совсем не с «пересадкой» лиц для веселья, а с практической целью. Сейчас по одной фотографии и тексту возможно генерировать видео. Текст синтезируется в аудио, по аудио анимируются фотографии — в итоге мы получаем говорящего спикера. С помощью этого комплекса алгоритмов можно очень быстро создавать видеоконтент.
Дипфейки могут «воскрешать» любимых актеров. Например, Филип Сеймур Хоффман и Пол Уокер, умершие во время съемок фильмов с их участием («Голодные игры: Сойка-пересмешница» и «Форсаж 7» соответственно), были воссозданы в цифровом виде. А Кэрри Фишер «воскресили» для съемок в девятом эпизоде «Звездных войн».
Мария Чмир, гендиректор Deepcake.io, утверждает, что скоро появится инструмент, который полностью изменит интерактивность. Сегодня все, что дают зрителям, — это выбрать концовку сериала. В будущем с помощью дипфейков мы сможем оказаться внутри киновселенной вместе со своими друзьями. Будет возможность и менять надоевших актеров. Ведь генеративные нейросети позволяют существенным образом редактировать, видоизменять и трансформировать контент.
Именно поэтому дипфейки — это не только манипуляция и дезинформация. С помощью них можно будет снимать фильмы со спецэффектами, оживлять персонажей и в целом добавить новый опыт потребления контента.
Эйнштейн вместо тренера: что такое дипфейк и почему это тренд в обучении
Британский рекламный холдинг WPP обучает сотрудников при помощи нейросети. 50 000 человек осваивают основы маркетинга по видеокурсам с виртуальным наставником, который ведёт лекции на трёх языках: английском, испанском и китайском. При этом к каждому сотруднику наставник обращается лично по имени.
Видеокурсы на основе дипфейк уже создают компании Великобритании
и США. Рассказываем, что это за технология и чем полезна для бизнеса.
Что такое дипфейк и как работает
Дипфейк — видео, созданное с помощью искусственного интеллекта. Если упрощённо, нейросеть по пикселям собирает ролик на основе готовых изображений. Например, изучает тысячи фотографий Дэвида Бекхэма и выпускает видео, на котором спортсмен призывает людей бороться с малярией.
Дипфейк с Дэвидом Бекхэмом. Футболист на пяти языках призывает подписать петицию против малярии
Другой вариант работы — искусственный интеллект накладывает одного персонажа на другого и получается комбо: Джим Керри в роли злодея из фильма «Сияние» или Бред Питт в образе терминатора.
Нейросеть показала, как выглядел бы Джим Керри в фильме «Сияние». Смотреть пример целиком
Бред Питт в роли терминатора — очередная фантазия дипфейка
От архитектуры до журналистики — где используют дипфейк
Дипфейк изобрел студент Стэнфордского университета Ян Гудфеллоу
в 2014 году для разработчиков искусственного интеллекта. Но технология быстро вышла за пределы узкого круга учёных. Сейчас её используют
в массовой культуре: от архитектуры до журналистики.
С помощью дипфейка GauGAN детские наброски можно превратить в реалистичный пейзаж
У созданного при помощи дипфейка блогера Лил Микела два миллиона подписчиков в «Инстаграм»
Приложение Faceapp покажет, как бы вы выглядели в старости или женском образе
В чём польза дипфейка для корпоративного обучения
68% сотрудников предпочитают учебные видеоролики статьям, инфографике, презентациям и книгам. Это подтверждает международное исследование компании Wyzowl. При работе над видео дипфейк даёт бизнесу ряд преимуществ.
Это позволяет международным компаниям сэкономить деньги на локализации контента, снять языковой барьер и учить сотрудников во всех странах по единым стандартам.
Учебный ролик от стартапа Synthesia. При помощи нейросети тренер читает лекцию на французском, китайском и португальском. Технология меняет не только озвучку, но и движение губ тренера
При помощи технологии дипфейк лекция больше похожа на разговор по душам — тренер обращается к сотруднику по имени и говорит лично с ним
Как получить видеокурс по технологии дипфейк
Есть два способа: заказать у студии или создать самому при помощи специальных программ.
Чтобы сделать видеокурс в Synthesia Create не нужна студия, камера и даже ведущий — только сценарий. Остальное нейросеть делает за вас.
В Synthesia Create вы собираете видеокурс, как конструктор: выбираете персонажа, фон, язык озвучки, добавляете текст и нажимаете «Опубликовать». Курс готов — виртуальный персонаж ведёт тренинг по вашему сценарию
Synthesia Create полностью на английском языке. Есть бесплатная демоверсия. Чтобы её получить, достаточно оставить заявку на сайте.
Видеокурсы на основе нейросети кроме британского WPP уже создают в Reuters, SAP, Accenture и Buzzfeed, пишет издание Wired. Материалы используют для адаптации новичков, обучению технике безопасности и стандартам работы.
Технология дипфейк пока осваивается за рубежом. А позже, возможно, приживётся в и России, как это получилось с виртуальной реальностью.
Быстрый конструктор курсов и тестов
Поможет создать интерактивные курсы и тесты в рекордно короткие сроки. Без дизайнера и программиста.
Редактор iSpring. Пишу статьи по eLearning, помогаю экспертам выпускать материалы для блога iSpring. Если у вас есть интересная тема по дистанционному обучению, напишите мне.