Dlss что это такое в играх
Что такое NVIDIA DLSS, как она повышает FPS и улучшает графику в играх — подробное объяснение
Что такое DLSS?
Чтобы окончательно определиться с тем, что такое DLSS, нужно дословно разобрать само понятие Deep Learning Super Sampling. Итак, суперсэмплинг — это технология сглаживания, которая создаёт каждый кадр в разрешении большем чем разрешение монитора, после чего уменьшает его обратно. То есть количество пикселей в кадре увеличивается и таким образом технология помогает сгладить резкие контрастные переходы между пикселями разных объектов. Говоря проще, убирает «лесенку» на краях объектов, нежелательные шумы на текстурах в движении и прочие «шероховатости» изображения.
Теперь немного о глубоком обучении. «Глубокими» называются нейронные сети, состоящие более чем из 1 входного и выходного слоя, например, нейронную сеть из 4 слоев уже можно считать глубокой. Каждый нейрон нового слоя соединен со всеми нейронами предыдущего слоя при помощи «весов». Фактически веса нейронной сети кодируют силу сигнала и позволяют ей обрабатывать входную информацию. Путем множества повторяющихся вычислений, веса глубокой нейронной сети подстраиваются при помощи алгоритма обратного распространения ошибки для того, чтобы ответ на выходе нейронной сети был как можно ближе к желаемому на проверочном наборе данных.
Если немного упростить, то глубокое обучение — это множество вычислений, выполняющихся на мощном оборудовании в процессе, выполнение которого совершенствуется раз за разом. Система не учится в человеческом понимании этого слова, она просто становится лучше, снова и снова проделывая одни и те же действия.
Как работает DLSS?
В итоге получается технология, использующая обученную на высококачественных примерах нейросеть, которая берет несколько кадров игры для создания суперсэмплинга и комбинирует их в финальный кадр. Вследствие чего экономится пользовательская вычислительная мощность и, соответственно, повышается FPS.
Эта технология с её выученными техниками улучшения изображения применяется и обновляется при помощи сервиса NGX. NGX — это пакет инструментов разработчика для интеграции алгоритмов глубокого обучения. Он позволяет разработчикам с легкостью интегрировать в приложения обученные нейронные сети для улучшения графики, редактирования фотографий и обработки видео.
Со стороны пользователя ничего не требуется, DLSS будет улучшаться автоматически путём обновления нейронной сети.
Где лучше использовать DLSS? Почему технология недоступна для всех разрешений?
DLSS разработана для увеличения частоты кадров при высокой нагрузке на видеокарту. То есть когда кадровая частота остаётся низкой при полной загрузке видеокарты и отсутствии так называемых «ботлнеков», ситуаций, в которых один из компонентов системы не даёт другим компонентам раскрыть весь свой потенциал. Если ваша игра уже работает с высокой частотой, то время визуализации кадра вашей видеокартой может оказаться меньше, чем время выполнения DLSS. В этом случае DLSS не нужна, потому что она не увеличит частоту кадров. Тем не менее, если игра сильно нагружает видеокарту (FPS находится ниже отметки в 60 кадров в секунду), то DLSS обеспечит оптимальное повышение производительности. В этом случае можно повысить свои настройки графики, чтобы получить максимальную выгоду от DLSS.
Если говорить чуть более технически, DLSS требует фиксированного количества времени видеокарты на каждый кадр для обработки данных нейросетью. Таким образом, игры, которые работают с меньшей частотой кадров или в более высоком разрешении, получают больше преимуществ от DLSS. В случае же с играми, работающими с высокой кадровой частотой или в низком разрешении, DLSS может не справиться с улучшением производительности. Когда время визуализации кадров видеокартой меньше, чем требуется для выполнения модели DLSS, технология не работает. Она активируется лишь в случаях, когда может дать прирост производительности. Доступность DLSS зависит от игры, модели видеокарты и выбранного разрешения.
А что насчёт размывания кадров?
Как уже указывалось выше, DLSS изначально создавалась для увеличения FPS при высокой нагрузке на видеокарту. И при разработке основной упор делался на высокие разрешения (когда нагрузка доходит до максимума), а 4K (3840×2160) является наиболее тяжёлым разрешением. Работа с 4K даёт больше преимуществ, когда речь идёт о качестве изображения, так как количество входных пикселей велико. Для 4K DLSS имеется 7,4 миллиона входящих пикселей, из которых можно сгенерировать окончательный кадр, в то время как для 1920×1080 имеется только около 1.84 миллионов пикселей. Чем меньше исходных данных, тем сложнее DLSS обнаруживать особенности исходного изображения и предсказывать окончательный кадр. То есть чем меньше разрешение, тем хуже работает DLSS.
NVIDIA знает о проблеме с размытием изображения на низких разрешениях и работает над её решением. Добавляется больше обучающих данных и новых методов для повышения качества. Обучение глубокой нейронной сети продолжается, и со временем она улучшится.
Чем хуже технология TAA?
Игровая индустрия использовала временное сглаживание многие годы и, по мнению вышеупомянутого Эндрю Эдельстена (Andrew Edelsten), его время скоро подойдёт к концу. Так как конечный результат работы TAA генерируется из нескольких кадров, получившееся изображение может страдать от ореолов и мерцаний при высокой скорости движения. DLSS же справляется с этим лучше во многом благодаря нейросети, способной выдавать более качественную картинку как в статике (неподвижном состоянии), так и в динамике (движении). Также, в отличие от TAA, DLSS в процессе работы реконструирует изображение до более высокого разрешения.
Какие игры уже поддерживают DLSS?
В Battlefield 5 DLSS, по мнению NVIDIA, на данный момент обеспечивает значительное улучшение производительности (до 40 %) в разрешениях 4K и 2560 × 1440 при сопоставимом качестве. В дальнейшем командой разработки планируется работа над улучшением качества изображения для разрешения 1920×1080, а также для сверхшироких мониторов (например, с разрешением 3440 × 1440).
А для Metro Exodus уже есть обновление, улучшающее чёткость DLSS и общее качество изображения для всех разрешений, которые не были включены в день запуска. Также ведётся обучение DLSS для этой игры, в результате которого ожидается ещё одно повышение качества изображения.
Для каких ещё игр будет добавлена DLSS?
Бесплатные ФПС: как ИИ помогает сделать игровую графику лучше
В последние годы искусственный интеллект приобретает все большую популярность. Стоит только попросить, и Siri сообщит вам результат футбольного матча, который вы пропустили вчера вечером. Рекомендации в Spotify подскажут, чем пополнить музыкальную библиотеку, а Amazon попытается предсказать, какой продукт вы купите в следующий раз, когда этого еще не знаете даже вы.
Не обошел стороной он и игровую индустрию. Пока в геймерской среде сравнивают графику вышедшей на ПК Death Stranding с технологией DLSS и без нее, на днях стало известно, что в процессорах NVIDIA Ampere будет задействована уже DLSS 3.0. При этом она будет работать с любой игрой с TAA (Temporal Anti-Aliasing) и драйвером Game Ready. Это означает, что разработчикам понадобится подстроить технологию к своим играм — впрочем, этот процесс будет проходить куда легче, чем сейчас.
В этой статье мы рассмотрим, как NVIDIA использует машинное обучение для улучшения нашего игрового опыта.
Что такое DLSS?
Качество графики в современных играх только возрастает, а вместе с ним растет вычислительная сложность производимых операций. Этому мы обязаны трассировке лучей, имитирующей настоящее освещение в реальном времени, тем самым оставляя предварительно запеченные отражения пережитком прошлого. Вычислительная сложность рейтрейсинга связана с тем, что разрешение современных игр превышает старые добрые 1080p. Отсюда необходимость ускорения расчетов во время рендеринга.
Deep Learning Super Sampling (DLSS) — технология NVIDIA, использующая глубокое машинное обучение для повышения частоты кадров в играх, требующих сложных графических вычислений. С DLSS геймеры могут использовать более высокие настройки и разрешение, не беспокоясь при этом за стабильность fps.
В частности, DLSS выполняет задачу суперразрешения. С его помощью изображение с разрешением, скажем, 1080p может быть увеличено до 4K с минимальными потерями в качестве. Это избавляет от необходимости воспроизводить игру в 4K (и тем самым, вероятно, расплавить ваш ПК). Разрешение по-прежнему будет 1080p, что позволяет сохранить более высокую частоту кадров, однако благодаря масштабированию при помощи DLSS разницы с 4K вы практически не заметите.
Архитектура DLSS 2.0
По сути, DLSS — это нейронная сеть, обученная на суперкомпьютерах NVIDIA. Выход этой нейросети сравнивается с эталонным изображением с разрешением 16K, а ошибка между ними возвращается сети по петле обратной связи. Чтобы не возникло проблем со скоростью, DLSS использует тензорные ядра, являющиеся основой процессоров RTX 2000 (и в будущем RTX 3000). Это позволяет значительно ускорить тензорные операции и повысить эффективность обучения ИИ и задач, связанных с высокопроизводительными вычислениями.
Эволюция DLSS: от 1.0 к 2.0
DLSS 1.0 обучался для каждой игры отдельно, а оттого учился чрезвычайно долго. Еще он не поддерживал 4-х кратный апсэмплинг (upsampling), например, из 1080p до 4K, и имел ряд других недостатков в качестве изображения, которые не стоили улучшения частоты кадров.
DLSS 2.0 — более общий алгоритм, лишенный ограничений на обучение и апсэмплинг, а также имеющий меньшую задержку вывода за счет использования тензорных ядер: она составляет порядка 1,5 мс при 4K на RTX 2080ti — и в некоторых случаях обеспечивает результат даже лучше, чем исходное изображение.
Изображения с DLSS имеют конечное разрешение 1080p
В DLSS 1.0 максимально можно увеличить разрешение 720p до 1080p, тогда как DLSS 2.0 может масштабировать до 1080p даже разрешение 540p. Как видно на примере, изображение при 540p выглядит совсем размытым. При этом результат с DLSS 2.0 оказался лучше, чем с DLSS 1.0, и даже немного лучше исходной картинки. То есть, DLSS 2.0 справляется с заполнением пикселей эффективнее, чем DLSS 1.0, даже несмотря на то, что последнему нужно перемасштабировать не такую большую разницу в разрешении.
Умение DLSS 2.0 масштабировать изображение с разрешением 540p в сочетании с малой задержкой, обусловенной самим методом, дает существенное увеличение производительности по сравнению с предшественником.
Время рендеринга с DLSS 2.0 и без него (в мс)
Подробнее о принципе работы DLSS
При рендеринге геометрии сцены в играх (например, в треугольнике) количество используемых пикселей (или sampling rate — субпиксельная маска) определяет, как будет выглядеть изображение.
При использовании сетки сэмплирования 4×4 для рендеринга треугольника мы видим, что результат оставляет желать лучшего.
С увеличением сетки сэмплирования в 4 раза — до 8×8 — изображение оказывается больше похожим на предполагаемый треугольник. В этом и заключается суть DLSS: преобразовать изображение с низким разрешением в более высокое.
Суть DLSS
В результате при той же стоимости рендеринга, что и у низкокачественного изображения, вы получите изображение с более высоким разрешением.
Цель DLSS
Это фактически решает уже не новую проблему супер-разрешения.
Давайте кратко рассмотрим, как развивались методы повышения разрешения с помощью ИИ.
Single Image Super-Resolution
Эта техника позволяет получать изображения с высоким разрешением из более низкого при помощи методов интерполяции, таких как билинейный, бикубический и фильтр Ланцоша. Можно реализовать ее и с помощью глубоких нейронных сетей, но тогда возникает проблема искажения новых пикселей, полученных на основе данных обучения. Это приводит к тому, что изображение будет казаться правдоподобным, но не слишком похожим на исходное. Метод выдает чрезмерно гладкую, не детализированную картинку и нестабилен во времени, что приводит к несогласованности и мерцанию кадров.
Single Image Super-Resolution
Давайте сравним несколько результатов таких техник супер-разрешения на основе одного изображения с тем, что предлагает DLSS 2.0.
Целевое разрешение — 1080p
Очевидно, что результат DLSS 2.0 лучше, чем метод бикубической интерполяции и ESRGAN — архитектуры нейронной сети, использующей метод генеративно-состязательной сети для достижения супер-разрешения. В результате папоротники в случае DLSS 2.0 выглядят даже более детальными, чем на оригинальном изображении.
Multi-frame Super-Resolution
Этот метод использует несколько изображений с низким разрешением для получения изображения с высоким. Он помогает восстановить детали лучше, чем предыдущий подход. В основном он разрабатывался для видео- и серийной фотосъемки, а потому не задействует специфическую для рендеринга информацию. Одним из примеров его использования можно назвать выравнивание кадров при помощи оптического потока вместо геометрических векторов движения. В данном случае вычисления оказываются дешевле, а результаты точнее. Этот подход видится более многообещающим, чем предыдущий, и подводит нас к следующей технике.
Spatial-Temporal Super Sampling
Этот метод использует несколько кадров для супер-сэмплинга изображений.
У нас есть текущий кадр. Предположим, что предыдущий выглядит на него похожим. Используя более низкий sampling rate, мы можем увеличить общее число отсчетов, необходимое для реконструкции изображения.
Гистограмма метода Spatial-Temporal Super Sampling
Проблема в том, что в играх все постоянно находится в движении. Поэтому для исправления истории кадров данный метод суперсэмплинга вынужден производить эвристический поиск, например, по принципу Neighbour Clamping. Эти эвристики вносят свой вклад в размытость, временную нестабильность, муар, лаги и ghosting.
Нежелательные эффекты от Neighbour Clamping
Временное мерцание и муар на изображениях с Neighbour Clamping
DLSS 2.0: Deep Learning-based multi-frame reconstruction
Нейронная сеть DLSS учится на десятках тысяч обучающих изображений, предназначенных для выполнения реконструкции лучшей, чем могут предложить эвристики, тем самым устраняя эффекты от них. Это приводит к гораздо более качественному результату с использованием данных нескольких кадров.
Реализуя DLSS в движке, в первую очередь необходимо провести рендеринг сцены в низком разрешении: всей ее геометрии, динамического освещения, эффектов в экранном пространстве и трассировки лучей. После этого можно применить DLSS на этапе, когда обычно происходит анти-алиасинг — ведь технология выполняет ровно ту же функцию, только еще с супер-сэмплингом. Затем происходит постобработка изображения, включающая размытие в движении, блум, хроматическую абберацию, тональную компрессию и другие эффекты.
DLSS — не просто алгоритм обработки изображения. Обычно он работает в совокупности с рендерингом, поэтому и его процесс тоже необходимо пересмотреть. Впрочем, в случае DLSS 2.0 эти изменения не так сложно реализовать, как случалось до этого.
Тесты производительности
Последний тайтл Remedy Control поддерживает как трассировку лучей, так и и DLSS. Как видно на графике выше, RTX 2060 получил прирост производительности с 8 кадров в секунду до примерно 36,8 кадров в секунду за счет DLSS, что значительно повысило играбельность проекта. Этот результат оказался даже лучше, чем в случае с RTX 2080ti без DLSS, что еще раз доказывает, насколько эффективна эта технология.
Digital Foundry сравнил качество изображения с использованием DLSS 1.9 и 2.0 в этом видео.
Слева — Control с DLSS 1.9, справа — с DLSS 2.0. Изображения получены на RTX 2060 с разрешением 1080p и затем отмасштабированы до 4K
На сравнении выше мы видим, как DLSS 2.0 отрисовывает пряди волос, искаженные в случае DLSS 1.9.
Да кто такой этот ваш DLSS
Статья про сглаживание уже была, и в ней мы проехались по самым основным видам алиасинга, попытались понять, как они работают, и почему эти кучи огромных букв — просто костыли. Но мы даже не упоминали ещё одну крупную птицу на этой ветке — NVIDIA DLSS, который вроде как и сглаживание, а вроде как и нет. «Зелёные» придумали кое-что похитрее и посложнее, чем просто замыливание краёв, да ещё и наворотили там всякого, а потому разбираться с вопросом о том, да кто такой этот ваш DLSS, мы будем отдельно и без сглаживания углов.
DLSS расшифровывается как Deep Learning Super Sampling. Если очень кратко, то это суперсэмплинг, который основан на машинном обучении. Нейронные сети кучу раз прокатывают по каждой игре, поддерживающей DLSS, отдельно, обучают улучшать производительность видеокарты и одновременно с этим — изничтожать надоедливые лесенки и другие досадные некрасивости. При этом суперсэмплинг увеличивает частоту кадров, фактически не теряя в качестве картинки.
Звучит как какая-то сказка, да?
Ну почти она и есть. А всякие там MSAA и TXAA не достигли таких высот, потому что не могут себе позволить работать не на мощности GPU или процессора, а на отдельном блоке в графическом чипе, оптимизированном для работы с ИИ — ядрах Tensor. Они — инновационная разработка Nvidia, и естественно, что в быту найти их можно только в видеокартах NVIDIA GeForce RTX.
Было бы слишком много чести придумывать какие-то отдельные ядра просто для того, чтобы они так же, как обычное сглаживание, мылили края объектов и заливали градиентом крайние пиксели. DLSS — это не мыльница с искусственным интеллектом и не костыль, а метод масштабирования кадра. Нейросеть берёт исходную картинку и на её основе создаёт изображение с большим количеством пикселей и сглаженными краями.
Лучше всего эти навороты показывают себя на разрешении 4К, потому на нём обычное сглаживание без зазрения совести пожирает ресурсы и родненькие фэпээсы. Пикселей больше, значит и площадь обработки тоже. Вот и уходят все лошадиные силы вашего ПК на обрисовку каждого из 4К ваших пикселей. А вот DLSS в этом случае пощадит ваше железо, сохранит частоту кадров и подойдёт к вопросу более интеллектуально.
Дело в том, что тензорные ядра слишком круты для того, чтобы заниматься обычным рендерингом — их используют в большинстве суперкомпьютеров с глубоким обучением. Вам же, на вашей домашней пекарне, они полезны тем, что умеют при рендере кадра в меньшем разрешении (например, в 1080р) «достраивать» нужные для повышения разрешения пиксели (и так добраться до желанных 4К). Эти пиксели не берутся с потолка, иначе бы картинка на выходе получалась маловнятной мешаниной. Нейросеть выбирает эти пиксели на основе предыдущего и следующего изображения, и достраивает кадр.
Первая и вторая попытки
Чтобы вы не подумали, что всё невероятно радужно, и это не технология, а сплошная магия, которая поможет вытянуть на 120 FPS в 4К Cyberpunk 2077 на ультрах, используя видеокарту из компа вашего дедушки, я скажу, что DLSS имеет и свои проблемы.
DLSS первой версии умела работать лишь с несколькими конкретными играми, для которых нейросеть специально муштровали. Nvidia тратила на это сотни человеко-часов. Кадры из совместимых игр загружались в суперкомпьютер с учётом всех режимов, которые мог выбрать игрок — со сглаживанием, без и в разных разрешениях. И на основе этой груды файлов нейросеть старалась выстроить самое лучшее изображение.
И помимо того, что выбор игр был очень ограничен, после DLSS-обработки в игре часто терялись какие-то детали, что-то замыливалось (например, как в случае с Metro Exodus, всё), появлялись мерцания и глитчи, а волосы и вовсе казались непосильной задачей. Всем, и в первую очередь Nvidia, было ясно, что дела так дальше не пойдут, и затраченное время не стоит результата. А значит, нужно улучшать алгоритмы и уменьшать количество кругов ада для создания одного кадра.
И вот в начале 2020 года пред геймерами предстаёт DLSS 2.0 — улучшенный и более самостоятельный. Теперь нейронная сеть более универсальна и работает для всех игр. Данные о нужных пикселях и векторах их движения она берёт из уже отрендеренных кадров. Кроме того, у второй версии появились три режима изображения — «Качество», «Баланс», «Производительность», которые управляют внутренним разрешением рендеринга.
Подгонять игры под технологию стало значительно проще, и это значит, что в будущем всё больше и больше игр будет к ней обращаться. Сейчас DLSS 2.0 всё ещё не поддерживает все тайтлы, и, по чесноку, до этого очень далеко. Однако рост в качестве по сравнению с ранней версией очевиден как визуально, так и технически. С помощью масштабирования кадра можно освободить огромное количество ресурсов вашего ПК и обеспечить вам фреймрейт круче, чем вы ожидали, глядя на системки игры. Это выгодно всем: и Nvidia, и разработчикам, и вам. Всё делается для того, чтобы как можно больше игроков смогло поиграть с приемлемыми настройками и FPS без крови из глаз и припадков.
Все к этому стремятся, но проблемы всё ещё есть, безусловно. И дело тут (как и всегда в ПК-гейминге) в огромной куче самых разных конфигураций. Какой бы умной ни была нейросеть, промашки бывают и у неё, и о глитчах и мыльных пятнах рано забывать. Например, у меня в Control с включённым DLSS по какой-то непонятной причине мылились картины на стенах. Именно они, и только они. И больше ни у кого о таких приколах я не слышала.
Кстати, персонально для Control существовала версия DLSS 1.9, на которой и прокатали на массовом пользователе новые методы работы. К тому же этот эксклюзивный DLSS в игре работал только на потоковых процессорах, а не тензорных ядрах.
Конечно же, Nvidia строит очень амбициозные планы на свою технологию. Например, тензорные ядра хотят применять для более качественного и простого в постобработке рейтрейсинга. ИИ планируют научить устранять шумы и повышать частоту кадров после применения трассировки. Кроме того, для видеокарт GeForce RTX тензорные ядра собираются научить улучшать анимации персонажей или симуляцию тканей.
Из того же, что уже точно подтверждено, следующая версия — DLSS 2.1 — сможет увеличить разрешение картинки девятикратно — она создана для игры в разрешении 8K на RTX 3090 с высоким FPS. Во время общения с пользователями на Reddit Ask Me Anything Nvidia рассказала, что эта версия, кроме прочего, будет поддерживать VR и динамическое разрешение. Для того, чтобы фреймрейт не скакал как ужаленный то вверх то вниз, исходная картинка будет динамически меняться в размерах.
Хуже все эти навороты явно не сделают, а Nvidia явно заинтересована в качестве технологии. Пусть пока что аналогов DLSS нет, AMD уже наступают «зелёным» на пятки. Но пока что они не торопятся делиться подробностями о своём аналоге DLSS, который будет носить имя FidelityFX Super Resolution. AMD пообещали, что технология будет генерировать кадры высокого разрешения на основе изображений с низким разрешением. То есть схожим с DLSS образом. Скорее всего, FidelityFX Super Resolution тоже будет построена на базе искусственного интеллекта, но о подробностях станет известно только в следующем году.
К чему дальше приведут эти технологии, и как их будут использовать, мы ещё увидим. Не единожды встречала мнение о том, что студии скоро станут делать игры с прицелом на DLSS и прочие суперсэмплинги, добавляя больше эффектов и других визуальных плюшек, и больше не боясь перегрузить компы аудитории и задрать системные требования до небес. Возможно, так оно и будет. А может быть, вскоре всё повернётся в другую сторону. Ну что ж, желаем инноваторам мира графония удачи, поменьше лесенок на пути, и ждём развития технологий интеллектуального суперсэмплинга, чтобы погружаться в новые потрясающие игровые миры гладко и с высоким FPS.