Dpi системы что это
ИТ База знаний
Полезно
— Онлайн генератор устойчивых паролей
— Онлайн калькулятор подсетей
— Руководство администратора FreePBX на русском языке
— Руководство администратора Cisco UCM/CME на русском языке
— Руководство администратора по Linux/Unix
Навигация
Серверные решения
Телефония
FreePBX и Asterisk
Настройка программных телефонов
Корпоративные сети
Протоколы и стандарты
Что такое технология DPI?
Deep Packet Inspection
Привет, друг! Ты, наверное, слышал аббревиатуру DPI. А как это расшифровывается и что это вообще такое? Это сейчас и узнаем.
Онлайн курс по Кибербезопасности
Изучи хакерский майндсет и научись защищать свою инфраструктуру! Самые важные и актуальные знания, которые помогут не только войти в ИБ, но и понять реальное положение дел в индустрии
Что такое DPI?
Обычно функции глубокой проверки пакетов работают на уровне приложений (Application) модели OSI, в то время как традиционная фильтрация пакетов только сообщает информацию заголовка каждого пакета. Другими словами, традиционная фильтрация пакетов была похожа на чтение названия книги без осознания или оценки содержимого внутри.
Как работает DPI?
DPI проверяет содержимое пакетов, проходящих через заданную точку, и принимает решения в режиме реального времени на основе правил, назначенных компанией, провайдером или сетевым администратором, в зависимости от того, что содержит пакет. До недавнего времени фаерволы не обладали вычислительной мощностью, необходимой для более глубоких проверок больших объемов трафика в режиме реального времени.
Глубокая проверка пакетов может проверить содержимое сообщений и определить конкретное приложение или службу, из которой оно поступает. Кроме того, фильтры могут быть запрограммированы для поиска и перенаправления сетевого трафика из определенного диапазона адресов Интернет-протокола (IP) или определенной онлайн-службы, например, такой как Facebook.
Как используется DPI?
Глубокая проверка пакетов также может использоваться в управлении сетью для оптимизации потока сетевого трафика. Например, сообщение, помеченное как высокоприоритетное, может быть направлено к месту назначения раньше менее важных или низкоприоритетных сообщений, или пакетов, участвующих в случайном просмотре Интернета. DPI также может использоваться для регулирования передачи данных, чтобы предотвратить злоупотребление p2p, что улучшает производительность сети.
Также DPI используется для предотвращения проникновения в вашу корпоративную сеть червей, шпионских программ и вирусов. Кроме того, DPI также можно использовать для расширения возможностей интернет провайдеров по предотвращению использования IoT-устройств при DDOS-атаках путем блокирования вредоносных запросов от устройств. Глубокая проверка пакетов также может предотвратить некоторые типы атак переполнения буфера.
Наконец, глубокая проверка пакетов может помочь вам предотвратить утечку информации, например, при отправке конфиденциального файла по электронной почте. Вместо того, чтобы успешно отправить файл, пользователь вместо этого получит информацию о том, как получить необходимое разрешение и разрешение на его отправку.
Техники DPI
Два основных типа продуктов используют глубокую проверку пакетов: межсетевые экраны, в которых реализованы такие функции IDS (Intrusion Detection System – система обнаружения вторжений), как проверка содержимого, и системы IDS, которые нацелены на защиту сети, а не только на обнаружение атак. Некоторые из основных методов, используемых для глубокой проверки пакетов, включают в себя:
Существуют некоторые ограничения для этих и других методов DPI, хотя поставщики предлагают решения, направленные на устранение практических и архитектурных проблем различными способами. Кроме того, решения DPI теперь предлагают ряд других дополнительных технологий, таких как VPN, анализ вредоносных программ, антиспам-фильтрация, фильтрация URL-адресов и другие технологии, обеспечивающие более комплексную защиту сети.
Недостатки DPI
Ни одна технология не является идеальной, и DPI не является исключением. У нее есть несколько слабых сторон:
Помимо проблем конфиденциальности и внутренних ограничений глубокой проверки пакетов, некоторые проблемы возникли из-за использования сертификатов HTTPS и даже VPN с туннелированием. Некоторые фаерволы теперь предлагают проверки HTTPS, которые расшифровывают трафик, защищенный HTTPS, и определяют, разрешено ли пропускать контент.
Тем не менее, глубокая проверка пакетов продолжает оставаться ценной практикой для многих целей, начиная от управления производительностью и заканчивая аналитикой сети, экспертизой и безопасностью предприятия.
Онлайн курс по Кибербезопасности
Изучи хакерский майндсет и научись защищать свою инфраструктуру! Самые важные и актуальные знания, которые помогут не только войти в ИБ, но и понять реальное положение дел в индустрии
Немного о системах Deep Packet Inspection
Вокруг систем глубокого анализа трафика сформировался достаточно прочный ареол мифов, который препятствует пониманию функциональных возможностей и решений для адаптации технологии. В нашем сегодняшнем материале мы хотим поговорить об этих сомнениях и постараться развеять некоторые из них.
Миф №1: DPI как почтальон, заглядывающий в конверты
Многие утверждают и одновременно опасаются, что системы глубокого анализа трафика — это ненадежный почтальон, изучающий содержимое каждой доставляемой им посылки. Однако эта аналогия неподходящая. Более точной аналогией будет почтальон, разносящий поздравительные карточки или открытки, ведь именно на них похожи пакеты данных в Сети — их содержание доступно всем.
DPI-системы не используются для чтения пересылаемых сообщений, например по электронной почте, — они лишь анализируют и устанавливают природу передаваемого контента — голос, письмо, вредоносное программное обеспечение. На основании полученных данных они принимают решение о том, что делать с содержимым. Это позволяет осуществлять защиту от DDoS-атак, работать с рекламой, оптимизировать каналы доступа, собирать аналитику и приоритизировать трафик. Отметим, что все эти функции реализует система СКАТ от VAS Experts.
Миф №2: DPI – это нарушение приватности
Этот миф является следствием предыдущего. Есть мнение, что сетевое устройство, исследующее пользовательский контент, нарушает приватность общения, как бы «прослушивает» звонки. Но и это не совсем так. Следуя этой логике, под определение «слухача» попадут и антивирусы, антиспам защита, системы обнаружения вторжений, которые важны для обеспечения безопасности работы в интернете.
Автоматическая компьютерная система, которая сканирует файлы в поисках известных паттернов вредоносного ПО или спама, — это не нарушение приватности. На самом деле, эта процедура менее тщательная, чем досмотр багажа в аэропорту. Сканерами управляют люди, изучающие содержимое чемоданов и сумок и точно идентифицирующие находящиеся внутри предметы, в то время как DPI-система реагирует лишь на запрограммированные сценарии. Получается, что DPI-решение в аэропорту «видело» бы в багаже только те предметы, которые запрещено проносить на борт самолета.
Также хотелось бы отметить, что системы DPI, наоборот, помогают предотвращать случаи «подслушивания» на линии. Речь идет о так называемых MITM-атаках. Этот термин обозначает сетевую атаку, когда злоумышленник с помощью специального программного обеспечения подключается между пользователем и приложением, имитируя работу с ним и создавая впечатление нормального процесса обмена информацией. Цель такой атаки может быть самая разная — хищение персональных данных пользователей, личной переписки или банковских реквизитов и др.
Обычно MITM-атака проходит в два этапа. Сперва осуществляется перехват трафика, поступающего от пользователя к целевому приложению. Наиболее простым способом перехвата остается пассивная атака, когда злоумышленник создает открытые беспроводные точки. В момент подключения пользователя к сети, атакующий получает доступ ко всем передаваемым данным. Что касается других способов перехвата –активных — то здесь используются такие варианты, как IP-спуфинг, ARP-спуфинг и DNS-спуфинг, заключающиеся в подмене IP-адреса, MAC-адреса или заражении DNS соответственно.
После перехвата двухсторонний SSL-трафик дешифруется, причем так, что пользователь и запрашиваемый им ресурс не замечают вмешательства извне. Для этого также существует несколько приемов: HTTPS-спуфинг, атака SSL Beast, SSL-хайджекинг.
Поэтому для защиты от MITM-атак разработчикам веб-приложений и сайтов стоит использовать защищенные протоколы TLS и HTTPS, усложняющие проведение спуфинг-атак и перехват трафика. Операторы связи же используют системы Deep Packet Inspection для обнаружения аномалий в сетях передачи данных и предотвращения спуфинга.
Миф №3: DPI окажутся «не у дел» при распространении шифрования
Есть мнение, что DPI-решения начнут стимулировать адаптацию технологий шифрования, поскольку все больше пользователей будут стараться помешать провайдеру «читать» их почту. Однако рост популярности шифрования будет только полезен. Ведь реальная угроза потребителям — это доступ к незашифрованным сайтам. В этом случае они становятся легкой «добычей» для злоумышленников.
К примеру, Netflix — это крупнейшая компания-поставщик видеоконтента в мире. Сервис имеет порядка 60 миллионов подписчиков, а в начале 2016 года пользователи «насмотрели» 10 миллиардов часов. Компания генерирует более трети всего входящего трафика на территории Северной Америки в вечернее время.
Недавно Netflix заявили, что сервис начнет шифровать весь передаваемый трафик, сменив протокол передачи данных с HTTP на защищенный HTTPS. Такое решение должно обеспечить конфиденциальность клиентов и защитить интеллектуальную собственность правообладателей контента.
Сейчас основная доля зашифрованного трафика в интернете приходится на Google, Facebook и Twitter. На изображении ниже они представляют большую часть красного сектора. После перехода Netflix на HTTPS красный и зеленый сектор поменяются местами.
С распространением протоколов шифрования трафика операторы связи, использующие системы глубокого анализа, якобы столкнутся с проблемой невозможности изучения данных внутри зашифрованного пакета. Однако представители компаний заявляют, что у них никогда и не было цели подглядывать за действиями пользователей.
DPI – это просто инструмент
DPI-технология достаточно нейтральна сама по себе. Это просто инструмент, который может быть использован по-разному. Негативный окрас DPI-системы приобрели из-за недопонимания принципов работы и назначения решений. Но DPI — это необязательно нарушение чьей-то приватности или вторжение в частную жизнь, это еще и ускорение работы сети, повышение безопасности и анализ необходимой статистики.
Deep Packet Inspection: Оборудование и применение
Мы в VAS Experts проектируем и внедряем сервисов в области контроля и анализа интернет трафика. В нашем блоге мы решили начать рассказывать об устройстве технологий, связанных с нашей сферой деятельности.
В первых двух материалах мы поговорили о составе системы и схеме подключения, а во втором — о сценариях использования. Сегодня мы посмотрим, какие требования предъявляются к «железу» для полноценной работы систем глубокого анализа трафика, и где такие системы применяются.
/ Flickr / Sean MacEntee / CC
Системы Deep packet inspection (DPI) чаще всего используются для контроля и фильтрации трафика, иногда для блокировки протоколов. С помощью DPI можно отслеживать генерируемые приложениями данные и выбирать соответствующую стратегию действий.
Для работы DPI нужна программная система, установленная на подходящую аппаратную платформу. Только правильно подобранное оборудование и оптимизированное программное обеспечение в связке дадут высокий уровень производительности.
Серверы для DPI
Серверы для DPI обычно похожи на серверы 1U, но в них акцент сделан на сетевые компоненты, а не на оперативную память и жёсткие диски. В DPI-серверах могут быть установлены от 4 до 8 портов 1 GbE RJ45, 4 порта 10 GbE SFP+ или 2 порта 40 GE QSFP+.
Сетевые карты в DPI-системе должны поддерживать режим Bypass — если сервер отключится, то соединение между портами продолжит работать с помощью питания от встроенной батарейки и будет пропускать трафик без фильтрации. Также на DPI-сервере обычно установлена система мониторинга состояния работы (Advanced Lights Out Management), с помощью которой можно управлять всеми параметрами удалённо или через графический интерфейс на дисплее. BIOS материнской платы сервера должен быть защищён аппаратно от повреждений и поддерживать удалённое обновление.
Для функционирования сервера достаточно одного или двух процессоров Intel Xeon E5-2600 V4 (Broadwell-EP) и двух жёстких дисков, объединенных в RAID 1. Обычно в основном устройстве есть два SSD-диска для установки операционной системы, например SmartOS, к ним добавляют до 24 HDD- или SSD-накопителей, а также сетевые порты и порты для полок расширения. Для увеличения хранилища данных дополнительно к устройству подключают дисковые массивы JBOD, каждый из которых поддерживает до 70 дисков HDD или SSD.
Такая модель позволяет быстро и без больших затрат расширять объёмы для хранения данных, что особенно важно при обработке статистики трафика и кэширования содержимого — изображений, видео и прочих подобных файлов.
Для контроля дисков, поддержания их целостности и высокой скорости работы лучше всего использовать файловую систему ZFS и технологию RAID-Z. Для обеспечения отказоустойчивости желательно устанавливать минимум два взаимозаменяемых блока питания.
Часто производители систем глубокого анализа трафика предлагают готовые комплекты из оборудования и ПО — такие серверы отличаются от стандартных систем и могут дополнительно оснащаться системами хранения данных или сбора статистики в соответствии с требованиями законодательства.
С другой стороны, может быть значительно удобнее, если предлагаемый сервер будет устройством на стандартной платформе, которое можно легко модернизировать. Такие системы чаще встречаются у российских компаний — «Протей», Vas Experts, Peter-Service, Napa Labs.
Категории применения
Компания Heavy Reading провела опрос среди телеком-компаний и собрала данные об основных областях применения DPI. Самым популярным направлением стало качество обслуживания (QoS) — сюда относится мониторинг состояния сети и решение проблем с оборудованием.
Раньше трафик домашних абонентов (HSI — High Speed Internet) почти не контролировался – BitTorrent мог забрать всю свободную полосу подключения, теперь же DPI позволяет операторам распределять канал между различными приложениями.
Второй по важности категорией для операторов стало управление политикой абонентов сети (PCEF). По данным исследований аналитиков, это самая крупная категория применения DPI по объёму и ценности, и она только продолжит расти. Третьей по значимости категорией провайдеры назвали сетевые шлюзы – сегодня DPI часто применяют на маршрутизаторах в сетях 4G (P-GW) и 3G (GGSN).
Четвёртая категория в опросе — использование DPI для анализа информации о пользователях. Изначально DPI применяли для анализа сетевого трафика и трендов, но всё чаще компании подключают эту технологию для анализа поведения подписчиков в реальном времени, чтобы разрабатывать более подходящие наборы услуг и при этом подбирать правильную нагрузку на сеть.
Свойства и сравнение «железа»
По мнению специалистов из Калифорнийского университета в Беркли, для быстрой и надёжной работы DPI оборудование должно обладать определенными свойствами. DPI используется для проверки сетевых пакетов по тысячам идентификаторов, поэтому для высокой скорости работы необходимо разделить этот процесс на параллельные потоки, то есть оборудование должно поддерживать параллелизм в обработке данных.
«Железо» должно обрабатывать сетевые пакеты с высокой скоростью, чтобы соответствовать пропускной способности гигабитного канала сети. Кроме того, оборудование не должно потреблять много энергии — перегрев означает замедление работы, поломку или большую нагрузку на систему охлаждения.
Также аппаратное обеспечение должно быть гибко настраиваемым и предоставлять возможность будущего расширения функций и быстрого обновления, например, для защиты от новых вирусов.
Мы в Vas Experts провели сравнение устройств начального и среднего класса как отечественных, так и зарубежных производителей, которые могут себе позволить почти все операторы. На основании собранных нами данных можно сделать вывод, что самыми дорогими системами младшего класса оказались Cisco SCE1000 и Huawei SIG9800-X3, причем последняя обладает самой высокой производительностью.
Что касается среднего сегмента, то здесь мы пронаблюдали почти полное равенство по производительности и оснащению устройств. Отличие состоит только в том, что российские системы основаны на стандартных компонентах, а это позволяет повышать производительность с гораздо меньшими затратами, ведь дополнительные расширения для устройств зарубежных компаний Sandvine, Allot или Procera стоят гораздо дороже и требуют расширения лицензий (полный анализ вы можете найти в нашем блоге).
На основании этого можно сделать вывод, что российские производители могут составить конкуренцию международным компаниям, но использовать их решения следует в сетях с невысоким объёмом трафика и небольшим числом абонентов. В ином случае следует обратить внимание на закрытые платформы иностранных разработчиков, которые обладают несколько большей надёжностью, стабильностью и оптимизацией.
Практическая выгода
К сожалению, сравнение по указанным в спецификации характеристикам не даст полного понимания практической выгоды, поэтому важно проверять оборудование на тестовых экземплярах от производителей. Однако не всегда удаётся получить аппараты для тестирования, в этом случае нужно ориентироваться на опыт людей, которые уже работают с конкретными системами и технологиями, искать информацию на форумах и у специалистов технической поддержки.
Также при выборе системы большое значение (помимо производительности и функционала) играют расходы на интеграцию — для многих это становится решающим фактором для установки системы DPI. Приведем пример расчёта эффективности внедрения подобной системы (ROI).
Допустим, что суммарный объём потребляемого абонентами трафика составляет 20 Гбит в месяц, стоимость 1 Гбит составляет 3 000 долларов, а стоимость DPI-системы — 75 000 долларов. Тогда использование системы DPI при заявленной эффективности по уменьшению аплинка в 35% даст 7 Гбит/с экономии полосы пропускания в месяц – это 21 000 долларов ежемесячно. В этом случае DPI-система окупится через 3,6 месяца (75000/21000 = около 3,6).
Если учитывать, что за добавление дополнительных функций (блокировка запрещённых сайтов, защита от вирусов и атак, CGNAT) не придётся платить, то внедрение DPI окупится ещё быстрее, а клиенты получат более высокое качество услуг за ту же цену. Стоит заметить, что российские компании продают оборудование по ценам в рублях — это серьёзное преимущество для операторов, которые получают свои доходы в этой же валюте. Покупать и поддерживать систему в таком случае будет еще выгоднее.
Введение в DPI: Сценарии использования системы
Вчера мы начали рассматривать базовые элементы DPI и поговорили о составе системы и схемах подключения. Сегодня мы решили взглянуть на реальные варианты использования DPI и поговорить о технических сценариях, которые позволяют операторам обеспечивать высокое качество услуг.
1. Анализ и классификация трафика
Задача системы DPI – классифицировать и создавать в реальном времени отчеты о потреблении трафика приложением, используя наборы сигнатур и поведенческие методы. Получение такой информации по классам трафика каждого абонента позволяет тарифицировать его по отдельности, например, для Skype, Viber и др. Также системы DPI позволяют следить за состоянием сети на уровнях 2–7 модели OSI и защищать её от перегрузки.
2. Приоритизация трафика
Самым популярным примером необходимости распределения приоритетов трафика является p2p-протокол. Когда пользователь скачивает файлы по этому протоколу, понижается качество работы всех остальных – VOIP, HTTP и др. – это приводит к медленному открыванию страниц, плохому качеству голоса при звонках, подтормаживанию видео. DPI-системы позволяют решить эту проблему простым снижением приоритета p2p-трафика.
На графике видно, как с уменьшением неконтролируемого трафика torrent, увеличилась скорость работы HTTP
Еще одним простым примером необходимости приоритизации являются набирающие популярность онлайн-кинотеатры. При увеличении качества видео (720p, 1080p, 4K) растет нагрузка на канал оператора.
Например, в марте 2015 в Австралии трафик сервиса Netflix составил 25% от общего трафика провайдера iiNet через 4 недели после запуска. В этом ключе активное управление трафиком и гибкая настройка приоритетов позволяют обеспечить достойную работу других чувствительных сервисов, слегка снижая качество видео в критические моменты.
3. Оптимизация аплинков
Оператор способен обеспечить высокое качество двумя путями: увеличив ширину канала или оптимизировав трафик. Всплески роста трафика предсказуемы, происходят в определенные дни недели и обычно длятся не больше нескольких часов.
В связи с этим увеличивать ширину канала может быть невыгодно – слишком маленькое «окно» активности. Однако если оставить все как есть, то в часы повышенной загруженности абоненты будут сталкиваться с медленной загрузкой страниц и мириться с плохой голосовой связью.
Порядка 50% вечернего трафика составляет torrent, 20% – видео, 30% – все остальное. Если выделить первый тип трафика и понизить его приоритет, то другие протоколы будут работать так же, как и в любое другое время. Необходимость в увеличении пропускной способности канала отпадет сама собой.
4. Кэширование
В интернете есть информация, которую находят интересной и скачивают сразу множество пользователей. Кэш-сервер позволяет распространять её напрямую между пользователями. Это экономит интернет-трафик и увеличивает скорость доступа к информации, так как скорость доступа к кэшу равна скорости локальной сети, а не скорости доступа к интернету.
Например, кэш-сервер для нашего решения СКАТ DPI позволяет кэшировать видеоконтент популярных сервисов, таких как YouTube, RuTube и vk.com, обновления Windows, браузеров, антивирусов и другого ПО, а также часто повторяющие файлы (например библиотеки jquery, картинки и т. п).
5. Поведенческая оценка абонентов
Каждый пользователь выходит в интернет на определенное время, пользуется одним из браузеров, сидит в социальных сетях, смотрит комедии или ужасы. Система DPI способна собрать всю эту информацию (не нарушая личных прав абонента) и показать ее в наглядном виде оператору. Зная предпочитаемый пользователем контент, оператор получает возможность настроить ему приоритет по трафику. Более того, самые посещаемые ресурсы можно также кешировать.
6. Уведомление абонентов
Эта функция позволяет оператору передавать абоненту сообщения во время работы последнего в интернете. Когда пользователь вводит адрес сайта, он сперва видит в браузере сообщение от оператора, которое сменяется запрашиваемой страницей через несколько секунд.
Это сообщение может содержать самую разную информацию: об изменении тарифа, о времени технических работ, о специальных предложениях. Такой способ оповещения охватывает очень широкую аудиторию – в России 73% граждан в возрасте от 18 лет и старше пользуются интернетом, из них 47% опрошенных делают это ежедневно. В Европе эта цифра составляет 60%.
7. Защита, перехват трафика
DPI пропускает через себя и фильтрует весь трафик, потому имеет возможность защищать абонентов от спам-ботов (выявляются на основе анализа SMTP трафика), DoS- и DDoS-атак (выявляются по аномалиям трафика), заражения червями (выявляется по сигнатурам) и спама (по чрезмерно большому число SMTP-соединений).
При защите от DDoS-атак часто применяются различные поведенческие стратегии, выявляющие отклонения в поведении пользователей сети. DPI-системы упрощают эту задачу с помощью эффективного подхода – теста Тьюринга (странички с CAPTCHA), который позволяет определить, человек или компьютер осуществляет запрос к ресурсу.
Также система DPI защищает от атак TCP SYN Flood и Fragmented UDP Flood. Атака SYN Flood вызывает повышенный расход ресурсов атакуемой системы. На каждый входящий SYN-пакет система резервирует определенные ресурсы в памяти. Если «бомбить» её большим количеством пакетов в секунду, не отправляя пакет ACK, она становится недоступной. DPI обнаруживает превышение порога SYN-пакет и начинает отвечать на них самостоятельно, не «беспокоя» сайт.
Что касается атаки Fragmented UDP Flood, то она осуществляется фрагментированными UDP-пакетами, на сборку и анализ которых атакуемая платформа вынуждена тратить много ресурсов. DPI отбрасывает неактуальные для защищаемого сайта протоколы или ограничивает их по полосе пропускания (для веб-сайта остаются только протоколы HTTP и HTTPS).
Стоит отметить, что DPI умеет работать в связке с различными ДВО, такими как антиспам, антивирус, видеооптимизаторы и т. д. Суть решения заключается в отводе части трафика, подпадающего под заданные администратором критерии, на сторонние устройства, для осуществления более глубокого анализа и обработки.
Таким образом, комплексы глубокого анализа трафика позволяют решить сразу несколько важных задач: от оптимизации пропускной способности аплинков и приоритизации трафика до поведенческой оценки абонентов и защиты сетей и сайтов от разного рода атак.
В следующих материалах мы планируем рассмотреть, на каком оборудовании можно реализовать все эти функции, и проведем сравнение решений производителей систем DPI.