Dpi оборудование что это
Немного о системах Deep Packet Inspection
Вокруг систем глубокого анализа трафика сформировался достаточно прочный ареол мифов, который препятствует пониманию функциональных возможностей и решений для адаптации технологии. В нашем сегодняшнем материале мы хотим поговорить об этих сомнениях и постараться развеять некоторые из них.
Миф №1: DPI как почтальон, заглядывающий в конверты
Многие утверждают и одновременно опасаются, что системы глубокого анализа трафика — это ненадежный почтальон, изучающий содержимое каждой доставляемой им посылки. Однако эта аналогия неподходящая. Более точной аналогией будет почтальон, разносящий поздравительные карточки или открытки, ведь именно на них похожи пакеты данных в Сети — их содержание доступно всем.
DPI-системы не используются для чтения пересылаемых сообщений, например по электронной почте, — они лишь анализируют и устанавливают природу передаваемого контента — голос, письмо, вредоносное программное обеспечение. На основании полученных данных они принимают решение о том, что делать с содержимым. Это позволяет осуществлять защиту от DDoS-атак, работать с рекламой, оптимизировать каналы доступа, собирать аналитику и приоритизировать трафик. Отметим, что все эти функции реализует система СКАТ от VAS Experts.
Миф №2: DPI – это нарушение приватности
Этот миф является следствием предыдущего. Есть мнение, что сетевое устройство, исследующее пользовательский контент, нарушает приватность общения, как бы «прослушивает» звонки. Но и это не совсем так. Следуя этой логике, под определение «слухача» попадут и антивирусы, антиспам защита, системы обнаружения вторжений, которые важны для обеспечения безопасности работы в интернете.
Автоматическая компьютерная система, которая сканирует файлы в поисках известных паттернов вредоносного ПО или спама, — это не нарушение приватности. На самом деле, эта процедура менее тщательная, чем досмотр багажа в аэропорту. Сканерами управляют люди, изучающие содержимое чемоданов и сумок и точно идентифицирующие находящиеся внутри предметы, в то время как DPI-система реагирует лишь на запрограммированные сценарии. Получается, что DPI-решение в аэропорту «видело» бы в багаже только те предметы, которые запрещено проносить на борт самолета.
Также хотелось бы отметить, что системы DPI, наоборот, помогают предотвращать случаи «подслушивания» на линии. Речь идет о так называемых MITM-атаках. Этот термин обозначает сетевую атаку, когда злоумышленник с помощью специального программного обеспечения подключается между пользователем и приложением, имитируя работу с ним и создавая впечатление нормального процесса обмена информацией. Цель такой атаки может быть самая разная — хищение персональных данных пользователей, личной переписки или банковских реквизитов и др.
Обычно MITM-атака проходит в два этапа. Сперва осуществляется перехват трафика, поступающего от пользователя к целевому приложению. Наиболее простым способом перехвата остается пассивная атака, когда злоумышленник создает открытые беспроводные точки. В момент подключения пользователя к сети, атакующий получает доступ ко всем передаваемым данным. Что касается других способов перехвата –активных — то здесь используются такие варианты, как IP-спуфинг, ARP-спуфинг и DNS-спуфинг, заключающиеся в подмене IP-адреса, MAC-адреса или заражении DNS соответственно.
После перехвата двухсторонний SSL-трафик дешифруется, причем так, что пользователь и запрашиваемый им ресурс не замечают вмешательства извне. Для этого также существует несколько приемов: HTTPS-спуфинг, атака SSL Beast, SSL-хайджекинг.
Поэтому для защиты от MITM-атак разработчикам веб-приложений и сайтов стоит использовать защищенные протоколы TLS и HTTPS, усложняющие проведение спуфинг-атак и перехват трафика. Операторы связи же используют системы Deep Packet Inspection для обнаружения аномалий в сетях передачи данных и предотвращения спуфинга.
Миф №3: DPI окажутся «не у дел» при распространении шифрования
Есть мнение, что DPI-решения начнут стимулировать адаптацию технологий шифрования, поскольку все больше пользователей будут стараться помешать провайдеру «читать» их почту. Однако рост популярности шифрования будет только полезен. Ведь реальная угроза потребителям — это доступ к незашифрованным сайтам. В этом случае они становятся легкой «добычей» для злоумышленников.
К примеру, Netflix — это крупнейшая компания-поставщик видеоконтента в мире. Сервис имеет порядка 60 миллионов подписчиков, а в начале 2016 года пользователи «насмотрели» 10 миллиардов часов. Компания генерирует более трети всего входящего трафика на территории Северной Америки в вечернее время.
Недавно Netflix заявили, что сервис начнет шифровать весь передаваемый трафик, сменив протокол передачи данных с HTTP на защищенный HTTPS. Такое решение должно обеспечить конфиденциальность клиентов и защитить интеллектуальную собственность правообладателей контента.
Сейчас основная доля зашифрованного трафика в интернете приходится на Google, Facebook и Twitter. На изображении ниже они представляют большую часть красного сектора. После перехода Netflix на HTTPS красный и зеленый сектор поменяются местами.
С распространением протоколов шифрования трафика операторы связи, использующие системы глубокого анализа, якобы столкнутся с проблемой невозможности изучения данных внутри зашифрованного пакета. Однако представители компаний заявляют, что у них никогда и не было цели подглядывать за действиями пользователей.
DPI – это просто инструмент
DPI-технология достаточно нейтральна сама по себе. Это просто инструмент, который может быть использован по-разному. Негативный окрас DPI-системы приобрели из-за недопонимания принципов работы и назначения решений. Но DPI — это необязательно нарушение чьей-то приватности или вторжение в частную жизнь, это еще и ускорение работы сети, повышение безопасности и анализ необходимой статистики.
Deep Packet Inspection: Оборудование и применение
Мы в VAS Experts проектируем и внедряем сервисов в области контроля и анализа интернет трафика. В нашем блоге мы решили начать рассказывать об устройстве технологий, связанных с нашей сферой деятельности.
В первых двух материалах мы поговорили о составе системы и схеме подключения, а во втором — о сценариях использования. Сегодня мы посмотрим, какие требования предъявляются к «железу» для полноценной работы систем глубокого анализа трафика, и где такие системы применяются.
/ Flickr / Sean MacEntee / CC
Системы Deep packet inspection (DPI) чаще всего используются для контроля и фильтрации трафика, иногда для блокировки протоколов. С помощью DPI можно отслеживать генерируемые приложениями данные и выбирать соответствующую стратегию действий.
Для работы DPI нужна программная система, установленная на подходящую аппаратную платформу. Только правильно подобранное оборудование и оптимизированное программное обеспечение в связке дадут высокий уровень производительности.
Серверы для DPI
Серверы для DPI обычно похожи на серверы 1U, но в них акцент сделан на сетевые компоненты, а не на оперативную память и жёсткие диски. В DPI-серверах могут быть установлены от 4 до 8 портов 1 GbE RJ45, 4 порта 10 GbE SFP+ или 2 порта 40 GE QSFP+.
Сетевые карты в DPI-системе должны поддерживать режим Bypass — если сервер отключится, то соединение между портами продолжит работать с помощью питания от встроенной батарейки и будет пропускать трафик без фильтрации. Также на DPI-сервере обычно установлена система мониторинга состояния работы (Advanced Lights Out Management), с помощью которой можно управлять всеми параметрами удалённо или через графический интерфейс на дисплее. BIOS материнской платы сервера должен быть защищён аппаратно от повреждений и поддерживать удалённое обновление.
Для функционирования сервера достаточно одного или двух процессоров Intel Xeon E5-2600 V4 (Broadwell-EP) и двух жёстких дисков, объединенных в RAID 1. Обычно в основном устройстве есть два SSD-диска для установки операционной системы, например SmartOS, к ним добавляют до 24 HDD- или SSD-накопителей, а также сетевые порты и порты для полок расширения. Для увеличения хранилища данных дополнительно к устройству подключают дисковые массивы JBOD, каждый из которых поддерживает до 70 дисков HDD или SSD.
Такая модель позволяет быстро и без больших затрат расширять объёмы для хранения данных, что особенно важно при обработке статистики трафика и кэширования содержимого — изображений, видео и прочих подобных файлов.
Для контроля дисков, поддержания их целостности и высокой скорости работы лучше всего использовать файловую систему ZFS и технологию RAID-Z. Для обеспечения отказоустойчивости желательно устанавливать минимум два взаимозаменяемых блока питания.
Часто производители систем глубокого анализа трафика предлагают готовые комплекты из оборудования и ПО — такие серверы отличаются от стандартных систем и могут дополнительно оснащаться системами хранения данных или сбора статистики в соответствии с требованиями законодательства.
С другой стороны, может быть значительно удобнее, если предлагаемый сервер будет устройством на стандартной платформе, которое можно легко модернизировать. Такие системы чаще встречаются у российских компаний — «Протей», Vas Experts, Peter-Service, Napa Labs.
Категории применения
Компания Heavy Reading провела опрос среди телеком-компаний и собрала данные об основных областях применения DPI. Самым популярным направлением стало качество обслуживания (QoS) — сюда относится мониторинг состояния сети и решение проблем с оборудованием.
Раньше трафик домашних абонентов (HSI — High Speed Internet) почти не контролировался – BitTorrent мог забрать всю свободную полосу подключения, теперь же DPI позволяет операторам распределять канал между различными приложениями.
Второй по важности категорией для операторов стало управление политикой абонентов сети (PCEF). По данным исследований аналитиков, это самая крупная категория применения DPI по объёму и ценности, и она только продолжит расти. Третьей по значимости категорией провайдеры назвали сетевые шлюзы – сегодня DPI часто применяют на маршрутизаторах в сетях 4G (P-GW) и 3G (GGSN).
Четвёртая категория в опросе — использование DPI для анализа информации о пользователях. Изначально DPI применяли для анализа сетевого трафика и трендов, но всё чаще компании подключают эту технологию для анализа поведения подписчиков в реальном времени, чтобы разрабатывать более подходящие наборы услуг и при этом подбирать правильную нагрузку на сеть.
Свойства и сравнение «железа»
По мнению специалистов из Калифорнийского университета в Беркли, для быстрой и надёжной работы DPI оборудование должно обладать определенными свойствами. DPI используется для проверки сетевых пакетов по тысячам идентификаторов, поэтому для высокой скорости работы необходимо разделить этот процесс на параллельные потоки, то есть оборудование должно поддерживать параллелизм в обработке данных.
«Железо» должно обрабатывать сетевые пакеты с высокой скоростью, чтобы соответствовать пропускной способности гигабитного канала сети. Кроме того, оборудование не должно потреблять много энергии — перегрев означает замедление работы, поломку или большую нагрузку на систему охлаждения.
Также аппаратное обеспечение должно быть гибко настраиваемым и предоставлять возможность будущего расширения функций и быстрого обновления, например, для защиты от новых вирусов.
Мы в Vas Experts провели сравнение устройств начального и среднего класса как отечественных, так и зарубежных производителей, которые могут себе позволить почти все операторы. На основании собранных нами данных можно сделать вывод, что самыми дорогими системами младшего класса оказались Cisco SCE1000 и Huawei SIG9800-X3, причем последняя обладает самой высокой производительностью.
Что касается среднего сегмента, то здесь мы пронаблюдали почти полное равенство по производительности и оснащению устройств. Отличие состоит только в том, что российские системы основаны на стандартных компонентах, а это позволяет повышать производительность с гораздо меньшими затратами, ведь дополнительные расширения для устройств зарубежных компаний Sandvine, Allot или Procera стоят гораздо дороже и требуют расширения лицензий (полный анализ вы можете найти в нашем блоге).
На основании этого можно сделать вывод, что российские производители могут составить конкуренцию международным компаниям, но использовать их решения следует в сетях с невысоким объёмом трафика и небольшим числом абонентов. В ином случае следует обратить внимание на закрытые платформы иностранных разработчиков, которые обладают несколько большей надёжностью, стабильностью и оптимизацией.
Практическая выгода
К сожалению, сравнение по указанным в спецификации характеристикам не даст полного понимания практической выгоды, поэтому важно проверять оборудование на тестовых экземплярах от производителей. Однако не всегда удаётся получить аппараты для тестирования, в этом случае нужно ориентироваться на опыт людей, которые уже работают с конкретными системами и технологиями, искать информацию на форумах и у специалистов технической поддержки.
Также при выборе системы большое значение (помимо производительности и функционала) играют расходы на интеграцию — для многих это становится решающим фактором для установки системы DPI. Приведем пример расчёта эффективности внедрения подобной системы (ROI).
Допустим, что суммарный объём потребляемого абонентами трафика составляет 20 Гбит в месяц, стоимость 1 Гбит составляет 3 000 долларов, а стоимость DPI-системы — 75 000 долларов. Тогда использование системы DPI при заявленной эффективности по уменьшению аплинка в 35% даст 7 Гбит/с экономии полосы пропускания в месяц – это 21 000 долларов ежемесячно. В этом случае DPI-система окупится через 3,6 месяца (75000/21000 = около 3,6).
Если учитывать, что за добавление дополнительных функций (блокировка запрещённых сайтов, защита от вирусов и атак, CGNAT) не придётся платить, то внедрение DPI окупится ещё быстрее, а клиенты получат более высокое качество услуг за ту же цену. Стоит заметить, что российские компании продают оборудование по ценам в рублях — это серьёзное преимущество для операторов, которые получают свои доходы в этой же валюте. Покупать и поддерживать систему в таком случае будет еще выгоднее.
Краткий обзор технологии DPI — Deep Packet Inspection
Основы
Система DPI, как видно из названия, выполняет глубокий анализ всех проходящих через неё пакетов. Термин «глубокий» подразумевает анализ пакета на верхних уровнях модели OSI, а не только по стандартным номерам портов. Помимо изучения пакетов по неким стандартным паттернам, по которым можно однозначно определить принадлежность пакета определённому приложению, скажем, по формату заголовков, номерам портов и т.п., система DPI осуществляет и так называемый поведенческий анализ трафика, который позволяет распознать приложения, не использующие для обмена данными заранее известные заголовки и структуры данных. Яркий пример тому – Bittorrent. Для их идентификации осуществляется анализ последовательности пакетов, обладающими одинаковыми признаками, таким как Source_IP:port – Destination_IP:port, размер пакета, частота открытия новых сессий в единицу времени и т.д., по поведенческим (эвристическим) моделям, соответствующим таким приложениям. Естественно, сколько производителей такого железа – столько и интерпретаций поведенческих моделей соответствующих протоколов, а значит и точность детектирования также разнится. Раз речь зашла о производителях, стоит отметить, что наиболее крупными игроками и их продуктами на рынке standalone DPI являются Allot Communications, Procera Networks, Cisco, Sandvine. Всё более и более популярными становятся интегрированные в маршрутизаторы решения DPI. Так поступают многие — Cisco, Juniper, Ericsson и т.д. по списку. Такие решения, как правило, достаточно компромиссные, и не могут предоставить весь спектр сервисов, доступных standalone решениям. Однако, для большинства задач этого вполне достаточно. Софтварные продукты, крутящиеся на серверах (такие как OpenDPI) я умышленно не указываю, их рынок весьма узок и, как правило, ограничивается корпоративными/кампусными сетями, а это немного не мой профиль. Важной отличительной особенностью настоящего DPI является возможность аналитики трафика за счёт сбора различного рода статистики с разбивкой по приложениям, по тарифным планам, по регионам, по типам абонентских устройств и т.д. По этой причине замечательный NBAR имени Cisco хоть и позволяет детектировать и осуществлять контроль трафика по приложениям, полноценным решением DPI не является, т.к. в нём отсутствует ряд важных компонентов.
Система DPI, как правило, устанавливается на границе сети оператора в разрыв существующих аплинков, уходящих от пограничных маршрутизаторов. Тем самым, весь трафик, который покидает или входит в сеть оператора, проходит через DPI, что даёт возможность его мониторинга и контроля. Для решения специфических задач можно устанавливать эту систему не на границе сети, а спускать её ниже, ближе к конечным пользователям, на уровень BRAS/CMTS/GGSN/… Это может быть полезно тем операторам, которые по ряду причин помимо утилизации внешних каналов также хотят решать задачу контроля внутренних. Естественно, здесь речь идёт о достаточно крупных сервис-провайдерах с большой распределённой сетью масштабов страны и с достаточно дорогими канальными ёмкостями.
На рынке DPI есть модели на самый разный кошелёк. Производительность представленных на рынке устройств плавает в пределах от сотен Мбит/с до 160 Гбит/с FDX в рамках одной отдельно взятой коробки, которые, как правило, можно объединять в кластеры. Соответственно, и стоимость плавает весьма серьёзно — от нескольких тысяч до миллионов долларов США. В случае с корпоративным сегментам решения предполагают низкоскоростные подключения по медным интерфейсам типов 10/100/1000. Операторские решения рассчитаны на подключение множества линков 1GE и 10GE. Что касается совсем взрослых решений, то пока что рынок 100GE интерфейсов на сетевом оборудовании достаточно скуден и дорог, но как только появится первый реальный бизнес-кейс, вендоры DPI предложат соответствующие решения, ибо у некоторых из них заготовки уже имеются.
Что дальше?
Теперь возникает логичный вопрос – ну и что теперь со всем этим делать? У оператора появляется достаточно мощный инструмент, при умелом использовании которого можно решать различные задачи по эксплуатации сети и её развитию.
Реализация QoS
С точки зрения эксплуатации, оператор может контролировать утилизацию подключенных через DPI каналов на уровне приложений. Раньше он решать задачи реализации QoS (Quality of Service) исключительно средствами построения очередей на основании маркировки трафика служебными битами в заголовках IP, 802.1q и MPLS, выделяя наиболее приоритетный трафик (разного рода VPN’ы, IPTV, SIP и т.д.), и гарантируя ему определённую пропускную способность в любой момент времени. Трафик типа Best Effort, к которому относится весь интернет трафик домашних абонентов (HSI — High Speed Internet), оставался фактически без контроля, что давало возможность тому же Bittorrent забрать себе всю свободную полосу, что, в свою очередь, вело к деградации любых других веб-приложений. С использованием DPI у оператора появляется возможность распределить канал между различными приложениями. К примеру, в ночные часы разрешить трафику Bittorrent забирать себе больше полосы, чем днём, в часы-пик, когда в сети ходит большое количество другого веб-трафика. Другая популярная мера у многих мобильных операторов – блокировка Skype-трафика, а также любых видов SIP-телефонии. Вместо полной блокировки оператор может разрешать работу данных протоколов, но на очень низкой скорости с соответствующей деградацией качества предоставления сервиса у конкретного приложения, чтобы вынудить пользователя платить за услуги традиционной телефонии, либо за специальный пакет услуг, разрешающий доступ к VoIP-сервисам.
Subscriber Management
Важным моментом является то, что правила, на основании которых выполняется шейпинг/блокировка, могут быть заданы посредством двух основных базисов – per-service или per-subscriber. В первом случае простейшим образом оговаривается, что конкретному приложению позволяется утилизировать определённую полосу. Во втором привязка приложения к полосе осуществляется для каждого подписчика или группы подписчиков независимо от других, что производится через интеграцию DPI с существующими OSS/BSS системами оператора. Т.е. можно настроить систему таким образом, что подписчик Вася, который за неделю накачал торрентов на 100 гигабайт, до конца месяца будет ограничен по скорости скачивания этих же торрентов на уровне 70% от купленного им тарифа. А у подписчика Пети, который купил дополнительную услугу под названием «Skype без проблем», трафик приложения Skype не будет блокироваться ни при каких условиях, но любой другой – легко. Можно сделать привязку к User-Agent и разрешить браузинг только при помощи рекомендуемых браузеров, можно делать хитрые редиректы в зависимости от типа браузера или ОС. Иными словами, гибкость тарифных планов и опций ограничена лишь здравым смыслом. Если же речь идёт о трафике мобильных операторов, то DPI позволяет контролировать загрузку каждой базовой станции в отдельности, справедливо распределяя ресурсы БС таким образом, чтобы все пользователи остались довольны качеством сервиса. Разумеется, данную задачу можно решать силами мобильного ядра, но это не всегда бюджетно. Раз уж я упомянул мобильных операторов, то хотелось бы отметить, что каждый уважающий себя производитель пакетного ядра EPC (Evolved Packet Core) для LTE интегрирует в свой PDN-GW функционал DPI, заточенный под решение задач мобильных операторов.
Зачем это всё надо?
Новая модель услуг
Мы плавно перешли к задаче развития сети и её услуг. Глядя на то, как подписчики пользуются купленной ими полосой, какие приложения используют, оператор может изучать потребности каждой категории подписчиков и предлагать им более гибкие и совершенные тарифные планы. К примеру, основываясь на том, что подписчики тарифа Silver активно пользуются услугами сторонней SIP-телефонии, можно предложить им дополнительный пакет, позволяющий использовать аналогичный сервис, предоставляемый оператором, но со скидкой. Остальные подписчики при желании воспользоваться более дешёвой телефонией будут мотивированы переходить на более дорогой тариф, приобретая дополнительные бонусы в виде повышения скорости. Можно придумать много кейсов, это лишь один из них. Своё видение персонализированных сервисов представила компания Allot в своей презентации, выдержки из которой упоминаются в материале, когда-то опубликованном на хабре. Подход очень интересный, и выгодный как для пользователя, так и для оператора. Тенденции развития телекоммуникационного рынка таковы, что для операторов продавать трубу, как они делают сейчас, скоро будет просто невыгодно, есть масса исследований, подтверждающих это. ARPU не увеличивается, конкуренция высока, оборудование необходимо апгрейдить всё чаще и чаще, расходы операторов растут, а желание получать прибыль никуда не девается. Задача DPI в данном разрезе — реализовать новые модели предоставления услуг конечному пользователю. Некоторые мировые операторы маленькими шагами уже двигаются к данной идее. В России, очевидно, процесс этот будет долгим и мучительным, т.к. для достижения задачи необходимо перестраивать мозги абонентов на другую частоту, что очень непросто, т.к. отучить человека не качать торренты, а покупать легальный контент — непросто. Я бы не хотел сейчас запускать дискуссию на тему «А где мне брать легальный контент?», это отдельная песня, и я очень рад, что это сдвинулось с мёртвой точки (на примере ivi, omlet, zabava и т.п. совместно с возрастающими продажами Smart TV). Надеюсь, данные проекты не заглохнут. О Netflix я пока не мечтаю, но было бы здорово.
DPI отлично умеет работать в связке с различными VAS (Value Added Services) системами, такими как антиспам, антивирус, видеооптимизаторы и т.п. Суть функционала заключается в отводе части трафика по заданным администратором критериям, на сторонние устройства, для осуществления более глубокого анализа и обработки.
Довольно легко можно организовать предоставление пользователям услуг по родительскому контролю, которые становятся всё более и более актуальными.
Спецслужбы
В конце хотелось бы сказать пару слов о том, для чего также закупается DPI, кроме как для издевательств над абонентами. Оборудование DPI, в связи со своим умением видеть всё и вся, что происходит на сети, является весьма интересным устройством для товарищей в погонах, без которых сейчас никуда. При помощи DPI спецслужбы могут вести наблюдение за сетевой активностью того или иного пользователя. Можно перекрыть ему VPN, HTTPS и прочие прелести, делающие невозможным анализ контента. Разумеется, можно закрывать доступ пользователей к неугодным властям сайтам, что очень актуально в связи с последними событиями в законотворческой деятельности в России.