Для чего нужен и как работает антибаннер
Блокировщик рекламы
Для чего нужен блокировщик рекламы и как он работает
Если вы установили его на компьютер, то ваш браузер не будет загружать и отображать рекламные элементы на сайтах.
Раньше блокировщики не умели предотвращать загрузку рекламы, а лишь скрывали ее от глаз пользователей. Современные инструменты гораздо умнее. Они не позволяют браузеру взаимодействовать с сервером, при помощи которого на страницах появляются тизеры, баннеры, поп-апы и прочие нежелательные элементы. Также существуют расширения, которые блокируют элементы лишь по определенной тематике.
Блокировщики, доступные в настоящее время, еще не научились работать на нейронной сети. Пока их работа основана лишь на ручном труде реальных людей, которые разработали инструмент.
Нужен ли блокировщик рекламы
С точки зрения пользователей польза эдблокеров очевидна. Они позволяют:
Но для рекламодателей эдблокеры – настоящая дыра в бюджете. Вот какие неприятности они приносят:
В Google заявили, что эдблокеры наносят ущерб третьим лицам. В связи с этим приложение для блокировки рекламы Adguard теперь недоступно в Google Play Market. Но пользователи все еще могут скачать независимую версию.
Какие бывают блокировщики: самые популярные виды
Существует разные виды эдблокеров, которые различаются по своей функциональности или по уровню фильтрации.
AdBlock
Данный вид плагина считается самым распространенным. Если изучить статистику, то его скачали около 200 миллионов пользователей ПК. Он включает в себя множество полезных установок. Как обещают разработчики – перехватывает всю рекламу в браузере, но его можно настроить таким образом, чтобы выводились объявления контекстной рекламы. В AdBlock можно включить объявления для YouTube и поиска Google, но только при помощи ручных настроек.
Также довольно часто используемый плагин. У него есть мобильные и компьютерные версии. Этот плагин может заблокировать почти все:
Также можно создавать и настраивать фильтры под себя. Расширение ABP для ПК можно установить на Файрфокс, Хром, Оперу, Интернет Эксплорер, Сафари, Яндекс. Доступ к этим плагинам имеют и владельцы мобильных устройств на базе андроид.
Ghostery
Сейчас в виртуальном пространстве распространены интернет-жуки. Они собирают персональные данные с пользователя, мониторят их запросы в браузере и следят за активностью в интернете. Плагин Ghostery обеспечивает приватность информации. Расширение можно установить на Гугл, Оперу и Сафари. Обычно блокировка идет по разным категориям: аналитика, маяки, реклама, конфиденциальная информация. Программа проста в использовании, так как сама предлагает рекомендации по оптимальной настройке фильтров.
Privacy Badger
Плагин блокирует не всю назойливую рекламу, а только ту, которая следит за частной информацией. Блокировщик предотвращает вторжение в личную жизнь человека.
Privacy Badger функционирует по тому же принципу, что и Ghostery. В главной панели можно проследить, какая вирусная реклама была отфильтрована и снять блокировку самостоятельно, если это требуется. На данном этапе разработки плагина доступна установка на FireFox и Google Chrome.
Как работает блокировка рекламы
Введение
В семействе блокировщиков AdGuard есть много продуктов для разных платформ, у каждого из них свои уникальные особенности. Но что их объединяет — они все блокируют рекламу и трекинг. Эта статья описывает, как устроена блокировка рекламы изнутри.
В этой статье мы не касаемся DNS-фильтрации. Это альтернативный способ блокировать рекламу, со своими преимуществами и недостатками. Переходите по этой ссылке, чтобы узнать больше про DNS-фильтрацию.
Общие принципы
В основе любого блокировщика лежат фильтры. Фильтры — это буквально списки правил, написанные в соответствии с определённым синтаксисом. Блокировщики понимают этот сложный синтаксис. Они интерпретируют правила и на их основе совершают те или иные действия с веб-трафиком: блокируют элементы, изменяют вид веб-страниц и т.д.
Фильтры
Чтобы понимать, как работает блокировка рекламы, вначале надо разобраться в основополагающих принципах работы фильтров.
Правила фильтрации, из которых состоят фильтры, не создаются сами собой. Они являются результатом кропотливой работы разработчиков фильтров, как профессионалов, так и волонтёров. Разработчики используют консоль браузеров и другие инструменты (такие, как Журнал фильтрации AdGuard), чтобы определять, какое правило нужно для блокировки конкретной рекламы или трекера. Это очень упрощённое описание процесса: в особо трудных случаях могут потребоваться сразу несколько правил, множество итераций и использование сложного синтаксиса, чтобы заблокировать элемент.
Даже когда правило попадает в фильтр, оно не остаётся там навсегда. Реклама и способ её подачи могут поменяться, и правила фильтрации должны меняться вслед за ними. Иногда правила устаревают и больше не нужны, иногда появляется новая реклама и требуются новые правила, а иногда уже существующее правила требуется доработать. Поэтому фильтры требуют постоянной поддержки, и часто эту поддержку осуществляет всего один человек. Но даже в случае с целой командой разработчиков фильтров невозможно представить, чтобы они постоянно мониторили все сайты в интернете. Поэтому многие блокировщики имеют встроенный функционал, чтобы дать пользователям простой способ сообщать о пропущенной рекламе и любых других проблемах с фильтрами, с которыми они сталкиваются.
Пользователи AdGuard могут отправлять такие отчёты при помощи специальной веб-утилиты. Благодаря жалобам пользователей разработчики могут сфокусироваться на исправлении и дополнении фильтров, а не на поиске пропущенной рекламы по всей сети.
Фильтры могут гораздо больше, чем просто блокировать рекламные элементы. Существуют фильтры для блокировки трекеров, виджетов социальных сетей, раздражающих элементов (вроде уведомлений о cookie) и т.д. Разные пользователи могут выбирать разные комбинации фильтров, чтобы подстроить фильтрацию под свои нужды. Существуют специальные сайты, такие, как filterlists.com, где собраны огромные базы всевозможных фильтров.
Мы разрабатываем и поддерживаем свой собственный набор фильтров, которые можно использовать как внутри AdGuard, так и с другими блокировщиками.
Типы правил фильтрации
Существует множество видов правил фильтрации, служащих различным целям. В зависимости от используемого вами блокировщика и в особенности от вашей операционной системы, те или иные виды правил могут не поддерживаться.
Базовые правила
Чтобы вы увидели рекламу на веб-странице или в приложении, её сначала необходимо загрузить с сервера. Для этого браузер или приложение должны отправить веб-запрос. Самый простой способ предотвратить загрузку рекламы — заблокировать этот запрос, так что он никогда не попадёт на сервер, а значит и реклама не загрузится.
Практически все продукты из семейства AdGuard могут блокировать веб-запросы в соответствии с активными правилами фильтрации. Этот метод является одним из самых эффективных в плане блокировки рекламы, но у него есть и недостатки. Самый очевидный из всех — на месте заблокированной рекламы может остаться пустое место.
Косметические правила
Каждая веб-страница имеет так называемый DOM («document object model» или «объектная модель документа»), по сути — HTML-документ, содержащий структуру страницы и всех её элементов. Реклама на странице тоже является элементом и, следовательно, отображается в DOM. Блокировщики могут убирать часть DOM, а правила фильтрации помогают им понять, какие именно куски DOM соответствуют рекламе и требуют удаления, а какие не стоит трогать.
Этот метод позволяет, например, избежать остатков рекламы, вроде пустых кусков страницы, но также и выполнять другие, более сложные задачи.
HTML-правила
В большинстве случаев вышеупомянутых базовых и косметических правил достаточно, чтобы скрыть или заблокировать всю рекламу. Но иногда требуется изменить сам HTML-код страницы ещё до того, как она будет загружена. Для этого существуют правила фильтрации HTML-контента. Такие правила указывают блокировщику на элементы HTML, которые нужно вырезать из кода ещё до загрузки страницы браузером.
Это весьма сложный тип правил, и он требует от блокировщика наличия определённых прав, поэтому поддерживается не на всех платформах. HTML-правила работают в приложениях AdGuard для Windows, Mac и Android, а также в браузерном расширении AdGuard для Firefox.
Есть и другие типы правил фильтрации, но для их понимания необходим ещё более высокий уровент технической подготовки. Если вам интересно, вы можете ознакомиться с подробным описанием правил фильтрации в статье по ссылке.
Как устроена и работает блокировка рекламы
Как работает блокировщик рекламы? От чего зависит качество блокировки? Почему иногда он пропускает то, что должен заблокировать? Чем разные программы отличаются друг от друга?
Подобные вопросы часто интересуют пользователей, и понимание ответов на них может помочь выбрать и использовать блокировщик эффективнее.
Главное: адблокинг в двух словах
Самый простой и короткий ответ на вопрос будет звучать так: блокировщик не дает браузеру или приложению загружать нежелательные (рекламные) элементы их содержимого.
Чуть подробнее: блокировщик препятствует коммуникации между отображающей веб-страницу программой, например, браузером, и серверами, с которых загружаются рекламные элементы (баннеры, объявления, видео, поп-апы и так далее). Или другие элементы, которые он призван блокировать (например, счетчики статистики или кнопки соцсетей). Самые первые блокировщики имели в основе на другой принцип: они скрывали от глаз пользователя рекламные элементы, которые уже были загружены на страницу. Сейчас этот способ используется в некоторых программах как вспомогательный. А еще можно вспомнить браузерные расширения, которые скрывают с сайтов и соцсетей тексты на определенные тематики, ориентируясь по ключевому слову.
Первое и главное, что надо понимать: в основе блокировки рекламы в интернете лежит — пока что — не искусственный интеллект на самообучающихся нейросетях, а ручной труд, причем не только разработчиков, но и сообщества.
Фильтры и их создатели
Продукт этого ручного труда — фильтры, то есть, списки правил определения рекламы и отделения её от полезного контента. Автоматизировать распознавание рекламы сложно, помимо прочего, еще и потому, что даже у людей нет единого мнения насчет того, что является рекламой, а что нет. Например, вы заходите в интернет-магазин и видите в его шапке баннер «Акция! Купи сегодня два товара и получи третий бесплатно!» Магазин рекламирует самого себя и собственную акцию, есть ли смысл блокировать такое промо? Хочет ли аудитория видеть такие баннеры, или хочет скрыть их?
Другой пример: стоит ли добавлять правила, которые будут работать только для одного вебсайта? Возможно, это имеет смысл, если у сайта очень большая аудитория, нужно только решить, насколько именно большая, по какой посещаемости проходит граница.
В фильтре могут описываться разные аспекты, по которым он будет узнавать элемент: внешний вид, поведение, адрес ресурса, с которого элемент загружается. Всё, что можно описать на языке кода.
Критерии отделения рекламы от всего остального обычно определяются волевым решением основателя того или иного фильтра с учётом мнения сообщества, которое помогает его формировать, и прописываются в политике.
Самый популярный набор фильтров называется EasyList. Он не принадлежит какому-то конкретному блокировщику, но используется в большинстве популярных продуктов (в том числе в Adblock Plus, uBlock Origin, AdGuard).
В рамках EasyList и других фильтр-проектов существуют отдельные фильтры для разных языковых сегментов интернета и для разных типов элементов, которые пользователи хотят блокировать: «классическая» реклама (баннеры, поп-апы и т.д.), следящие элементы (счетчики, рекламные трекеры), кнопки социальных сетей на сайтах, контент, который не хочется показывать детям, и так далее. Таким образом, человек, который хочет убрать баннеры, но не имеет ничего против кнопок соцсетей, может не подключать все фильтры сразу.
Вообще блокировщикам не свойственно разрабатывать собственные фильтры — активно и полноценно этим занимается только AdGuard. Сейчас фильтры AdGuard пополняются и развиваются быстрее, чем EasyList. В этом процессе участвуют не только разработчики, но и сообщество. Это тоже открытый продукт, фильтры AdGuard подключают создатели и пользователи других блокировщиков.
Динамика обновления фильтров EasyList 
Динамика обновления фильтров Adguard
Еще одна особенность работы с фильтрами у AdGuard — анализ статистики их срабатывания. Эта статистика помогает выявить правила, которые не используются, убрать их из списков и тем самым ускорить работу фильтров.
Конвейер фильтрации: от пользователя до разработчика и обратно
Именно от того, насколько оперативно обновляются фильтров, зависит качество блокировщика. Заинтересованные в показе рекламы компании постоянно работают над обходом блокировки. Они меняют все уже попавшие в фильтры идентификаторы рекламных элементов или шифруют запросы страниц к серверам рекламы, чтобы блокировщик их не остановил. Эта деятельность требует столь же постоянных контрмер.
Обычные пользователи жалуются на рекламу, которую видят при включенном блокировщике. Для этого у всех программ есть удобные ссылки и кнопки, сделанные так, чтобы обратная связь не отнимала много времени и сил. Сигнал поступает к разработчикам фильтров, которые добавляют новые правила. Они же управляют фильтрами удаляют ставшие неактуальными правила, оптимизируют их с целью быстродействия, при необходимости заводят новые списки.
фрагмент правил из фильтра Adguard для русскоязычных сайтов. Посмотреть все фильтры Adguard можно в Базе знаний
Разработчики каждого блокировщика сами решают, какие использовать фильтры из общедоступных. Впрочем, не все фильтры полностью совместимы со всеми программами. Разработчики совершенствуют синтаксис (правила составления программного кода) для фильтров, чтобы они быстрее работали и требовали меньше ресурсов, в результате чего фильтры, созданные командой одного приложения, в другом работать хоть и будут, но не так хорошо, как в «родном».
Желание установить побольше разных фильтров, чтобы уж точно поубивать всю рекламу, может обернуться проблемами. В лучшем случае фильтры от неопытного или забросившего их развитие разработчика просто будут действовать с ошибками. В худшем — контроль над фильтрами перехватят хакеры. Они смогут менять правила отображения веб-страниц, полностью контролируя то, что увидит на своем мониторе посетитель определенного сайта. Открытая на работе на весь экран порнокартинка вместо поиска Яндекса – ещё не худший вариант такой ситуации.
Известен случай, когда фильтр RuAdList портил отображение поисковых результатов Яндекса. Забавно, что реклама в «сломанной» выдаче продолжала быть видна. А фильтр этот входил в “комплектацию” известнейших блокировщиков AdBlock и AdBlock Plus в версиях для Рунета.
некорректно отображающаяся контекстная реклама Яндекса
И, конечно, излишнее количество фильтров, особенно неидеально совместимых друг с другом, будет “тормозить” интернет, а то и всю работу устройства.
Чтобы защитить своих пользователей от случайных и намеренных сбоев в работе фильтрации, Adguard размещает все файлы сторонних фильтров на своих серверах и раздает их оттуда.
Но фильтры — это только сырьё. Ошибочным будет впечатление, что разработчики блокировщиков паразитируют на труде их создателей.
Чем занимаются разработчики блокировщиков и чем отличаются их продукты
Каждый блокировщик рекламы имеет собственные стратегии и технологии интерпретации и применения правил, прописанных в фильтрах. Простой пример: если блокировщику уже несколько лет не попадались элементы, соответствующий одному из правил фильтров в его коллекции, что надо делать? Отключить фильтр как устаревший, решив, что веб-разработчики перестали использовать в конструкции страниц такие элементы? Ведь чем меньше правил, тем меньше приложение «весит» и тем быстрее работает! Или не отключать, на тот случай, если элемент всё-таки попадётся на каком-нибудь сайте, а то и вовсе заново войдет в моду?
Подобные решения разработчики принимают не только на основе анализа статистики срабатывания фильтров, как в AdGuard, но и на основе собственной экспертизы, понимания устройства интернета и тенденций его развития.
Работа с фильтрами подразумевает, помимо собственноручного составления и пополнения фильтров, и координацию активности сообщества, и обработку обратной связи от пользователей, и сбор и анализ статистики применения фильтров, и контроль за эффективностью сторонних фильтров, и анализ всей индустрии интернет-рекламы для понимания того, куда движутся технологии и с какой рекламой придется иметь дело в ближайшем будущем.
Разработчикам каждой программы приходится по-своему решать общие вопросы её функционирования, например:
Компания-разработчик занимается поддержкой пользователей, помогает им освоиться с программой и оперативно решать возникающие проблемы.
Наконец, помимо собственно блокировки рекламы у программы могут быть дополнительные задачи. Например, защита детей от нежелательного контента, защита пользователя от мошенничества и других преступлений в интернете.
Блокировщики мобильные, системные, браузерные: в чем разница?
На разных платформах блокировщики работают с учетом особенностей этих платформ и предоставляемых ими возможностей.
Браузерные расширения
Это маленькие программы, которые работают внутри браузера и устанавливаются из его магазина приложений. Наиболее простой продукт для разработки. В том числе потому, что расширения для разных браузеров фактически являются одной и той же программой, адаптированной под каждый из браузеров.
Для пользователей их главное достоинство обычно состоит в бесплатности. Основной недостаток, на первый взгляд, в том, что в каждый из используемых браузеров надо будет отдельно устанавливать расширение. Но на самом деле это не главный минус.
расширения-блокировщики в магазине браузера Chrome
Главный минус в том, что, существуя внутри браузера, блокировщик вынужден подчиняться законам его экосистемы. Эти законы блокировщикам не слишком благоволят, потому что у популярных браузеров есть своё мнение о том, как должна работать реклама.
Например, Google Chrome и популярный в России Яндекс.Браузер принадлежат компаниям, для которых реклама в интернете является основным источником дохода. Они не препятствуют существованию расширений-блокировщиков, но влияют на их работу.
Яндекс даже даёт API (набор программных инструментов для создания приложений под конкретную платформу) блокировки контента для создания контентных фильтров для своего мобильного браузера. Но эти фильтры не будут блокировать то, что показывают рекламные сервисы самого Яндекса.
У свежей версии Content Blocking API десктопной и мобильной версий браузера Safari есть ограничение в 50000 правил для фильтрации. Это довольно жёсткое ограничение, и пока кроме AdGuard никто из блокировщиков не смог сделать программу на базе нового API. Все традиционно популярные блокировщики используют старое, у которого много функциональных ограничений, оно медленнее работает, не позволяет контролировать некоторые типы запросов, отправляемых страницами. AdGuard вписывается в ограничение по правилам, отбирая их на основе статистики использования и оптимизируя размер фильтров.
В браузерах Chrome и Firefox расширения не имеют возможности контролировать запросы к рекламным сервисам, осуществляемые по протоколу WebRTC. То есть, часть запросов страниц на загрузку рекламы выполняется, и реклама блокируется не вся. До недавнего времени аналогичная проблема была с запросами по протоколу WebSocket. Известный порносайт Pornhub обходил блокировщики рекламы именно открывая альтернативный websocket-канал для показа баннеров, если видел у посетителя адблокер.
Когда Google запустил экспериментальный протокол QUIC для работы собственных сервисов в браузерах на основе Google Chromium, пользователи начали сообщать о появлении рекламы: блокировщики не могут контролировать запросы через этот протокол. Проблема существует до сих пор.
Расширения-блокировщики для мобильных браузеров — это отдельная история, но не очень захватывающая. Chrome разработки таких расширений не позволяет. Firefox позволяет. Про Яндекс.Браузер мы уже говорили, API блокировки контента предоставляет еще браузер Samsung Internet. Adblock Plus запустила собственное приложение-браузер с блокировкой рекламы, но он сделан на основе Firefox.
Мобильные приложения
Блокировка рекламы в приложениях возможна только на сетевом уровне. Это значит, что блокировщику нужно создать собственное приложение, которое будет фильтром для интернет-трафика, идущего ко всем остальным приложениям. Оно удаляет рекламу из этого потока данных, и уже «очищенная» информация отображается в приложениях.
Без ложной скромности можно назвать Adguard лучшим (и единственным крупным) продуктом в нише блокировщиков рекламы на Android-устройствах. Сравнимо по известности приложение AdAway, но оно использует принципиально иную техническую стратегию блокировки.
AdAway редактирует файл hosts на устройстве. В этом файле записаны соответствия между url-адресами ресурсов и именами серверов, на которых эти ресурсы находятся. Если отредактировать соответствия между доменами и серверами для рекламных сервисов, запросы к этим доменам не смогут выполняться, и реклама не будет показываться.
Пример файла hosts на android-смартфоне
Этот способ хорош простотой реализации, но имеет существенные недостатки, о них мы подробно писали в блоге. Вкратце — он не позволяет заблокировать всё, что надо, и блокирует что не надо. Например, если вы не хотите видеть объявления рекламной сети Facebook (а к этой сети подключены сотни приложений), вы не сможете пользоваться и самим Facebook.
Adguard же пропускает через себя и фильтрует весь сетевой трафик. Еще у него есть режим DNS-блокировщика, в котором он работает аналогично AdAway. При всех недостатках это сверхэкономный режим работы, не задействующий ресурсы устройства.
Программы для ПК и ноутбуков
Выше мы писали об ограничениях, которым подвержены браузерные расширения для блокировки рекламы. Если установить блокировщик как компьютерную программу, эти ограничения будут неактуальны. Программа осуществляет системную блокировку (system-wide ad blocking), фильтруя весь идущий на компьютер трафик. Результат аналогичен мобильному блокировщику, хотя механизм реализации немного иной. Такая программа, конечно, гораздо сложнее в разработке, чем браузерные расширения.
DNS-фильтрация
DNS — это «система доменных имён», domain names system. Поэтому антирекламная фильтрация DNS работает аналогично редактированию файла hosts, описанному выше, с теми же недостатками и ограничениями. Adguard использует этот подход еще и в приложении под iOS, так как эта система дает меньше возможностей работы с трафиком. Подробнее с возможностями Adguard DNS можно познакомиться в Базе знаний.
Зато этот способ уникален своей кросс-платформенностью. Он обеспечит антирекламу для всех устройств, подключенных к интернету, в том числе к “интернету вещей”. Для Smart-TV, холодильников и любых других устройств “умного дома” можно организовать не только антирекламу, но и фильтрацию исходящего трафика, то есть, ограничить маркетинговую слежку.
Об особенностях фильтрации рекламы именно Adguard вы можете почитать в нашей базе знаний. Если у вас остались вопросы, пожалуйста, выкладывайте их в комментариях, постараемся дать всю дополнительную информацию.