Для чего нужен adblock
AdBlock: особенности работы и продвинутые методы блокировки
Привет, Хабр! Часто по работе сталкиваюсь с вопросами вроде: как же работают блокировщики рекламы?
Хочу поделиться с вами некоторыми интересными, но порой сомнительными решениями, которые можно встретить в работе расширений, и обсудить в комментариях работу блокировщиков.
В своей статье расскажу о самых интересных и необычных решениях по блокировке рекламы с помощью JavaScript’a и не только. Также посмотрим на новые направления разработки блокировщиков и куда все движется.
Статья будет полезна прежде всего веб-разработчикам, так как пользователи с блокировщиками могут столкнуться с проблемами на их проектах. А также тем, кто в данный момент ими пользуется, для более глубокого понимания работы.
Рынок блокировщиков
На данный момент самыми популярными решениями являются различные браузерные расширения, однако ими все не заканчивается. На картинке указаны основные, хотя, например, в Chrome Web Store можно найти еще сотню других.
В некоторых мобильных браузерах есть специальные опции для включения блокировки (например, Opera), некоторые изначально работают как браузеры – со встроенным блокировщиком рекламы и отслеживания (AdBlock Browser, Brave).
В некоторых мобильных браузерах есть специальные опции для включения блокировки (например, Opera), некоторые изначально работают как браузеры – со встроенным блокировщиком рекламы и отслеживания (AdBlock Browser, Brave).
Отдельным списком можно выделить следующие инструменты:
VPN серверы с функцией блокировки рекламы;
DNS серверы с блокировкой рекламы
мобильные операторы с услугами блокировки рекламы.
Браузерные расширения
Многие представляют, как работают браузерные расширения, у блокировщиков тот же принцип. Подробнее почитать про устройство расширений под Chrome.
Перейдем к общей схеме работы расширения на примере AdBlock Plus.
Почти все блокировщики основаны на списках фильтрации, это такие файлы https://easylist-downloads.adblockplus.org/ruadlist+easylist.txt, которые содержат список правил для фильтрации контента на определенных сайтах. Также в них есть общая часть, которая относится к фильтрации на всех ресурсах, так что вы ненароком тоже можете случайно попасть под фильтрацию одного из общих фильтров (которые работают на всех сайтах).
Например, вы создали на своем сайте какой-то
На основе этих файлов и происходит вся фильтрация контента сайта. Изменениями в этих списках занимаются конкретные форумы и модераторы (например: RuAdList https://forums.lanik.us/viewforum.php?f=102), некоторые можно найти и на github’e https://github.com/abp-filters/abp-filters-anti-cv.
Как читать/писать фильтры
Для общего понимания стоит разобрать, как выглядят типичные фильтры. Слева указывается блокируемый адрес, а справа, после разделителя, идут особые параметры: какие запросы блокировать и на каком домене это нужно делать. Подробнее можно почитать здесь.
С помощью подобных фильтров можно заблокировать почти любой, загружаемый на странице ресурс. Среди которых могут быть:
Блокировка с помощью JavaScript
Давайте рассмотрим на примере:
Фильтр на примере: localhost#$#hide-if-shadow-contains /MyAds/
На живом примере мы видим, что блокировщик успешно справился с задачей блокировки закрытого Shadow DOM на основании его внутреннего контента.
Фильтр: localhost#$#abort-on-property-read Object.prototype.testMethod
В данном примере рассмотрено создание типичного класса, который прогнали, например, через Babel.
X-Path
Возможно, некоторые уже сталкивались с языком запросов X-Path, но немногие знают, что его можно применять в вебе (зачастую он используется парсерами страниц). Тут отличный справочник, если кого-то заинтересовало.
В браузере также существует особое API для исполнения следующих выражений, что позволяет блокировщикам избирательнее выбирать элементы для блокировки.
Perceptual Image Hash
Еще одно интересное направление работы – это работа с изображениями, так как во многих рекламных объявлениях можно встретить одинаковые картинки с логотипом рекламной сети, по этим картинкам зачастую можно найти расположение всего объявления и целиком заблокировать.
Алгоритм примерно следующий:
Нормализуем размер картинки под общий пресет;
Разделяем картинку на I1, I2 … In не перекрывающихся блоков, где N – кол-во блоков, равных длине финальной hash bit строки;
Зашифровываем I1, … In блоки с помощью секретного ключа K в новую последовательность блоков;
Для каждого этого блока вычисляем его среднее M1….Mn, а затем вычисляем общее среднее Md = median(Mi), где I = 1…N;
Создаем 64-битный хэш на основании того, находится значение выше или ниже среднего (подробнее).
Давайте рассмотрим на примере этих двух изображений:
Img#1 
Img#2
Если мы сравним 2 хэша, получившиеся из двух изображений, то увидим, что дистанция Хэмминга между этими хэшами равна 3, что означает схожесть изображений.
Часть кода фильтра hide-if-contains-image-hash из AdBlock Plus.
На этом примере мы можем видеть, что блокировщик проходится по всем картинкам и ищет среди них похожие на рекламу, что позволит найти похожую даже если по url об этом догадаться нельзя.
DNS фильтрация
Для начала напомню, что DNS позволяет нам, кроме всего прочего, по имени хоста получить IP адрес.
DNS фильтрация работает в том случае, если вы укажете в качестве DNS адресов для вашего устройства, например адреса AdGuard’a. Далее AdGuard по своему усмотрению предоставляет для обычных доменных имен их реальные IP адреса, а для рекламных – IP адреса, которые возвращают заглушки.
Минус в том, что они пропускают все или ничего, зато DNS серверы можно установить прямо на свой роутер и убрать часть рекламы со всех устройств (или получить проблемы со всеми сайтами/приложениями, которые начнут некорректно работать). Ну и конечно никто не может гарантировать, что данные ваших посещений никто не сольет.
HTTPS фильтрация
Итак, есть еще один тип блокирования, когда вы устанавливаете к себе на устройство специальное приложение (например AdGuard). И взамен получаете рутовый сертификат AdGuard к себе на устройство, который позволяет перехватывать ваш HTTPS трафик еще до того, как он попал в браузер и вырезать оттуда рекламу. (А может и не только рекламу).
Как по мне, способ очень экстремальный и экстравагантный, доверять кому-то весь свой трафик я не готов.
Нейронные сети для блокирования рекламы GCNN
Ну и конечно куда уж в 2021 году без Machine Learning в вебе. Сразу оговорюсь, что разбираюсь в теме на уровне новичка и эксперты в комментариях, надеюсь, меня если что поправят.
Итак, в качестве входных данных для нейронной сети выступает часть DOM модели исходного веб-сайта.
Например возьмем следующую простую DOM структуру.
Начнем с верхнего HTML элемента и вычислим все его соседние элементы. В последствии необходимо будет пройтись по всем элементам.
Затем нам необходимо составить вектор фич для каждого элемента. В качестве примера можно использовать любые свойства элементов. Например, мы обозначили, что элемент с типом div обозначается числом 29 и т.д. Тоже самое повторяет с названиями атрибутов у элементов, возможно, их размерами и т.д.
Затем с помощью любого подходящего алгоритма, например, вычисление среднего или поиск максимума, получаем среднее по выборке соседних векторов фич элементов.
После этого полученные значения попадают в обученную нейронную сеть, которая на входе имеет количество нейронов, соответствующее размерности вектора после получения среднего. Может иметь любое количество скрытых слоев, и на выходе иметь несколько коэффициентов, которые нам пока ни о чем не говорят.
Но конечно же, вся мощь открывается после того, как мы создадим несколько подобных слоев. Это необходимо, чтобы наша нейронная сеть ориентировалась не только на первых соседей заданного элемента, но и смотрела глубже, в зависимости от того, как мы хотим ее обучить.
На втором слое в нашем примере, будет происходить все то же самое, за исключением того, что входом для сети будут коэффициенты, полученные на первом слое.
В конце концов, мы должны получить какой-то конечный коэффициент, позволяющий нам говорить о наличие или отсутствии в данном элементе рекламы.
AdGraph
AdGraph – это такой необычный набор патчей для Chromium в движок Blink и JavaScript движок V8, которые позволяют на основе загружаемых ресурсов выстраивать граф зависимостей на основе трех слоев HTML, HTTP и JavaScript.
Общая схема работа
Затем AdGraph, с помощью натренированной нейронной сети Random Forest, классифицирует граф. В качестве исходной информации для обучения были использованы фильтры блокировки, о которых мы говорили ранее.
Подробнее можно посмотреть тут:
Вместо итогов
Пользоваться блокировщиками или нет – личное дело каждого пользователя. Про себя скажу, что не пользовался и не пользуюсь, а сталкиваюсь с этим в основном по работе в департаменте рекламных технологий.
Для всех тех, кто пользуется, считаю полезным знать и понимать как ваши инструменты работают. Для остальной части аудитории если вы занимаетесь веб-разработкой, то вы скорее всего не раз и не два столкнетесь с проблемами пользователей на ваших проектах при включенном блокировщике рекламы.
Что такое Adblock
2 ноября 2017 Опубликовано в разделах: Азбука терминов. 43529
Есть две версии — AdBlock и AdBlock Plus. У них разные разработчики, но функционал один и тот же. Есть незначительная разница в деталях.
Чтобы понять, что это за программа Adblock Plus, представим следующую жизненную ситуацию. Вы смотрите любимый фильм в интернете, на YouTube или другом ресурсе.
И тут кино прерывается на небольшую рекламу, на 10-30 секунд. Конечно, такая реклама намного короче той, что мы видим по телевизору, но удовольствие от просмотра она все-таки портит. Также мы постоянно наталкиваемся на рекламные сообщения при чтении статей, поиске необходимой информации и других действия в интернете. Adblock Plus является своего рода волшебной палочкой, которая блокирует рекламу, и больше ничего не помешает просмотру.
Однако в ряде случаем программа блокирует и полезную информацию, поэтому может возникнуть необходимость отключить ее для определенного интернет-ресурса или полностью.
Для чего нужен Adblock
Его главная задача – препятствовать появлению назойливой рекламы как на отдельных сайтах, так и полностью при работе с браузером. Сегодня широко распространено расширение Adblock Plus. Его функционал мало чем отличается от простого Адблока, зато имеется несколько преимуществ:
Как включить AdBlock
Как отключить Адблок
Итак, мы разобрали, такое Adblock, теперь расскажем, как отключить или удалить это расширение полностью.
Мы рассмотрели, как отключить расширение для всего браузера. Но чаще всего пользователи отключают Адблок для определенной страницы. Это называется одноразовое отключение:
Как вы видите, программы блокировщики довольно полезны, они берегут наши нервы и избавляют от рекламы. Однако некоторые ресурсы могут устанавливать запрет на подобные расширения. Например, видеохостинги закрывают доступ к тем или иным видео, пока вы не сделаете их сайт исключением.
Что такое Adblock простыми словами, как его скачать, установить и настроить, а также, отключить полностью и удалить – подробный анализ от эксперта
Рекламы с каждым днем становится все больше, порой от нее невозможно спрятаться. Всплывающие окна и другой отвлекающий контент рано или поздно вызывают желание избавиться от этого безобразия навсегда. Несмотря на то, что AdBlock не единственное решение проблемы, он стал символом свободы от навязчивых предложений. Даже конкуренты упоминают его для описания своих продуктов. Если ваш браузер все еще не знает ничего про адблок — что это такое и с чем его едят — мы расскажем об этом в статье.
Что такое AdBlock
Адблок (adblock) – это браузерное расширение, блокирующее рекламный и шок-контент. Его можно установить в Google Chrome, Mozilla FireFox, Opera, Microsoft Edge, на все устройства iOs и Android.
Отдельные алгоритмы действуют на страницах Twich, Youtube и Facebook. Главной мишенью блокировщика являются всплывающие окна, баннеры и фоновая реклама.
Для чего нужен
Длительное время власти разных государств никак не регулировали хаотичное возникновение и распространение интернет-рекламы. Многим компаниям удалось завоевать внимание пользователей благодаря развитию сети, но одновременно наблюдалось процветание всех возможных видов мошенничества.
Рекламные блоки, кроме своей надоедливости, часто предлагали некачественный товар. Случайные клики по некоторым баннерам угрожали пользователям рассадником троянских программ на личном ПК, кражей личных данных, блокировкой кошельков и вымогательством.
Adblock Plus: что паблишерам стоит знать о блокировке рекламы
Привет, это Радмир Насыров — основатель Roxot. В этот раз мы с Евгением Вольновым записали выпуск Random Talks с Натальей Баевой, менеджером по развитию бизнеса в Eyeo GmbH — компании, которая разработала Adblock Plus.
Выпуск можно посмотреть по ссылке или послушать в формате подкаста на Яндекс.Музыке и Apple Podcasts. Ниже — текстовая выжимка нашей беседы.
Сейчас в мире растёт интерес к теме приватности и прав пользователей в Интернете: все создают контент и хотят заработать на этом, но забывают, что пользователи — это люди, у которых тоже есть права.
Блокировщики рекламы — единственный доступный пользователям способ сказать, что они не хотят видеть определённую рекламу и отдавать свои данные другим сайтам.
Пользователи считают, что контент в интернете должен быть бесплатным, компании — наоборот. И вот, где-то на этой тонкой грани балансирует Adblock Plus.
Если голос пользователя игнорировать, то чем сильнее твоё действие, тем сильнее будет противодействие
В 2020-ом году инструменты блокировки рекламы стоили паблишерам во всем мире 75 миллиардов долларов упущенной прибыли: доля компании среди них — 80%. Получается, что урон паблишерам от Adblock Plus составил 60 миллиардов долларов.
В Eyeo GmbH есть свой сленг, в котором активно используется слово «adfiltering»: это не блокировка рекламы, а её фильтрация. Пользователи скачивают приложение не для того, чтобы заблокировать всю рекламу, а чтобы у них запрашивали разрешение, что можно показывать: если реклама будет аккуратной, полезной и не будет самопроизвольно запускаться, то они вполне готовы к её восприятию.
Глобально у сайтов есть три способа.
Первый способ: обходить блокировку.
Это худший из возможных вариантов: человек отстаивает свою позицию в нежелании видеть рекламу, а ему насильно пытаются её показать. Со стороны пользователя к рекламодателю возникает негативное отношение.
Второй способ: экспериментировать с показом плашек.
Это тот вариант, когда с пользователем разговаривают, сообщая, что для просмотра основного контента, необходимо посмотреть рекламный ролик. Тут есть одно «но»: часть пользователей, когда видит такую плашку о показе рекламы, не всегда готова вникать в её понимание, поэтому быстро покидает сайт.
Третий способ: использовать paywall и платные подписки на сайт.
Прямая поддержка создателей контента — это круто. Это тот случай, когда контент на сайте настолько нравится пользователю, что он готов платить за него дополнительные деньги и не получать ненужную рекламу. Такой способ поддержки создателей контента живыми деньгами сейчас активно масштабируется.
В компании выделяют следующие ключевые моменты:
В России доля пользователей Acceptable Ads относительно других стран велика: в данный момент число пользователей из России составляет 13 миллионов человек в месяц (для справки: общее количество пользователей Acceptable Ads в мире в 2021-ом году составляло 220 миллионов человек в месяц).
Если во всём мире есть несколько лидеров рынка, которые имеют своё влияние в каждой стране, то в России эта ситуация отличается: здесь приходится брать в расчёт локальные компании и работать непосредственно с ними.
Если в Германии после появления Adblock Plus все медийные издания пытались его засудить, то в России сайты восприняли его относительно хорошо.
Компания даёт паблишерам возможность различать пользователей, которые полностью запрещают показ рекламы, и тех, кто согласился видеть определённую рекламу, если их заранее уведомлять.
В России только 13% пользователей Adblock Plus полностью отказались от рекламы, остальные 87% готовы её воспринимать, если перед показом у посетителей сайта будут запрашивать разрешение.
Когда паблишеры получают код, по которому будут распознавать пользователей, от них требуется настроить альтернативный рекламный опыт. То есть для посетителя сайта будет отрисовываться собственный набор баннеров, рекламу на которых он считает приемлемой. Если паблишер уже имеет подходящий под пользователя рекламный баннер, то Adblock Plus может со своей стороны его настроить через фильтры.
Сам Adblock Plus зарабатывает на том, что работает с паблишерами по модели revenue share (разделение прибыли).
Неважно, какого формата видео — Out-stream или In-stream, — оно не пройдёт через блокировщик рекламы.
Однако есть маленькая ниша видеорекламы, которая допускается к просмотру пользователями Adblock Plus — это небольшое видео формата click to play: тут важно, чтобы была кнопка «нажать», которая запускает видеоролик с разрешения пользователя. Однако такой формат требует серьёзной кастомизации, которую могут позволить только крупные игроки рынка.
Комитет Eyeo GmbH сейчас занимается анализом и опросом аудитории о допустимых форматах видеорекламы, но пока что это всё на стадии обсуждения.
Если сайт маленький, некоммерческий или для него реклама в Adblock Plus — не главный способ дохода, он может оставить заявку на Acceptable Ads. После её рассмотрения в компании, рекламу с сайта могут бесплатно добавить в Adblock Plus.
Важно, чтобы у контент у сайта был не пиратский, а он сам проходил по всем вышеописанным требованиям к рекламе в Adblock Plus.
Не хочется вставать на чью-либо сторону, но вот какой мыслью не могу не поделиться.
Одной из негативных черт, что отличает российский рынок от западного, является желание сайтов урвать быстрые деньги. Это не есть плохо, но почему-то большинство паблишеров считает, что заработок на рекламе — это быстрый спринт, а не долгий марафон. Часто в погоне за деньгами площадки используют линейные решения в духе «больше баннеров — больше денег». И немногие при этом анализируют, как добавление того или иного рекламного места сказывается на пользовательских характеристиках.
Решение показывать как можно больше рекламы — тактика опасная: в какой-то момент рекламы становится так много, что сам контент уже не найти. На мой взгляд, это и есть главная причина, почему у нас так много пользователей пользуются AdBlock.
Мне же импонирует немного иной подход к рекламе — встретил его у одного из наших клиентов. Он пришёл в Roxot с запросом: «Мне не нужен рост денег здесь и сейчас: я заработаю гораздо больше, если улучшу пользовательские характеристики. Сможете сделать так, чтобы баннеров было в два раза меньше, а денег осталось бы примерно столько же?».
Другими словами, если у вас будет аудитория, то деньги придут сами: а вот наоборот точно не получится.
Чтобы вам не надо было листать в начало статьи, продублирую ссылку на выпуск тут и на подкаст на площадках Яндекс.Музыка и Apple Podcasts.
Пользуйтесь интернетом без раздражающей рекламы
Нажав на кнопку ниже, вы соглашаетесь с нашими Условиями использования.
Блокировка рекламы с помощью Adblock Plus для Safari на iOS
Загрузите Adblock Browser
Лучший браузер с блокировкой рекламы для Android
Блокировка рекламы с помощью Adblock Plus для Интернет Samsung
Разработано специально для Интернет Samsung
Adblock Plus для Internet Explorer поддерживается компанией eyeo GmbH для следующий версиях Windows 10: Windows 10 Pro, Windows 10 для образовательных учреждений и Windows 10 Корпоративная. Adblock Plus для Internet Explorer поддерживается на внутренних версиях технической поддержки Windows 10, включая Current Branch, Current Branch for Business и следующую версию долгосрочной технической поддержки (Long-Term Servicing Branch): Windows 10.
Как упомянуто в:
Более быстрый и приятный просмотр интернета
Блокируйте рекламу, которая мешает вам просматривать ресурсы в Интернете. Попрощайтесь с рекламой в видео, выскакивающими сверху окнами, мигающими баннерами и т. д. Когда эта раздражающая реклама заблокирована, страницы загружаются быстрее.
Обеспечьте безопасность данных и устройств
С Adblock Plus можно легко избежать отслеживания и вредоносных программ. Благодаря блокировке интрузивной рекламы сокращается риск инфекции вредоносными программами. Блокировка отслеживания не дает компаниям следить за вашей активностью онлайн.
Hе вся реклама плохая
Сайтам нужны финансы, чтобы оставаться бесплатными. Поддержите их, разрешив допустимую рекламу (включена по умолчанию). Вы хотите скрывать любую рекламу? Нет проблем. Узнайте, как это сделать
Вы хотите блокировать рекламу и отслеживание на мобильных устройствах?
Приложение Adblock Browser
Создатели Adblock Plus, самого популярного блокировщик рекламы для браузеров настольных компьютеров, теперь предлагают Adblock Browser для устройств Android и iOS.
Что такое Adblock Plus?
Adblock Plus — это бесплатное расширение, позволяющее оптимизировать свою работу в сети. Блокировка навязчивой рекламы, отслеживания, распространяющих вредоносное ПО сайтов и многое другое. Доступно для всех основных компьютерных браузеров и мобильных устройств.
Adblock Plus представляет собой проект на основе открытого кода, имеющий лицензию GPLv3 и применяемый в соответствии с Условиями использования.
Авторское право © 2020 Все права защищены. Adblock Plus ® является зарегистрированной торговой маркой компании eyeo GmbH.
Мы используем куки, чтобы обеспечить вам максимальное качество пользования нашим сайтом. Пользуясь нашим сайтом, вы осознаете, что мы используем куки, и вы можете изменить настройки в любое время. Подробнее
Эти куки используются для запоминания ваших настроек конфиденциальности. Их нельзя отключить.
Мы используем эти куки для анализа трафика сайта.
Куки тестирования A/B
Мы используем эти куки Google Optimize для тестирования A/B на основании данных аналитики.