Для чего нужен squid
Установка и настройка прокси-сервера Squid
Squid – самый популярный HTTP-прокси сервер для кэширования и перенаправления. Он широко используется различными компаниями для кэширования веб-страниц с веб-сервера для повышения скорости работы последнего, снижения времени ответа и ограничения использования пропускной способности сети. В данном руководстве мы рассмотрим установку прокси-сервера squid и его использование в качестве HTTP-прокси сервера.
Установка прокси-сервера Squid
Прежде чем начать, стоит отметить, что сервер Squid не требует значительных ресурсов, но использование оперативной памяти может изменяться в зависимости от количества клиентов, осуществляющих доступ в интернет через прокси-сервер.
Пакет Squid доступен в стандартном репозитории
В Ubuntu/Debian
Запустите его и задайте запуск при загрузке:
После этого можно проверить статус службы:
Важные файлы Squid располагаются в следующих директориях:
Файл конфигурации: /etc/squid/squid.conf
Журнал доступа: /var/log/squid/access.log
Журнал кэша: /var/log/squid/cache.log
Файл конфигурации по умолчанию содержит ряд директив, при помощи которых осуществляется управление работой сервера. Для внесения изменений откройте файл любым текстовым редактором.
В нем довольно много параметров, мы рассмотрим самые важные из них.
http_port порт HTTP-прокси сервера, по умолчанию 3128. Для безопасности рекомендуется сменить его на другой.
visible_hostname Параметр используется для определения имени узла сервера Squid. Можно задать любое имя.
Также можно указать параметр intercept (или transparent для старых версий), например, http_port 3128 intercept. В этом случае ваш сервер будет работать как прозрачный прокси (без необходимости настраивать его использование на стороне клиента).
Для последующего понимания работы прокси, нужно понять следующие параметры
http_access-Данный параметр регулирует доступ к HTTP-прокси серверу. С помощью него можно разрешить или запретить доступ через сервер как к определенным ресурсам в интернете, так и определенным группам пользователей.
В данный момент любой доступ запрещен (deny all). Чтобы начать использование сервера, нужно изменить ее, например, на http_access allow all (разрешить любой доступ). Параметр all можно заменить на имя списка доступа, которые мы рассмотрим чуть ниже.
acl(access control list) — В этом параметре указываются ресурсы в интернете, порты, ip адреса пользователей, локальные сети. В общем это список к которому будут применяться различные правила. Таких списков может быть неограниченное количество.
После внесения изменений нужно перезапустить Squid следующей командой:
Настройка Squid как HTTP-прокси
В данном разделе мы рассмотрим настройку Squid в качестве HTTP-прокси, использующий для аутентификации только IP-адрес клиента.
Общий синтаксис в прокси выглядит следующим образом
При описании контроля доступа можно использовать оператор отрицания «!». Например следующая строка запрещает доступ ко всем портам, кроме описанных в листе Safe_ports
Добавление списков контроля доступа
Рассмотрим создание списков доступа acl подробнее. По умолчанию уже есть преднастроенный acl localnet
Вы можете его отредактировать или удалить. Создадим новый acl
Добавьте правило следующего вида:
Где boss — имя списка контроля доступа, src — параметр, задающий адрес источника (source), а XX.XX.XX.XX — IP-адрес машины клиента (можно также указывать подсети или диапазоны). Новые списки контроля доступа нужно добавлять в начало раздела ACL. Аналогичным образом можно создавать списки доступа с ограничением по адресу места назначения (параметр dst вместо src), а также использовать вместо адресов доменные имена (srcdomain для источника, dstdomain для места назначения).
Очень желательно рядом с ACL указывать комментарий с кратким описанием пользователя этого IP-адреса, например:
После этого нужно разрешить доступ для boss:
Чтобы изменения вступили в силу, нужно перезагрузить Squid.
Открытие портов
По умолчанию в конфигурации Squid разрешено использование только определенных портов.
Если требуется использование дополнительных портов, можно задать их в файле конфигурации:
Где XXX — номер порта, использование которого нужно разрешить. Снова желательно пояснять ACL комментарием.
Не забываем перезапустить Squid для применения настроек
Работа прокси в прозрачном режиме
Как уже было сказано, прозрачный режим предполагает автоматическую работу прокси-сервера без необходимости в явном виде указывать его на клиентских машинах. В общем случае клиент может вообще не знать, что работает через прокси. Это может быть полезным для обеспечения анонимности, ограничения доступа к некоторым сайтам и даже экономии сетевого трафика, так как прокси-сервер может сжимать данные.
Помимо уже рассмотренной выше опции intercept в параметре http_port файла конфигурации, для обеспечения правильной работы прозрачного прокси требуется соответствующим образом настроить маршрутизатор. Чтобы все входящие и исходящие запросы на порт 80 перенаправлялись на порт, используемый прокси-сервером.
В случае использования iptables нужно добавить следующие правила (в рассматриваемом примере eth1 — внутренний интерфейс, eth0 — внешний, SQUID_IP — IP-адрес прокси-сервера):
Аутентификация клиента
Cоздадим файл passwd для хранения имени пользователя для аутентификации. Сквид работает как пользователь squid, поэтому он должен быть владельцем файла.
Создадим нового пользователя ivan и установим ему пароль.
Для задания базовой HTTP-аутентифркации откройте файл конфигурации Сквид в текстовом редакторе:
И пропишите следующие директивы после ACL портов:
Чтобы применить изменения, сохраните файл и перезапустите Сквид. Теперь при попытке получить доступ в интернет необходимо будет ввести логин с паролем
Настройка параметров кэширования
Одна из важных функций прокси-сервера — кэширование веб-страниц для разгрузки веб-сервера и ускорения доступа. Сквид поддерживает два типа кэша, в оперативной памяти и на жёстком диске.
Кэш в оперативной памяти настраивается следующими параметрами:
cache_mem 1024 MB — выделенный для кэширования объем памяти
maximum_object_size_in_memory 512 KB — максимальный размер объекта в кэше
Параметры кэша на жёстком диске задаются следующей директивой:
Размер указывается в мегабайтах, ур_1 и ур_2 — количество директорий первого и второго уровня, соответственно, например:
Аналогично кэшу в памяти при помощи следующего параметра указывается максимальный размер объекта в кэше на диске:
Ограничение скорости
Squid может ограничивать скорость доступа к сети. Хотя в современных условиях эта функция может показаться избыточной, она часто может оказаться полезной, например, для ограничения использования пропускной способности канала какими-либо автоматизированными задачами.
Для реализации ограничения скорости Сквид использует механизм пулов задержки (delay pools). Пулы задержки можно условно представить в виде ёмкости, которая “заполняется” данными, и после этого “выпускает” их только с определенной скоростью. Количество пулов задаётся в файле конфигурации следующим образом:
Каждый пул имеет номер (от 1 до заданного количества), а также класс. Классы реализуют многоступенчатую структуру ограничения:
1 класс — общее ограничение
2 класс — общее ограничение и ограничения для подсетей
3 класс — общее ограничение, ограничения для подсетей и ограничения для отдельных ip-адресов
Классы пулов задаются директивой delay_class, в качестве аргументов которой передаются номер пула и класс.
Параметры пулов задаются директивой delay_parameters и описывают максимальный объем пула и ограничение на каждый уровень (в байтах) в зависимости от класса. Например, параметры для пула 1 класса с номером 1:
Будут означать, что после получения первых 256 Кб запроса на максимальной скорости скорость будет ограничена 64 Кб/с, то есть 512 Кбит/с.
Для 2 класса и выше аналогичным образом задаются ограничения для подсети, отдельного адреса и т.д., например следующая директива ограничивает общую скорость до 8 Мбит/с, а скорость для подсети после первых 256 Кб запроса — до 512 Кбит/с.
Чтобы задать пулы задержки для определенных списков контроля доступа, используется директива delay_access, содержащая номер пула, параметр allow или deny и имя списка, например:
для примера создадим два пула, 1 и 2 класса:
Теперь пользователи из листа office1 будут иметь скорость доступа в интернет в соответствии с delay_parameters 1.
Создаем 2-й класс
Это означает, что пользователи acl office2 ограничены общей скоростью на всю сеть в 512 кбит, но при этом отдельные пользователи в этой сети ограничены после первых 256 Кб, скоростью в 64 кбит
Проверим на сайте speedtest.net, работу ограничений
Как видите скорость загрузки действительно ограничена приблизительно до 256 кбит. Обратите внимание, что сквид ограничивает только скорость отдачи от него, т.е скорость загрузки пользователя. На скорость отдачи от пользователя ограничение не действует.
Блокировка веб-сайтов
Для блокировки доступа к нежелательным веб-сайтам сначала создайте файл с “черным списком”:
Теперь в этот файл нужно добавить сайты, к которым требуется заблокировать доступ. Например заблокируем доступа к одноклассникам и вконтакте:
Точки перед именами указывают Сквид блокировать все ссылки на эти сайты, в том числе www. vk.com, subsite.vk.com и т.д.
Далее нужно открыть файл конфигурации
И добавить список контроля доступа по доменным именам, указанным в файле, а также правило, запрещающее доступ для этого списка:
Обратите внимание на порядок расположения правил, правила доступа выполняются сверху вниз. Поэтому запрещающее правило расположено выше разрешающего
Сохраните файл и перезапустите Squid:
Теперь при попытке получить доступ к сайтам из списка, пользователь получит предупреждение
Блокировка по маске
Можно осуществлять блокировку не только по именам сайтов, но и по маске. Т.е. заблокировать доступ в сайтам, в которых есть определенное сочетание букв. Аналогичным образом создаётся файл со списком запрещенных ключевых слов:
Далее в него добавляются ключевые слова, например:
Откройте файл конфигурации и внесите в него следующие список контроля доступа и правило:
А затем сохраните файл и перезапустите Сквид:
Теперь, все сайты в названии доменов которых встречаются facebook, instagram, gmail будут заблокированы.
Заключение
Squid — очень мощное решение для создания прокси-сервера, обладающее огромными возможностями, значительной гибкостью и применимое практически в любой сети, от небольшого офиса до крупной корпорации. Мы охватили наиболее важные функции и параметры конфигурации Squid. Для получения более подробной информации о его конфигурации можно обратиться к официальной документации.
Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.
А для чего сейчас нужен squid?
я понимаю 10 лет и более назад экономилось 10-15% графика, когда оплата была помегобайтно, а сейчас? от него больше проблем, чем толку, то один сайт не пашет, то с другим какие то проблемы (именно через сквид). Видеть куда ходит пользователь? А мне оно надо? Сейчас море сайтов начиная с Ютубе https которые не ловятся проксей и никак не останавливаются ( поправьте если я не прав гуру) трафик то шифрованый либо я разрешаю его через либо нет. Остается тока тормозить как то зарвавшихся пользователей, вопрос как? Совсем рубить нельзя, надо чтоб чтото жизненно важное работало, типа почты и тп, как сие реализовать?
типа почты и тп, как сие реализовать?
Скорость порезать, не?
Не, как то это не очевидно для того же пользователя, меня будет еще дергать
надо бы как то как в сквиде. борзеешь дружок, приходи завтра!
и прикрывать до завтра все кроме почты например или еще чего.
Сейчас море сайтов начиная с Ютубе https которые не ловятся проксей и никак не останавливаются
С недавних пор все как раз таки ловятся (пруф). Поэтому сейчас его и снова начал использовать.
Сейчас море сайтов начиная с Ютубе https
А еще проверять антивирусом (с помощью icap). Всякими squidGuard-ами рекламу срезать.
Вот спасибо, почитаю!
а собирать руками что то ломы.
ну хорошо что умеет, чего я тока не резал и не выкусывал в кальмаре
Всякими squidGuard-ами рекламу срезать.
А зачем опять же? Трафик экономим? ADBLOCK+ тоже много чего режет у меня на пользовательской виндовозной машине и скрывает по моей прихоти. некоторые сайты жалостно просятся отключить его.
как то поразвернутее можно?
это что и с какой оперы?
Ага читаю и понял что это. вопрос снят.
если что я кальмара лет 16 использую, но начал выключать.
Это где так туго с обновлениями?
Там есть в соседней теме все уже собрано.
Сейчас всё реже и реже используется. Раньше без него было никак.
Чисто философски, в организации и предприятия лучше бы покупать специализированные решения.
А так, почему бы и не вести лог всех и вся, ходящих по интернетам в рабочее время?
Да это все понятно.
говорю за 16 лет чего только не резал с помощью кальмара, сайты запрещал, пути плохие, баннеры. игрушки качать, mp3. Пускал пользователей по расписанию в инет каждого в определенное время, типа кого то с 10 до 11 часов кого то с 14 до 15 (бред, но так хотело начальство).
Возникало опять же много ненужных вопросов типа у меня тут что то не кажется, а вот дома все пучком на которые порядком надоело отвечать. И вот вроде как умер кальмар, анлим, скорость приличная хотят смотреть на баннеры пусть смотрят и вопросов лишних не задают, своя считалка считала трафик и по мере превышения порога особо борзых одергивал в сквиде. Но и это перестало работать с HTTPS вот и думаю умер кальмар, прошло его время, увы.
С недавних пор все как раз таки ловятся (пруф). Поэтому сейчас его и снова начал использовать.
Для непрозрачных прокси всегда ловилось.
Спасибо
Там есть в соседней теме все уже собрано.
а то тут скачал а оно дебиановское. а конвертация наскока я помню не всегда работала.
Вот и я прихожу к таком выводу!
Сейчас всё реже и реже используется. Раньше без него было никак.
Прочитал эту простыню, и не понял, что именно ловится. Если только имя сервера, а не полный адрес страницы, то это как-то не очень круто.
C другой стороны, чего плачешь и жалуешься по старости ушедшему Сквиду? Твой Кальмар, кстати, очень путает 🙂 С Calamaris!
Я вот с ходу и не вспомнил решения для организации доступа в офисе.
Полез на сайт симантека и на первой странице ничего такого не открылось.
А ведь когда-то, не так давно, продавались 1. 2U коробки для работы маршрутизаторами. Думаю там была полнейшая расслабуха для админа.
Например, поднять на внешнем сервере, чтобы часть сайтов, нелюбимых Роскомнадором, получать через него.
Для себя уже давно его не использую, как и кэш браузера. На работе штука очень неплохая — централизованная резалка, статистика посещений, да и по работе сайты народ всё больше одни и те же посещает, всё равно поживее шевелятся (тут сказывается не столько экономия 10% трафика, сколько пинг до сквида в 0.1мс против пинга до сайта в 100мс).
Это к тому, что надо обновляться почаще? ну начинается.
Если бы я был любитель ходить по граблям и полировать их ручки, то спросил бы, но я спросил про сквид чисто теоретически.
Я не сторонник бежать впереди паровоза и отслеживать каждую новую версию. Да у меня Федора 16, а до нее долго стояла 3 Федораа до нее REDHAT 5 вроде (не помню) и со своими обязанностями ройка вполне справлялась, те я шагнул с 3 сразу на 16 Федору сразу с обновлением железяк (штаны не порвал).
Голову пеплом посыпать? кому то нравится мудохаться с багами и фичами, я никого не отговариваю мы мазохисты я знаю, лично я наелся. Возраст.
Работаю кстати под root 16 лет.
НУ пользователям я в этом помогать не стану, ну его нафиг!
Например, поднять на внешнем сервере, чтобы часть сайтов, нелюбимых Роскомнадором, получать через него.
А сам как нибуть 😉 обойду этот надзор.
Ну не знаю
да и по работе сайты народ всё больше одни и те же посещает, всё равно поживее шевелятся (тут сказывается не столько экономия 10% трафика, сколько пинг до сквида в 0.1мс против пинга до сайта в 100мс).
Не так много у меня пользователей и интересы разные все равно. а насчет пинга. это как последняя миля до провайдера скорость 100 мбит/с радует, но реальную скорость мериешь и все становится на место, реально скорость 10 мбит/c а бывает и меньше.
1. Реальный пример. Комп на котором работает несколько человек (в разное время) одному можно в инет, другому низя, сквид, пароль, профит.
ЗЫ Почему одному можно а другому низя, даже не спрашивайте, мне самому не особо интересно, так что не интересовался.
2. Блокировка «неугодных» работодателю сайтов.
от него больше проблем, чем толку, то один сайт не пашет, то с другим какие то проблемы
вы похоже это написали про те самые 10 (нет скорее 15) лет назад. На текущий момент ниразу такого не встречалось в варианте непрозрачного.
насчет пинга. это как последняя миля до провайдера
реально скорость 10 мбит/c а бывает и меньше
Ну так тут-то кэширование как раз и в тему, не?
пользую исключительно как фильтр и логгер запросов юзеров.
не особо замечал траблы с сайтами, но вот пресловутая 1С8 никак не хочет с рбц грузить курсы валют через проксю. не подскажешь, куда копать?
Я давно уже использую только прозрачный
Это да, никуда не денешься, но не мой вариант.
2. Блокировка «неугодных» работодателю сайтов.
Ну вот например неугоден vk моему, ну прикрыл я десяток, так зеркал море, работодатель конечно спокоен, но кто ищет найдет. и например https://www.youtube.com не ловится моим кальмаром я могу либо прикрыть его совсем, тогда никакой https не будет работать, либо смириться.
ниразу такого не встречалось в варианте непрозрачного.
не хочу бегать по местам пользователя и настраивать прокси. Снести настройки тоже легко кто в теме. Блокировать NAT тоже не айс. Чудеса какие то есть, вполне возможно что это из за прозрачного, отдельные экзотические сайты типа сбербанка например, у парочки тройки пользователей, пришлось пустить мимо прокси через NAT
Сорри не подскажу. Я 1С только видел 🙂
насчет пинга. это как последняя миля до провайдера
Ну пинг до прокси ты говоришь у тебя очень шустрый,но ведь это и есть последняя миля, тебе же не локальный хост нужен который на той же тачке что и сквид. А пингани реальный сайт время отклика будет другим.
Ну так тут-то кэширование как раз и в тему, не?
НУ может это и плюс к реальной скорости, но открыв отчет SARG вчера 1.68% из кеша, позавчера 1.92% в офисе, на другом шлюзе (промплощадка)11% и 12% ну это еще куда ни шло, но опять же трафик через проксю 1.89G а я своей считалкой насчитал 2,2G общего трафика, что то неловленное.
тебе же не локальный хост нужен который на той же тачке что и сквид
В случае кэширования он и нужен. Я про то, что в случае TCP_HIT время экономится не только ( и не столько) на передаче данных, но и на времени запроса.
Это точно. Прям вспомнилась история «зачем мне пришлось зарегистрироваться в быдлокласниках». 9 лет назад выпилили злые админы его на проксе, пользователи стали жаловаться, а так как я с админами был в «молчаливой вражде» то решил помочь народу со списком https проксей 🙂 Админы находили их, блокировали, но список у меня большой был 🙂 Я специально в кармане таскал кучу мелких листочков (a4 на ленточки порезанный) с url-ми проксей и если кто-то начинал речь про быдлокласников, отдавал очередной листочек 🙂
не хочу бегать по местам пользователя и настраивать прокси. Снести настройки тоже легко кто в теме.
Если винда, то все это делается через ад, и снести не получиться если у вас пользователи не под админами все сидят.
Если хочу через проксю, а хочу и мимо, то профита будет не много, но все равно можно получить в варианте прозрачного.
Чудеса какие то есть, вполне возможно что это из за прозрачного
Вот это возможно. Я даже знаю один из вариантов как такого добиться, но описывать слишком долго, а я лентяй 🙂
Ну, это да! Вьедливые мы становимся в силу профессии 🙂
В случае кэширования он и нужен. Я про то, что в случае TCP_HIT время экономится не только ( и не столько) на передаче данных, но и на времени запроса.
Ну выигрыш во времени тут трудно оценить,аналогия :)))
Так и фильтровать можно не только по доменным именам.
чтобы положить руководителю на стол распечатку с аналитикой, а тот даст пенделя залётчикам
Если винда, то все это делается через ад, и снести не получиться если у вас пользователи не под админами все сидят.
Нет у нас AD, а пользователи в своей песочнице админы, как ни пытались мы с коллегой 1Сником им обрезать права, проще им дать права, а не рядом стоять и вводить пароль Одмина. Бардак, согласен! Но мы лишь обслуга выбираем из двух зол ОБА
Для 2016-го года это просто запредельная цифра. Даже в самом начале 2000-х такого не видел. 11% было когда использовало только ИТ управление (начало внедрения и пользователям еще не раздавали инет), т.е. сайты у всех приблизительно одни и теже. С появлением первых пользователей практически за месяц упало уже до 7%
но опять же трафик через проксю 1.89G а я своей считалкой насчитал 2,2G общего трафика, что то неловленное
Зависит от того как считаете.
чтобы положить руководителю на стол распечатку с аналитикой, а тот даст пенделя залётчикам
Кстати да, забыл еще и про этот вариант. Существует отдельный вид руководителей, у которых дохрена времени свободного, чаще встречаются на просторах гос(и бывшего гос) сектора. Причем можно оставлять и NAT и проски, а распечатку только с прокси давать (ибо красивая), конечно не честно, но таким долбодятлам объяснять себе дороже.
чаще встречаются на просторах гос(и бывшего гос) сектора
Еще очень много таких среди бывших сотрудников органов, ушедших в бизнес.
Еще раз.
Вот в понедельник мой пользователь через прокси выкачал 990 Mb трафика так сказал SARG, а моя рукописная считалка на основе Iptables насчитала что он скачал 4,1Gb
Разницу чувствуете? Это может быть https, всякие закачки, торрент. И что я положу на стол начальству? (корел он качал. но у него всего 200 метров с http://www.corel.com)
Вы сами трафик считаете? Или пологаетесь только на прокси? Своей считалке у меня нет повода не доверять я считал ей когда мегобайты еще рубля по 3 а то и дороже стоили и бодался с провом когда он насчитывал мне левые цифры.
Да и конфликтовать с пользователем ложа на стол начальству доносы. как то не по феншую, я сам пожурю, если что, все взрослые люди, понимают.
а моя рукописная считалка на основе Iptables насчитала
Мне кажется пора вам для себя открыть netflow.
Своей считалке у меня нет повода не доверять я считал ей когда мегобайты еще рубля по 3.
Я вот закончил такой фигней маяться еще на уровне ipchains.
Для 2016-го года это просто запредельная цифра.
Согласен! Повторюсь это небольшой заводишко, там люди работают и по Инету шарятся мало, почта с офиса, терминалки по VPN, печать через VPN, домашняя страница у половины наверно mail.ru, другое дело офис там до 2 %
Конечно зависит, но нет повода не доверять считалке которой тоже лет 15.
Именно!
конечно не честно, но таким долбодятлам объяснять себе дороже.
Но самому то надо знать, а значит пусть считает хлеба не просит.
Я вот закончил такой фигней маяться еще на уровне ipchains.
Старый муханизм, но работает как часы, а информация лишней не бывает, не для начальства, для себя.
Конечно зависит, но нет повода не доверять считалке которой тоже лет 15.
Так вы же и nat трафик считаете. Я правильно понял? Тогда совсем небольшое расхождение.
Да, что то я припоминаю такое давно ведь это netflow существует?
Мне кажется пора вам для себя открыть netflow
Если и открыть то не первый раз, было у меня такое. Много чего пробовал. Не могу вспомнить, что не понравилось, может просто то, что не подконтрольное.. черный ящик. Надо открыть по новой, может действительно пора сменить, и что там «вкусного»?
Небольшое!
Так вы же и nat трафик считаете. Я правильно понял? Тогда совсем небольшое расхождение.
Ну это на заводе, а в офисе 900 Мб (squid) и 4,1GB (считалка) например у одного пользователя за понедельник. И это может быть HTTPS (ютубе) в том числе.
Старый муханизм, но работает как часы, а информация лишней не бывает, не для начальства, для себя.
У меня этим flow занимается, нах не нужно, но тоже типа пусть будет. С повальным переходом на безлимит, никому уже до этого дела нет.
А раньше помогало «найти виновных и наказать». Во времена лимитированного я даже у себя дома считал, правда как про бэкапы «Уже считал». ибо пару раз попадал на нехилое бабло. 🙂