Flow filter что это

flow filter

Смотреть что такое «flow filter» в других словарях:

flow filter — See full flow filter partial flow filter … Dictionary of automotive terms

full flow filter — See full flow oil filter … Dictionary of automotive terms

full-flow filter — See full flow oil filter … Dictionary of automotive terms

partial flow filter — A bypass filter … Dictionary of automotive terms

filter — [1] A device designed to remove foreign substances or particles from air, oil, gasoline, water, etc. [2] A device used either with the drier or as a separate unit to remove foreign material (contaminants) from the refrigerant Also see air cleaner … Dictionary of automotive terms

flow — [1] The passing of liquid or current through something. [2] The amount of liquid or current conveyed. Also see airflow electron flow full flow filter full flow oil filter gas flow L jetronic air flow meter partial flow filter rotary flow … Dictionary of automotive terms

Filter paper — is a semi permeable paper barrier placed perpendicular to a liquid flow. It is used to separate fine solids from liquids. In laboratories, filter paper is usually used with a filter funnel, Hirsch, or Buchner funnel.TypesFilter paper comes in… … Wikipedia

Filter (aquarium) — Aquarium filters are critical components of both freshwater and marine aquaria.cite book |last=Riehl |first=Rüdiger. Editor. |coauthors=Baensch, HA |title=Aquarium Atlas |year=1996. 5th Edn. |publisher=Tetra Press |location=Germany |isbn=3 88244… … Wikipedia

Filter (Fluid) — Der Filter (fachsprachlich auch das Filter) hält, wie ein Sieb, Feststoffe aus einem Gas oder Flüssigkeitsstrom zurück. Die feststofffreie Phase wird bei der Filtration von Flüssigkeiten mit Filtrat und in der Gasfiltration meist mit Reingas… … Deutsch Wikipedia

Filter feeder — [ left|thumb|200px|Krill feeding under high phytoplankton concentration (slowed down by a factor of 12).] Filter feeders (also known as suspension feeders) are animals that feed by straining suspended matter and food particles from water,… … Wikipedia

Filter graph — A filter graph is used in multimedia processing. For example to capture video from a webcam. Filters take input, process it or change the input, and then output the process data. An example of a filter, would be a video codec that takes raw… … Wikipedia

Источник

FlowFilter Overview

A user may want to limit calculations to include only those values in a column that have some specific properties. For example, a user may want to sum only the amounts of customer entries that are entered in April. This is possible if the application has been designed using FlowFilter fields in connection with the FlowFields.

You use FlowFilter fields to set ranges on the calculations that are shown in FlowFields. For example, if a FlowField contains the total of customer entries, then you can use a FlowFilter to see the total for a single month or range of months. In this example, the FlowFilter field is a date field. You can set up FlowFilter fields to show information that is based on other filters such as business units, departments, or projects.

The following illustration shows the relationship between various types of database fields and the calculation formula.

The filters defined in the calculation formula can consist of constants, values from ordinary fields, and filters given as parameters in FlowFilter fields. In FlowFilter fields, a user can enter a filter value via the user interface in an application that will affect the calculation of a FlowField.

FlowFilter fields are not saved in the database. Instead, they are stored for each window on an individual computer so users have their own filters.

You cannot have a FlowFilter field as the SourceExpr value for a control on a page. If you do, then the control on the page is not editable, and you cannot select a value and filter the data that is displayed in the page.

Источник

Учёт интернет-трафика арендаторов (netflow)

По вопросу статистики в общем, и netflow в частности, есть довольно много довольно обширных статей (изучение которых требует приличного времени). Здесь я приведу свои скрипты as-is для не очень сложного ТЗ по сбору и отправке месячной статистики арендаторам.

Вводная

Несколько арендаторов получают интернет через NAT (сам NAT завязан через policy-routing на двух провайдеров). У каждого арендатора свой вилан. Вилан «разворачивается» в сеть арендатора через управляемый коммутатор. Каждому арендатору выдаётся свой сегмент локальной сети с запретом ходить в соседние сегменты.

Задача: сказать каждому арендатору и управляющему зданием в конце месяца сколько он съел интернетов и ткнуть на тех пользователей, кто перепользовал слишком много трафика. Т.е. нам нужны: суммарная статистика по сегменту, потребление интернета каждым адресом (destination) в учитываемой сети.

Инструменты: используется netflow на циске, flow-tools на линуксе, MTA, cron.

Теория

Маршрутизатор объединяет информацию о похожих пакетах в течения (flows). Похожими считаются пакеты с одинаковой комбинацией src/dst IP/port. Т.е. ip-пакеты файла, скачанного с файлопомойки будут объединены в одно течение. Информация о каждом течении включает в себя от кого кому (4 поля, адрес и порт), количество пакетов, интерфейс, через который пакет отправили, размер переданных данных и время (timestamp). Эти данные отсылаются периодически в udp-пакетах на коллектор — сервер, готовый принять эти данные. Понятно, что коллектор может собирать данные от нескольких отправителей, так что при сохранении данных туда обычно ещё пишут и отправителя. Нужно понимать, что статистика собирается на всех портах, где сказано её собирать. Если сказать «собирать всё на всех портах», то трафик будет посчитан дважды — в момент приёма (как входящий) и в момент отправки в интерфейс клиента (как исходящий). К счастью, nat’ирование происходит между приёмкой и отправкой, так что при NAT’е мы будем внутренние адреса видеть в flows только для одного (внутреннего) интерфейса.

Конфигурация маршрутизатора

Не буду её цитировать целиком, покажу только часть, относящуюся к netflow (т.е. опущены ACL’ы, NAT, DHCP для попросивших его и т.д.), кроме того, показан только один интерфейс арендатора (остальные строго по аналогии):

Как понятно, vlan31 (192.168.31/24) — арендаторы, аналогично ± остальные арендаторы. Vlan255 — Vlan, через который отправлять данные (служебный). Остальные значения понятны и так. (обратите внимание на версию netflow, flow-tools не поддерживают 9ую версию).

Конфигурация flow-tools

Приёмник

Его нужно установить (для дебиана: aptitude install flow-tools ). Настройки в /etc/flow-tools/capture.conf:

Обратите внимание: netflow жрёт МНОГО места. Приготовьтесь к десяткам гигабайт данных, которые ещё и хранить нужно. Лучше эти данные класть на отдельном разделе.

Обработка статистики

Собственно, именно это и есть тема статьи. Нам нужно настроить во-первых фильтры по которым мы будем отбирать информацию, а во-вторых скрипт, который эту информацию отправит кому надо. В настоящий момент арендаторов не очень много, так что для каждого всё конфигурируется отдельно.

Фильтры

Фильтры нужны для программы flow-nfilter, которая принимает на вход двоичный flow, фильтрует его и выдаёт на выход опять же двоичный flow.

Фильтры в /etc/flow-tools/cfg/filter.cfg. Состоят из примтивов (грубо говоря, названия для элементов фильтра) и фильтров. При вызове flow-nfilter ему указывается имя фильтра, по которому фильтровать.

Вот пример для двух арендаторов:

Скрипт

Ключевые моменты: скрипт отправляет статистику за прошлый месяц. (спасибо соответствующей опции date). flow обрабатывается дважды (меня скорость пока устраивает, если начнёт тормозить, нужно будет делать фильтрацию в файл и запускать два отчёта раздельно). Первая обработка даёт нам человекочитаемую цифру в мегабайтах, вторая — табличку о том, кто сколько жрёт.

При необходимости (конфликте/споре) можно будет руками (с помощью flow-print и grep) выдать полную статистику по каждой цепочке.

Я использую фичи cron’а в debian, это чуть более удобно обычного в unix — у него есть каталог /etc/cron.monthly. В нём файл /etc/cron.monthly/rent-acc:

Этот файл, заодно, является и файлом конфигурации для арендаторов (однако, фильтры для новых нужно руками прописывать!). Не забываем про chmod +x на этот файл.

Источник

Анализ сетевого трафика с помощью NetFlow

Говорите умно. Враг подслушивает.
©Ежи Лец.

Разное.

Как трудно приходит понимание, что, сами не желая того, производители «считалок» оснастили полмира весьма совершенными коммуникаторами. Осталось только научиться их использовать.

Передача голоса (да уже и видео) по IP идет превосходно, разговор через Skype (Sipnet, Yahoo, ICQ. ) как правило качественнее, чем по телефону. Вопросы масштабирования, продолжающие ограничивать корпоративный VoIP, в распределенных системах практически отсутствуют. Легкость настройки пользовательского софта немного пугает, а количество удобных «мелочей» вызывает легкий шок. Взять хотя бы мобильный, привязанный только к паролю номер-ник, видео, конференции, параллельную разговору пересылку текстов и файлов.

В сущности, скоро не удивит трансконтинентальная IP-пьянка «на троих». Забавно будет видеть, как последняя российская незыблемая и вечная ценность обретет новую жизнь в киберпространстве.

Но очень узок круг, страшно далеки такие способы коммуникации от народа. Даже при наличии технической возможности (что само по себе привилегия крупных городов) мешает психологический барьер неодолимой высоты.

Что говорить, если в весьма «продвинутом на телекоммуникациях» круге общения реальная эксплуатация «компьютера как телефона» только делает первые шаги. Страшная сил привычка заставляет тянуться к трубке.

Ну не нравится правительству развивать Российский бизнес, надо вытеснить новые, высокотехнологичные его части из страны вместе с налогами и специалистами. Генералы готовятся к прошлой войне.

На первый взгляд, хорошего в этом мало. Но с другой стороны, не все ли равно. Последнее время начинает казаться, что пакетная передача голоса не сможет победить в образе обычного на вид телефона с «другим» кабелем. Она придет как новый, недоступный прежде набор услуг. То, что происходит в отрасли сейчас, похоже скорее на ходунки у быстро растущего ребенка. Вырастет, и отбросит надоевший девайс.

Локомотивами, по всей вероятности, станут мобильные телефоны с поддержкой Wi-Fi (по сути, те же компьютеры в маленьком корпусе), на которые наложится видео и дешевизна услуг (идиома «он-лайн» расширит свое значение). Не зря же Google и Skype что-то мутят с хот-спотами. Решение этого же вопроса через технологии ОПСОСов (3G и т.п.) на сегодня кажется менее вероятным, да и суть проблемы от этого не изменится.

Каких-нибудь 2-3 года, и окажется, что система цифровой нумерации и шлюзование в ТФОП не очень-то и нужны. Ну примерно как ICQ живет параллельно с e-mail или IRC. Набор инструментов будет под рукой, и пользователь сможет выбирать наиболее удобный, а то и разговаривать параллельно по несколькими «через удержание».

Под давлением экономики межгород будет смещаться на «межкомпьютерные» способы, туда же за дополнительными возможностям пойдет коммуникабельная продвинутая молодежь. При этом низкое качество стыков технологий заставит пользоваться для выхода в ТФОП обычный телефон (сотовый, в крайнем случае стационарный).

Период мирного сосуществования двух систем может быть довольно длительным. Примерно лет 5-7, пока миниатюризация не загонит полноценные компьютеры в гаджеты и мобилки. После этого вопрос стыка и шлюзования отпадет сам собой. Собственно, средний пользователь даже не заметит, что его «трубка» превратилась в многопротокольный компьютер-коммуникатор.

Конечно, стационарные проводные телефоны какое-то время будут применяться, но тут уж о шлюзовании в «большой мир» придется думать в основном владельцам кабельной инфраструктуры времен развитого социализма.

Впрочем, Ethernet-провайдерам от этих процессов ни холодно, и ни жарко. Оптика до дома все равно будет более чем востребована (даже Verizon последнее время не жалеет сил и средств на развертывание оптоволокна). И для высокоскоростного включения абонентов компьютерные голосовые программы только лишний повод.

Фотография «в тему». Импровизированный переговорный пункт собран на куске деревянного ящика от телевизора «Рекорд».

Прислал Anton (Казань).

Разъяснения Правил оказания услуг связи. В связи с тем, что «Правила оказания услуг связи по передаче данных» подписанные Правительством России 23 января 2006 г. в широких массах были истолкованы неверно, 1 февраля 2006 г. Мининформсвязи выступило с разъяснением сферы регулирования этого документа.
В общем, «хороший» получился документ, смешной и забавный. Жаль, цирк подчиняется другому ведомству.

Телеграф умер. На прошлой неделе Western Union отправил последнюю телеграмму. Технология передачи сообщений, просуществовавшая больше 150 лет, теперь навсегда ушла в прошлое. В прошлом году Western Union было передано всего 20 тыс. телеграмм (по 55 в день), а в эпоху расцвета передавалось по 550 тыс. сообщений ежедневно.
Кстати, в Екатеринбурге осталось только одно место, где принимают телеграммы.

Полтора года за FTP. Приговор не бесспорный, но, к сожалению, вполне реальный.

Морозы не прошли бесследно:

Прислал Виталий

Прислал Zalex, г. Мариуполь

Сама сеть, это 43 города соединённые через (как это у них сказано) мульти-гигабит, к ним подключены все университеты Германии и почти все другие научные учреждения (линии от 2 Mbit до 10 Gbit). Почти все школы включены через DSL/ISDN.

Трафик теперь никому не считают. На счёт линии не совсем понятно, написано только что заказывать её надо самому у кого хочешь. Подключиться может каждый, кто хоть как-то связан с наукой.

А вот цены на Cluster, т.е. когда несколько клиентов используют одну линию/одно подключение (цена каждому конечно).

Я подключён к ним вот так: местный телефонист даёт DSL линию (у меня 4300/725 Kb) до моего университета, а тот подключён к сети (X-WIN) через 1 Gigabit. Стоит 35 евро в месяц (DSL 4000 и 2 ISDN-канала для телефона).

Анализ сетевого трафика с помощью NetFlow.

4.2. Flow-tools

Наиболее развитые средства анализа NetFlow данных обеспечивают соответствующие утилиты из комплекта flow-tools. Рассмотрим их подробнее.

UNIX # cat /netflow/* | flow-print | less

Более гибкой является комбинация flow-print и flow-cat.

Просмотр информации до указанного времени:

Просмотр информации после указанного времени:

Анализ данных некоторого временного интервала:

Пример построения суммарного отчета:

Выявление активных генераторов трафика:

Выявление активных потоков:

Для гибкой фильтрации можно использовать утилиты flow-filter и flow-nfilter. Последняя является более продвинутой и обеспечивает расширенные возможности.

filter-primitive client-ip
type ip-address
permit 195.12.69.199
default deny

filter-primitive www
type ip-port
permit 80
default deny

filter-definition all-from-client
match ip-source-address client-ip

filter-definition all-to-client
match ip-destination-address client-ip

filter-definition www-to-client
match ip-destination-address client-ip
match ip-source-port www

Далее можно использовать фильтрацию. Например, для анализа всего трафика к клиенту:

Или для анализа только www трафика клиента.

Для выявления фактов сканирования или заражения рекомендуется использование утилиты flow-dscan.

Приведем простейший пример детектирования источников сканирования по 135 порту:

UNIX # touch dscan.suppress.src

UNIX # touch dscan.suppress.dst

flow-dscan: load_suppress 0
flow-dscan: load_suppress 1
flow-dscan: host scan: ip=219.161.100.213 ts=1136524997 start=0106.10:23:17.726
flow-dscan: host scan: ip=213.168.117.86 ts=1136529053 start=0106.11:30:53.162

В заключении приведем примеры детектирования сетевых аномалий с помощью flow-tools.

Выявление активных генераторов пакетов на 135 порт:

Выявление сканирования 445 порта (или вирусной активности):

flow-dscan: load_suppress 0
flow-dscan: load_suppress 1
flow-dscan: host scan: ip=195.146.34.156 ts=1136520666 start=0106.09:11:06.250
flow-dscan: host scan: ip=217.36.205.230 ts=1136520870 start=0106.09:14:30.387
flow-dscan: host scan: ip=58.93.7.15 ts=1136522170 start=0106.09:36:10.113
flow-dscan: host scan: ip=64.108.214.217 ts=1136522220 start=0106.09:37:00.770
flow-dscan: host scan: ip=209.136.9.176 ts=1136523394 start=0106.09:56:34.950
flow-dscan: host scan: ip=60.20.220.247 ts=1136525268 start=0106.10:27:48.357
flow-dscan: host scan: ip=195.52.201.172 ts=1136527136 start=0106.10:58:56.120
flow-dscan: host scan: ip=71.241.68.118 ts=1136527305 start=0106.11:01:45.140
flow-dscan: host scan: ip=195.161.147.148 ts=1136527980 start=0106.11:13:00.352

4.3. Flowscan.

Среди множества утилит, работающих с NetFlow, невозможно не отметить flowscan [3]. С ее помощью можно получать подробную визуализацию потоков с распределением по протоколам, что облегчает задачу мониторинга и выявления нештатных ситуаций.

Источник