Для чего используется мониторинг
Мониторинг — что это такое
Здравствуйте, уважаемые читатели блога KtoNaNovenkogo.ru. Периодически возникает желание объяснить те термины, что я и многие другие постоянно используют в своих статьях в интернете или в устной речи. До этого мы уже поговорили про гайды, про геймеров, про парадигмы, а так же коснулись темы троллинга, хейтерства и перфекционизма.
Сегодня у нас на очереди мониторинг. Что это такое? Зачем он нужен? Что можно и нужно мониторить? Кто этим занимается? Да и зачем вообще все это нужно? Вот такой вот краткий план для данной публикации. Поехали.
Что означает слово мониторинг
Сразу стоит оговориться, что слово это очень популярно и широко распространено. Используется оно чуть ли не во всех жизненных аспектах и потому интерес к нему довольно высок. Образовано оно, как ни удивительно, от английского слова monitoring, что в переводе означает: контролировать, проверять, наблюдать.
Собственно, на этом статью можно было бы и закончить, ибо ключевые слова, позволяющие понять что такое мониторинг, уже прозвучали — это контроль, наблюдение, проверка (периодическая или постоянная). Но все же я с вашего позволения продолжу и скажу хотя бы еще пару слов в пояснение сути, ну и примеры приведу для наглядности.
Если попробовать дать определение мониторингу другими словами, то это будет сбор информации. Причем собираться может все что угодно — данные по концентрации вредных веществ в атмосфере, финансовые показатели банков, информация проходящая в СМИ по какой-то тематике, доступность сайтов, значение текущих курсов валют (либо криптовалют) и т.д.
Самом собой, что мониторинг не ограничивается только сбором информации (накоплением данных). В его задачи так же входит их анализ или обработка, а зачастую так же принятие каких-то мер или действий по результатам этого анализа.
Например, Яндекс проводит мониторинг дорожной обстановки в Москве и других городах России, обрабатывает собранные данные и выдает «на гора» в виде карты пробок или предупреждений о затруднениях на дорогах. Информацию он собирает с помощью стационарных систем слежения и с помощью телефонов пользователей едущих в данный момент по дорогам страны.
Собираются данные о скорости движения машин владельцев телефонов, согласившихся передавать Яндексу такую информацию, и после обработки они выдаются в виде цветовой схемы в приложении «Яндекс Пробки», и в другие приложения с ним сотрудничающие. Этот процесс (сбора и обработки, т.е. мониторинга) идет постоянно, что и позволяет видеть реальную картину пробок практически в реальном времени.
Если вы живете в крупном городе, то наверняка в вашем подъезде ведется видеонаблюдение, которое тоже можно отнести к процессу мониторинга. Данные собираются на постоянной основе, а потом при необходимости могут послужить для прояснения моментов криминального и другого характера.
Мониторинг в примерах — какой он бывает
Наверняка вы слышали про финансовый мониторинг, когда центробанк отслеживает ключевые показатели банков, чтобы вовремя понять, что с каким-то из них начинают происходить неприятные вещи. Хотя, подобного вида наблюдения и проверки в финансовой сфере проводятся и на более низких уровнях — внутри банков, компаний и предприятий. Но суть та же — выявить признаки нестабильности, воровства или других негативных (или позитивных) тенденций.
Про экологический мониторинг я уже упоминал, но это не только наблюдение за количеством вредных веществ на улицах больших городов. Это и измерение температуры в разных уголках страны, и радиационный мониторинг, и наблюдение за направлением и силой ветра, за ростом количества мусора на свалках (полигонах), за выбросами крупных предприятий и мусоросжигательных заводов, и многое другое.
Мониторинг ведется практически во всех сферах жизнедеятельности — в образовательной, в культурной, в средствах массовой информации, в промышленности и сельском хозяйстве, в информационных средах (например, мониторинг общественного мнения), в сфере здравохранения и многом другом.
Почему это так важно? Зачем на это тратится столько времени и средств?
Ну, потому что это позволяет получить обратную связь и понять, что делается правильно, а что нужно менять.
Без этого невозможно будет четко отследить момент, когда нужно принимать срочные меры (например, мониторинг пожароопасной ситуации в периоды засухи), реагировать или просто выбрать лучшее среди имеющегося в данный момент выбора (например, мониторинг курсов криптовалют в обменниках или маршрут проезда с учетом пробок).
И еще большее значение мониторинг приобретает в эпоху цифровых технологий. Данных становится больше, анализировать их на глазок уже очень сложно, а значит становятся востребованы услуги тех, кто предлагает на аутсорсинге свои услуги по их сбору, упорядочиванию и представлению результата в удобоваримом виде.
Например, сервисы подобные Яндекс Маркет помогают вам сделать правильный выбор в том, что именно и где именно лучше купить. По сути, это вариант маркетингового мониторинга рынка на предмет лучшего предложения в сегменте и лучшего продавца (по цене и качеству обслуживания), опирающегося на отзывы пользователей (данные).
Так же примером могут служить сервисы мониторинга курса обменников, которые собирают данные по текущим курсам обмена с десятков, и даже сотен пунктов обмена, позволяя вам буквально за минуту выбрать самый выгодный для вас курс в более-менее надежном обменнике. Последнее опять же реализовано на сборе отзывов пользователей уже совершавших там обмены.
Если у вас уже есть свой сайт или вы только планируете его создать, то вам будет сложно обойтись без сервисов мониторинга доступности сайтов, которые смогут вас оперативно предупредить (сообщением на Емайл или СМС-кой на телефон) о том, что ваш сайт стал недоступен пользователям сети (возникли проблемы с хостингом, ваш сайт подвергся ддос-атаке или еще что-то случилось). Без постоянного мониторинга доступности вы об этом оперативно не узнаете и можете потерять позиции в поисковых системах.
Раз уж речь зашла про сайты, то при их продвижении вам может понадобиться сервис мониторинга позиций сайта в поисковых системах. У вас будут сотни и тысячи запросов, по которым желательно отслеживать позиции в выдаче Яндекса и Гугла, чтобы вовремя реагировать на их падение или рост (держать руку на пульсе). Профессиональные сеошники без этого просто жить не могут. Проверять же все это вручную практически не реально даже в краткосрочной перспективе
О будущем мониторинга
Очевидно, что различные мониторинги сейчас в тренде. Подобных сервисов и услуг, а так же компаний этим занимающихся будет становиться все больше и больше, ибо количество информации растет, а конкуренция повышается.
У нас капитализм, а значит нужно толкаться локтями, чтобы пробиться выше. Для того, чтобы тебя не затерли и в результате не оказаться на обочине, нужно всегда оперировать самыми свежими данными, а для этого нужно их мониторить, либо покупать эту информацию (отдавать на аутсорсинг) у тех, кто на этом подвязался зарабатывать.
В общем, скоро уже не будет тех, у кого это слово будет вызывать какие-либо вопросы и недоумения. Но пока будущее еще не наступило, надеюсь, что сей опус сослужил хоть кому-то добрую службу.
Удачи вам! До скорых встреч на страницах блога KtoNaNovenkogo.ru
Эта статья относится к рубрикам:
Комментарии и отзывы (3)
Мониторинг по-русски — это и проверка и наблюдение, смотря в каком контексте оно употребляется.
Если в медицине, то это больше наблюдение, чем проверка. А вот если дело касается предприятия, то мониторинг — это скорее уже проверка. Допустим предприятию выделили деньги, и проводят мониторинг чтобы посмотреть что было сделано, куда были потрачены и т.п.
Почему у нас стало нормой использовать иностранные слова, если можно высказать свое мнение на русском. скоро придется со словарем ходить, чтобы понять о чем говорят окружающие.
Светлана: кто первый встал, того и тапки. Этот принцип действует везде.
Чтобы тебя понимали ты должен пользовать общепризнанной терминологией. А она идет к нам, в основном, из английского языка.
Если проанализировать, то еще до Вашего рождения в русском языке половина (или больше) слов были заимствованы.
Что такое мониторинг в IT или почему админы стали больше спать?
Для чего нужен мониторинг IT?
Чтобы администраторы узнавали о проблемах в инфраструктуре раньше пользователей. Это, по сути, комплекс быстрой диагностики, который дает своевременное оповещение о проблемах и точную информацию, где и что случилось конкретно.
Пример: в 15:05 возникает проблема с почтой. Благодаря системе мониторинга админ уже в 15:07 видит, что на сервере не стартовала конкретная служба Windows, из-за чего не поднялся Exchange, и юзеры не получат писем. Без мониторинга ему бы позвонил руководитель около 17:00 и спросил бы, где письмо от партнёра, которое тот уже три раза отправил полчаса назад.
Как это было раньше?
Раньше информация о всей инфраструктуре (серверах, сетевых устройствах и так далее) просто собиралась. Роль «интеллектуального обработчика» лежала на администраторе: он, как пилот в кабине самолёта, должен был окинуть все приборы взглядом, чтобы понять картину. Ясно, что так мог не каждый.
Сейчас всё более автоматизированно и немного сложнее с точки зрения системы. Статусы стараются тесно привязать к бизнес-серверам, чтобы не было информации о мониторинге «в вакууме».
Также добавился мониторинг от лица конечного пользователя, когда эмулируются действия юзера — это робот, который раз в определённый промежуток времени запускает специальный скрипт: как будто пользователь бегает по менюшкам, что-то нажимает — и если у робота что-то не получается сделать, значит, и у человека не выйдет.
Плюс сейчас используется конфигурационная база данных: информация об объектах мониторинга представлена, как набор конфигурационных единиц. Каждый сервер, каждое сетевое устройство — это некая единица, все это хранится в централизованной базе данных. Такое представление позволяет потом интегрировать систему мониторинга с сервис-деском, системой управления активами и расширять функционал дальше.
Виртуализация
Раньше вся инфраструктура была физическая, все серверы представляли собой отдельные железки, находились в стойке, их можно было приходить и щупать, пока админ не видит. Сейчас инфраструктура часто состоит из виртуальных машин, когда сервер физически один, но на нём, например, крутится с десяток виртуальных. Это требует ряда тонкостей в настройке, зато дает массу преимуществ. Например, для нас, как для разработчиков систем мониторинга, это явный плюс: можно разместить всё в виртуальной среде. Система мониторинга – это ПО, которое состоит из нескольких модулей. И раньше под каждый модуль нужен был отдельный сервер. Когда железок было несколько, заказчик мог сказать, что, мол, слишком много оборудования требуется под вашу систему. Сейчас можно делать эти сервера виртуальными, и размещать их на одном физическом сервере. Это, к тому же, серьёзно снижает стоимость хороших систем мониторинга.
Пример того, как это работает
Есть один пример из жизни (имена и лица изменены). Итак, стоит HP Operations. Юзеры, привыкшие меняться файлами через FTP, в какой-то момент обнаруживают, что файл выложить не получается. Ткнулся первый юзер: сервер его не пустил. Пользователь подумал, что сбой временный и переслал файл по почте. Потом ткнулась ещё пара человек, у них тоже ничего не получилось, и кто-то написал тикет в поддержку. Саппорт начал разбираться, в чем дело. С виду все было хорошо: сервер был работоспособен, и, тем не менее, не сервис был недоступен. Искать такую проблему «на горячую» (при том, что останавливать работу других сервисов нельзя) — задача, в принципе, стандартная, но очень муторная без системы мониторинга. Админ же просто заглянул в список событий мониторинга и увидел много алертов от файрволов. Причём множественные обращения фиксировались снаружи. Очень быстро обнаружилась (сюрприз!) DDoS-атака на этот FTP, которая и была отсечена. Думаю, без мониторинга поиск проблемы был бы часа на три-четыре дольше, что могло повлечь дальнейшие осложнения.
Автоматизация
Ещё системы мониторинга умеют автоматически выполнять сервисные действия. Например, характерная ситуация: на сервере кончается место из-за временных файлов, приложения начинают тормозить. Админ заходит, чистит временные файлы, уходит — всё тип-топ до следующего повтора. Мониторинг умеет определять момент, например, когда 90% диска заполнено, генерировать событие – и запускать очистку самостоятельно в автоматическом режиме.
Поскольку система мониторинга умеет интегрироваться с сервис-десками, она может автоматически создавать тикеты о проблемах. То есть ниндзя из саппорта могут тихо и внезапно решить проблему еще до момента первого звонка.
Как это внедрить у себя?
Можно сказать, что система мониторинга, как и любая другая система большого объема, штука достаточно сложная. Внедрение обычно делается поэтапно, вне зависимости от того, делает это заказчик своими силами или же с помощью интегратора.
Сначала определяются объекты мониторинга (сетевое оборудование, серверы, приложения и т.д.). Потом выбираются критичные показатели для каждого объекта. Если взять слишком много данных, админы утонут в потоке оповещений о превышении предельных показателей, а если слишком мало – могут пропустить что-то важное. После этого нужно определиться с архитектурой, выбрать продукт, решение, вендора. Дальше уже можно приступать к настройке. Иногда делается пилотная зона-макет, а потом уже этот макет расширяется на всю инфраструктуру.
Готовые продукты
Системы мониторинга ориентированы на заказчиков разного уровня. Большие, сложные и дорогие решения требуют огромных трудозатрат по их разворачиванию и внедрению, но для крупного бизнеса это стоит того. Есть варианты поменьше и попроще для среднего и малого бизнеса, они представляют из себя некую коробку, которую достаточно легко внедрить. Самое известное решение из недорогих — Microsoft SCOM. Есть ряд open-source вариантов, они вообще бесплатны и требуют только довольно кропотливой настройки.
Для какого размера компании система полезна?
Предел там, где системный администратор не справляется с объемом работы и уже не может контролировать каждый сервер. В маленьких компаниях смысла в использовании таких систем обычно нет (или же можно брать частичные решения), а в компаниях среднего размера и крупных более-менее серьёзная система мониторинга обязательно должна быть. Такие системы начали развивать лет 10 назад, и сейчас почти все крупные заказчики IT-услуг уже внедрили у себя что-то подобное.
Что ещё умеет мониторинг?
Мониторинг кода
Обучение
Изначально системы требовали больших усилий для настройки пороговых значений (что считать аварийной ситуацией – когда диск заполняется на 90% или 95%?). Естественно, при большом количестве объектов мониторинга это было трудоёмкой задачей. Сейчас системы мониторинга умеют анализировать исторические данные, изучать поведение объектов и на основании этого строить так называемые «динамические пороги». То есть система мониторинга «обучается» и понимает, что является нормальным подведением объекта, а что говорит об аварии.
Что это поменяет для ИТ-отдела?
Администраторы смогут освободиться от рутинной работы и сконцентрироваться на более важных и интересных задачах. Они будут точно представлять, что происходит в системе на данный момент, т.е. инфраструктура будет прозрачна. Стиля работы, когда они вынуждены тушить пожары и постоянно чинить неисправности, не будет, можно будет обходить грабли заранее. Решение рутинных проблем можно будет автоматизировать. Конечно, непредвиденные аварии, все равно придется устранять «вручную», но это будет легче, так как будет точная диагностика.
Останется только читать Хабр и убеждать бухгалтерию, что если админ мало работает, то это невероятное счастье.
Значение слова «мониторинг»
Мониторинг — система сбора/регистрации, хранения и анализа небольшого количества ключевых (явных или косвенных) признаков/параметров описания данного объекта для вынесения суждения о поведении/состоянии данного объекта в целом. То есть для вынесения суждения об объекте в целом на основании анализа небольшого количества характеризующих его признаков.
Мониторинг параметров — наблюдение за какими-либо параметрами[уточнить]. Результат мониторинга параметров представляет собой совокупность измеренных значений параметров, получаемых на неразрывно примыкающих друг к другу интервалах времени, в течение которых значения параметров существенно не изменяются.
Мониторинг веб сайтов — процесс проверки работоспособности и тестирования параметров доступности сайта или веб сервиса в сети Интернет. Специальные сервисы мониторинга сайтов имитируют действия тысяч посетителей для того, чтобы посмотреть, как ресурс реагирует на посещаемость и использование различной функциональности. При обнаружении какой-либо неисправности сервис посылает веб-мастеру сигнал, благодаря чему специалист сможет в короткие сроки восстановить работоспособность собственного ресурса. Использование мониторинга доступности сайтов обладает массой дополнительных преимуществ.
Мониторинг состояния — наблюдение за состоянием объекта для определения и предсказания момента перехода в предельное состояние. Результат мониторинга состояния объекта представляет собой совокупность диагнозов составляющих его субъектов, получаемых на неразрывно примыкающих друг к другу интервалах времени, в течение которых состояние объекта существенно не изменяется. Принципиальным отличием мониторинга состояния от мониторинга параметров является наличие интерпретатора измеренных параметров в терминах состояния — экспертной системы поддержки принятия решений о состоянии объекта и дальнейшем управлении.
Мониторинг систем слежения и охранно-пожарной сигнализации — процесс непрерывного, автоматизированного сбора информации поступающей от охранно-пожарной сигнализации и систем слежения ГЛОНАСС/GPS, установленных на объектах всех видов собственности. Целью мониторинга систем слежения и охранно-пожарной сигнализации является своевременное доведение поступивших сигналов «Тревога» должностным лицам соответствующих частных организаций и государственных служб (охрана, полиция, МЧС, медицина, техническим специалистам и пр.), для осуществления необходимых действий и плановых мероприятий по защите, как жизни и здоровья работников (клиентов), так и сохранности имущества находящегося на объекте.
Мониторинг критически важных и опасных объектов — процесс инструментального автоматизированного круглосуточного наблюдения за отдельными параметрами объектов. Целью мониторинга является предупреждение чрезвычайных ситуаций и повреждения или разрушения объектов. Основным отличием этого вида мониторинга является то, что в процессе мониторинга отслеживаются деформации и сдвиги объекта и отдельных его элементов, что позволяет предотвратить наступление негативного события, а не проинформировать экстренные службы о случившемся ЧП. Мониторинг осуществляется с помощью оптических, лазерных и геофизических методов и инструментов.
Мониторинг в маркетинге — это систематическое и плановое наблюдение за состоянием рынка с целью его оценки, изучения трендов (тенденций), исследования конкурентной среды. Маркетинговый мониторинг необходим для эффективного ведения бизнеса. Результаты мониторинга дают возможность вносить корректировки в маркетинг, в управление. Наиболее близкий русский эквивалент понятия «мониторинг» — отслеживание.
Мониторинг — систематический сбор и обработка информации, которая может быть использована для улучшения процесса принятия решения, а также, косвенно, для информирования общественности или прямо как инструмент обратной связи в целях осуществления проектов, оценки программ или выработки политики. Он несёт одну или более из трёх организационных функций:
выявляет состояние критических или находящихся в
Что такое мониторинг и где он применяется?
Без сомнения, вам неоднократно встречалось красивое слово «мониторинг», которое часто употребляют журналисты, политики и общественные деятели.
Если вы еще не знаете, какое значение имеет это слово и в каких случаях используется, прочтите нижеследующую статью.
Многие могут заметить, что слово «мониторинг» очень похоже на слово «монитор». Это не удивительно, ведь в английском языке, из которого заимствованы оба слова, «monitor» означает «наблюдатель». Соответственно, мониторинг – это наблюдение какого-либо процесса в области социальных взаимоотношений, финансов, изменений природной среды и т.д.
Мониторинг – это постоянное систематическое наблюдение, сбор и упорядочение информации, необходимой для:
– изучения объекта, либо процесса;
– принятия решения о способах воздействия;
– предотвращения ухудшения обстановки и предупреждения об опасности.
Под финансовым мониторингом сегодня понимают контроль оборота денежных средств, который осуществляется для того, чтобы препятствовать незаконным финансовым операциям, отмыванию «грязных» денег и финансированию преступных, в частности, террористических организаций. 
Для этого в РФ действует Федеральная служба финансового мониторинга, которая работает в контакте со службами безопасности всех коммерческих и государственных банков и других финорганизаций.
Финансовому мониторингу подлежат предприятия, организации и частные предприниматели, которые осуществляют финансовые операции в крупных объемах или участвуют в регистрации сделок, в обороте крупных сумм наличности, а также в обороте драгоценных металлов и камней.
Банковский мониторинг – это одна из функций обеспечения безопасности как конкретного банка, так и государства в целом. Он осуществляется, с одной стороны, государственной ФСФМ, а с другой – внутренней службой безопасности банка.
Контролю подлежат внешние и внутренние денежные операции всех организаций, которые подпадают под действие мониторинга.
Банковский мониторинг включает:
– регистрацию операции мониторинга;
– ведение анкеты клиента банка, будь то организация или частное лицо;
– создание «черного списка» подозреваемых в незаконном обороте средств, контакты и операции с которыми могут содержать криминал; 
– контроль финансовых операций на основании ежедневной банковской документации.
Внутренняя служба безопасности банка отслеживает денежные операции внутри банка и предотвращает возможные нарушения или преступления.
Мониторинг в образовании – это важная часть обеспечения качества образовательного процесса. Без постоянного контроля качество обучения неминуемо будет снижаться, учащиеся – получать незаслуженно высокие оценки, а коорупционная составляющая станет в образовательной системе основным фактором получения документов об окончании учебного заведения.
Любое учебное заведение, будь то общеобразовательная школа, вуз или профессиональные курсы, обязано давать учащимся определенный объем знаний. Мониторингу подлежат:
– учебные программы, их содержание и методики преподавания;
– система оценивания знаний и соответствие оценок, получаемых учащимися, объему усвоенного материала;
– профессионализм преподавателей, их соответствие занимаемым должностям;
– материальная база учебного заведения, ее соответствие современным требованиям;
– объем финансирования учебного заведения и его финансовая документация.
Мониторинг в сфере образования осуществляют соответствующие службы Минобрнауки.
Для современного мира очень важен постоянный мониторинг окружающей среды, или экологический мониторинг. Это комплекс наблюдений за состоянием природной среды, окружающей человека, изучение влияния техногенных факторов на природу и прогноз изменений ее состояния, благоприятных и неблагоприятных для людей. 
Экологический мониторинг позволяет предупреждать или смягчать последствия выбросов в окружающую среду токсичных отходов производств, возникновения эпидемий различных заболеваний человека и животных, а также делать прогнозы дальнейшего развития ситуаций.
В РФ мониторингом окружающей среды занимаются несколько различных ведомств: Госкомитет по экологии, Академия наук, Санэпиднадзор, Гидрометцентр, Роскомвод, Роскосмос и др.