Для чего проводят мониторинг
Мониторинг — что это такое
Здравствуйте, уважаемые читатели блога KtoNaNovenkogo.ru. Периодически возникает желание объяснить те термины, что я и многие другие постоянно используют в своих статьях в интернете или в устной речи. До этого мы уже поговорили про гайды, про геймеров, про парадигмы, а так же коснулись темы троллинга, хейтерства и перфекционизма.
Сегодня у нас на очереди мониторинг. Что это такое? Зачем он нужен? Что можно и нужно мониторить? Кто этим занимается? Да и зачем вообще все это нужно? Вот такой вот краткий план для данной публикации. Поехали.
Что означает слово мониторинг
Сразу стоит оговориться, что слово это очень популярно и широко распространено. Используется оно чуть ли не во всех жизненных аспектах и потому интерес к нему довольно высок. Образовано оно, как ни удивительно, от английского слова monitoring, что в переводе означает: контролировать, проверять, наблюдать.
Собственно, на этом статью можно было бы и закончить, ибо ключевые слова, позволяющие понять что такое мониторинг, уже прозвучали — это контроль, наблюдение, проверка (периодическая или постоянная). Но все же я с вашего позволения продолжу и скажу хотя бы еще пару слов в пояснение сути, ну и примеры приведу для наглядности.
Если попробовать дать определение мониторингу другими словами, то это будет сбор информации. Причем собираться может все что угодно — данные по концентрации вредных веществ в атмосфере, финансовые показатели банков, информация проходящая в СМИ по какой-то тематике, доступность сайтов, значение текущих курсов валют (либо криптовалют) и т.д.
Самом собой, что мониторинг не ограничивается только сбором информации (накоплением данных). В его задачи так же входит их анализ или обработка, а зачастую так же принятие каких-то мер или действий по результатам этого анализа.
Например, Яндекс проводит мониторинг дорожной обстановки в Москве и других городах России, обрабатывает собранные данные и выдает «на гора» в виде карты пробок или предупреждений о затруднениях на дорогах. Информацию он собирает с помощью стационарных систем слежения и с помощью телефонов пользователей едущих в данный момент по дорогам страны.
Собираются данные о скорости движения машин владельцев телефонов, согласившихся передавать Яндексу такую информацию, и после обработки они выдаются в виде цветовой схемы в приложении «Яндекс Пробки», и в другие приложения с ним сотрудничающие. Этот процесс (сбора и обработки, т.е. мониторинга) идет постоянно, что и позволяет видеть реальную картину пробок практически в реальном времени.
Если вы живете в крупном городе, то наверняка в вашем подъезде ведется видеонаблюдение, которое тоже можно отнести к процессу мониторинга. Данные собираются на постоянной основе, а потом при необходимости могут послужить для прояснения моментов криминального и другого характера.
Мониторинг в примерах — какой он бывает
Наверняка вы слышали про финансовый мониторинг, когда центробанк отслеживает ключевые показатели банков, чтобы вовремя понять, что с каким-то из них начинают происходить неприятные вещи. Хотя, подобного вида наблюдения и проверки в финансовой сфере проводятся и на более низких уровнях — внутри банков, компаний и предприятий. Но суть та же — выявить признаки нестабильности, воровства или других негативных (или позитивных) тенденций.
Про экологический мониторинг я уже упоминал, но это не только наблюдение за количеством вредных веществ на улицах больших городов. Это и измерение температуры в разных уголках страны, и радиационный мониторинг, и наблюдение за направлением и силой ветра, за ростом количества мусора на свалках (полигонах), за выбросами крупных предприятий и мусоросжигательных заводов, и многое другое.
Мониторинг ведется практически во всех сферах жизнедеятельности — в образовательной, в культурной, в средствах массовой информации, в промышленности и сельском хозяйстве, в информационных средах (например, мониторинг общественного мнения), в сфере здравохранения и многом другом.
Почему это так важно? Зачем на это тратится столько времени и средств?
Ну, потому что это позволяет получить обратную связь и понять, что делается правильно, а что нужно менять.
Без этого невозможно будет четко отследить момент, когда нужно принимать срочные меры (например, мониторинг пожароопасной ситуации в периоды засухи), реагировать или просто выбрать лучшее среди имеющегося в данный момент выбора (например, мониторинг курсов криптовалют в обменниках или маршрут проезда с учетом пробок).
И еще большее значение мониторинг приобретает в эпоху цифровых технологий. Данных становится больше, анализировать их на глазок уже очень сложно, а значит становятся востребованы услуги тех, кто предлагает на аутсорсинге свои услуги по их сбору, упорядочиванию и представлению результата в удобоваримом виде.
Например, сервисы подобные Яндекс Маркет помогают вам сделать правильный выбор в том, что именно и где именно лучше купить. По сути, это вариант маркетингового мониторинга рынка на предмет лучшего предложения в сегменте и лучшего продавца (по цене и качеству обслуживания), опирающегося на отзывы пользователей (данные).
Так же примером могут служить сервисы мониторинга курса обменников, которые собирают данные по текущим курсам обмена с десятков, и даже сотен пунктов обмена, позволяя вам буквально за минуту выбрать самый выгодный для вас курс в более-менее надежном обменнике. Последнее опять же реализовано на сборе отзывов пользователей уже совершавших там обмены.
Если у вас уже есть свой сайт или вы только планируете его создать, то вам будет сложно обойтись без сервисов мониторинга доступности сайтов, которые смогут вас оперативно предупредить (сообщением на Емайл или СМС-кой на телефон) о том, что ваш сайт стал недоступен пользователям сети (возникли проблемы с хостингом, ваш сайт подвергся ддос-атаке или еще что-то случилось). Без постоянного мониторинга доступности вы об этом оперативно не узнаете и можете потерять позиции в поисковых системах.
Раз уж речь зашла про сайты, то при их продвижении вам может понадобиться сервис мониторинга позиций сайта в поисковых системах. У вас будут сотни и тысячи запросов, по которым желательно отслеживать позиции в выдаче Яндекса и Гугла, чтобы вовремя реагировать на их падение или рост (держать руку на пульсе). Профессиональные сеошники без этого просто жить не могут. Проверять же все это вручную практически не реально даже в краткосрочной перспективе
О будущем мониторинга
Очевидно, что различные мониторинги сейчас в тренде. Подобных сервисов и услуг, а так же компаний этим занимающихся будет становиться все больше и больше, ибо количество информации растет, а конкуренция повышается.
У нас капитализм, а значит нужно толкаться локтями, чтобы пробиться выше. Для того, чтобы тебя не затерли и в результате не оказаться на обочине, нужно всегда оперировать самыми свежими данными, а для этого нужно их мониторить, либо покупать эту информацию (отдавать на аутсорсинг) у тех, кто на этом подвязался зарабатывать.
В общем, скоро уже не будет тех, у кого это слово будет вызывать какие-либо вопросы и недоумения. Но пока будущее еще не наступило, надеюсь, что сей опус сослужил хоть кому-то добрую службу.
Удачи вам! До скорых встреч на страницах блога KtoNaNovenkogo.ru
Эта статья относится к рубрикам:
Комментарии и отзывы (3)
Мониторинг по-русски — это и проверка и наблюдение, смотря в каком контексте оно употребляется.
Если в медицине, то это больше наблюдение, чем проверка. А вот если дело касается предприятия, то мониторинг — это скорее уже проверка. Допустим предприятию выделили деньги, и проводят мониторинг чтобы посмотреть что было сделано, куда были потрачены и т.п.
Почему у нас стало нормой использовать иностранные слова, если можно высказать свое мнение на русском. скоро придется со словарем ходить, чтобы понять о чем говорят окружающие.
Светлана: кто первый встал, того и тапки. Этот принцип действует везде.
Чтобы тебя понимали ты должен пользовать общепризнанной терминологией. А она идет к нам, в основном, из английского языка.
Если проанализировать, то еще до Вашего рождения в русском языке половина (или больше) слов были заимствованы.
Как проводить мониторинг цен конкурентов и зачем это нужно
Значение мониторинга цен
Мониторинг цен относится к маркетинговым инструментам компании. С его помощью можно узнать, какая стоимость товаров и услуг в настоящее время у ближайших конкурентов. Подобная информация позволит установить выгодную и конкурентоспособную цену на свой продукт.
Каждый предприниматель стремится к увеличению дохода – это главная цель любого бизнеса. После проведения мониторинга необходимо принимать решение об установлении наиболее выгодной стоимости на товары и услуги. Если установить низкую цену будет невозможно, то следует другими способами добиваться лидерства среди конкурентов. Сделать это можно с помощью качества товара, сервиса или других сильных сторон, которые следует задействовать.
Необходимость использования
Сергей Галицкий, основатель и совладелец сети розничных магазинов «Магнит», в интервью Forbes сказал: «При снижении цены банана на два рубля, мы продаем их на 100 тонн в день больше».
По одной этой фразе можно понять, насколько важно правильное ценообразование, особенно на высоко конкурентных рынках. Конечно, существует много других условий в оценке продукта, помимо непосредственно цены, однако отрицать ее прямое влияние на продажи нельзя.
Использование мониторинга цен необходимо для ведения успешного бизнеса, без него сложнее занять лидирующие позиции на рынке. Каким бы уникальным и инновационным не был товар, компания не сможет добиться успеха без правильной маркетинговой политики.
Ответ на вопрос, нужно ли использовать такой инструмент в компании, очевиден. Маркетинговые исследования не просто нужны, они необходимы.
Мониторинг цен интернет-магазинов
Рынок электронной коммерции за 5 лет (2011 – 2016) вырос вдвое, к началу 2018 года он не терял тенденцию, а только продолжал расти такими же темпами.
Мониторинг цен может позволить сделать интернет-магазин более привлекательным и доступным для покупателей. Существует несколько способов, которые помогают следить за стоимостью товаров и услуг у конкурентов в интернете.
Мониторинг своими силами
Для того, чтобы следить за ценами интернет-магазинов нужно регулярно посещать их сайты, эта процедура занимает много времени и сил. В случае, если у вас много товаров и хотя бы 5+ конкурентов, понадобится отдельный штат сотрудников, которые будут заниматься только этим вопросом.
Автоматизированный сбор информации (парсинг) является более легким способом сбора и обработки данных, но его все равно необходимо будет совмещать с первым, пусть и сотрудников будет требоваться не так много, тем не менее проверять данные парсинга, а также корректировать его алгоритм придется, скорее всего, регулярно.
Онлайн сервисы
Существует немало сервисов, которые смогут помочь владельцу интернет-магазина сделать свой бизнес успешным. Например, с помощью Price-Analytic.com можно отслеживать цены конкурентов онлайн относительно недорого, есть и пробный тариф – 100 бесплатных проверок на любое количество сайтов и товаров. А самый дорогой тариф за 29 900 рублей предполагает целых 600 000 проверок в месяц.
Также одним из лидеров в этом сегменте является сервис Competera. Он предоставляет 14-дневный полностью бесплатный тестовый период, в дальнейшем стоимость строится непосредственно от ваших потребностей в количестве товаров, конкурентов и проверок.
Информация подается в таких сервисах представлена в удобном виде, есть множество вариантов ее предоставления и адаптации лично под ваши нужды, гибкие системы статистики также предоставляют
Мониторинг цен в розничном магазине
Для того чтобы сэкономить, некоторые компании хотят проводить исследование своими силами. При этом они сталкиваются с рядом трудностей. Во-первых, следить за ценами нужно регулярно. Особенно если это касается небольших магазинов, так как крупные сети так или иначе продают товар дешевле, чем розничные торговцы, за счет распределения издержек.
В небольших организациях задачей мониторинга иногда занимаются сотрудники. При этом часто в их должностные обязанности не входит выполнение этой задачи, но делать им это приходится. Так как компании просто невыгодно нанимать сотрудников для выполнения одной задачи.
Из-за такого распределения обязанностей дела у компании начинают постепенно ухудшаться, так как сотрудники не всегда успевают выполнять свои прямые обязанности, поэтому практичнее будет доверять мониторинг цен специалистам.
Мониторинг самостоятельно
Можно узнавать цену непосредственно в торговом зале конкурентов. В этом случае используют обычные подручные средства, такие как телефон, диктофон или ручку с листком бумаги. Но процессу переписывания или фотографирования цен часто препятствуют охранники магазинов. Кроме того, такой вариант мониторинга требует больших временных затрат.
Еще одним способом является общение с менеджерами магазинов. Если наладить доверительные общения с конкурентами, то можно обмениваться информацией, хотя в российских реалиях такого добиться довольно затруднительно.
Существует ряд компаний, которые способны осуществить мониторинг цен в розничных магазинах. Например, наш проект Прайсер предлагает клиентам подобные услуги. Мы были отобраны ФРИИ (Фондом развития интернет-инициатив) в 13-й акселератор, и успешно прошли акселерацию.
Для понимания того, как мы работаем, посмотрите небольшое двухминутное видео:
Зачем нужен комплексный мониторинг ИТ и бизнесу и КАК его внедрять?
На «Хабре» есть статьи о том, как внедрять мониторинг. В них описано, как надо и не надо организовывать систему мониторинга. Все эти статьи мы прочитали и поняли, что чего-то не хватает. Здесь не будет информации о важности разработки ресурсно-сервисной модели и о том, как уменьшить число ложно-позитивных сообщений о проблеме. Мы поделимся лайфхаками в работе команды, которые помогают реализовывать подобные проекты. Дальше будут такие рекомендации, которых в других статьях нет. Советы собраны на основе нашего опыта.
Комплексный мониторинг позволяет компаниям понять, где они теряют деньги
В компаниях всегда есть бизнес-подразделения. Они смотрят, где компания может больше зарабатывать и меньше тратить. Часто они обращают внимание на внутренние ИТ-системы. Если в ИТ-системах возникают инциденты, компания будет терять деньги. Например, рухнула платёжная система. Или регистрация стала сложнее, потому что её модифицировали. Или процесс оплаты неудобен для пользователей – в нем 10 кликов вместо 2.
Чем сложнее архитектура бизнес-приложения, тем больше людей необходимо для ее обслуживания: мониторить системы, анализировать и диагностировать инциденты, вникать, как эти инциденты влияют на клиентов. Итог – потрачены часы на выяснение причин сбоя, кто виноват и что делать. Пока это делается, клиенты страдают, деньги компании тратятся, а время устранения инцидентов растёт. Компании приходится смотреть на шлейф всех этих проблем, а не в светлое будущее. Дальше разберёмся, почему так происходит.
Есть кое-что, что мешает быстро обнаруживать источник проблем. Это разрозненность средств мониторинга. Все вместе они не дают единой картины для всех ИТ-компонентов, которые влияют на работу бизнес-приложения. Бывает так, что задачи похожи или даже одинаковые, но повторно их решают другие люди другими инструментами. Нередко приходится сверять друг с другом показатели одних и тех же метрик.
Что будет, если вот это все заставить работать вместе? О плюсах комплексного мониторинга – далее.
Преимущества комплексного мониторинга
Внедрение единого комплексного мониторинга для бизнес-процессов и ИТ-систем – логичное решение. Вот, что сможет делать компания, которая внедрила комплексный мониторинг:
Оперативно обнаруживать и решать проблемы в работе приложений до того, как они повлияют на пользователей;
Оценивать качество работы приложений на основе объективного мониторинга работы пользователей с приложением, а не обращаться в службу поддержки;
Анализировать клиентский опыт на протяжении всего процесса взаимодействия пользователя с системой;
Оценивать работу подрядчиков. Сравнивать их по количеству пользователей, которые выбирают данную платформу;
Получить единую точку доступа к общей картине состояния ИТ, возможность исследования «вглубь» – до сырых данных, а также анализировать корреляции.
Какие правила при внедрении комплексного мониторинга мы выработали
Совет №1: Выделите отдельную целостную команду разработки системы комплексного мониторинга.
Вот, кто должен быть в команде:
Специалист по Data Science
Бизнес- и системные аналитики должны быть вовлечены в проект на 100% и играть роль Product Owner’а. Они общаются с командой разработки основного продукта компании: от администраторов до руководителей. Бизнес- и системные аналитики пишут требования к системе мониторинга, планируют релизы и проводят UAT. Они обучают конечных пользователей системы мониторинга.
ИТ-роли в команде можно совмещать: разработчик системы мониторинга и инженер данных, администратор и DevOps инженер.
Совет №2: Заведите мониторинг препродуктивной среды. Потом синхронизируйте релизные циклы команды разработки основного продукта и команды разработки системы мониторинга
Бизнес ставит задачу разработчикам оптимизировать процесс взаимодействия пользователей с платформой. Например, процесс регистрации, оформления покупки, оплаты или возврата средств. Это влечет за собой изменение логов и логики построения KPI. Чтобы это сделать, нужно строить синхронные процессы изменения логики бизнес-процессов сайта и их KPI. Это важно, чтобы одним утром после релиза не обнаружить, что мониторинг не работает.
Совет №3: Начинайте с мониторинга простых метрик, релизьте чаще, усложняйте метрики постепенно
Мониторинг не универсален. Он много от чего зависит. Например, от архитектуры систем и взаимодействия между ними, от пользователей мониторинга и их видения.
В проектах разработки и внедрения системы комплексного мониторинга лучше использовать спринты и Agile-подход. Процесс разработки в нашей команде упрощенно выглядит так:
Определяем один показатель или один бизнес-процесс для мониторинга
Делаем небольшие выгрузки данных, достаточные для построения KPI. Чем больше выгрузок, тем лучше. Изучаем данные и определяем минимально достаточные источники для построения KPI.
Реализуем KPI на основе выгрузок и демонстрации пользователя мониторинга.
Дорабатываем источники данных и их подключения.
Разрабатываем KPI на основе живых данных.
Дальше релиз и получение обратной связи.
Потом планируем доработки на основе отзывов. Усложняем KPI путём подключения новых источников. Повторяем цикл.
Совет №4: Не планируйте ресурсные затраты на разработку мониторинга на основе объема систем, покрываемых мониторингом, или по количеству метрик и KPI, запланированных в разработку – вы все равно промахнетесь
Этот пункт вытекает из предыдущего. Наша команда начала разрабатывать мониторинг с зафиксированным объемом и количеством KPI. Сначала мы реализовали несколько дашбордов. Потом перешли на спринты и запланировали только набор бизнес процессов, которые будут мониториться. В результате (а может в процессе) перехода выработался процесс разработки KPI. Тот, что описан выше.
Совет №5: Дайте пользователям системы мониторинга больше свободы
Пускай у пользователей будет возможность исследовать данные, на основе которых вычисляется KPI. Ещё хорошо, если они смогут реализовывать простейшие вычисления и разрабатывать собственные метрики.
Продуктовая команда знает о своем продукте всё. При общении с системными аналитиками они могут упустить некоторые детали в работе или архитектуре систем. Если дать им доступ к изучению сырых данных, вы повышаете интерес конечных пользователей к мониторингу. Может так получиться, что продуктовая команда заметит отклонение показателей. Тогда она начнёт исследовать причины отклонений. Для этого команда сформирует новые метрики – так в будущем обнаруживать подобные проблемы будет проще. Команде мониторинга останется только формализовать метрику и запустить в работу.
Совет №6: Предусмотрите возможность отображения показателей на дашбордах в разрезе разных отрезков времени
Рассмотрим пример: мы разрабатываем бизнес KPI «Процент успешно завершенных регистраций пользователей на сайте». Для разработки KPI необходимо выбрать промежуток времени, в рамках которого мы будем наблюдать за показателем, а также на основе исторических данных определить уровни критичности. Уровень критичности, или важность проблем, определяет какой процент успешно завершенных регистраций считается обычным поведением (обычно обозначается зеленым цветом), или, когда процент успешно завершенных регистраций очень мал, сигнализирует о серьезных проблемах и обозначается красным цветом. В зависимости от промежутка времени, за который мы рассчитываем «Процент успешно завершенных регистраций», уровень критичности может быть разным. Процесс регистрации, как правило состоит из двух основных шагов: заполнение формы на сайте и подтверждение почты путем перехода по ссылке из письма. Некоторые пользователи выполняют регистрацию за пару минут, а другим – требуется вспомнить или восстановить забытый пароль от своей почты, что может занять более 5 минут. Если мы будем вычислять Процент успешных регистраций в рамках 5 минут, то мы «потеряем» пользователей, которые завершат регистрацию за 7-8 минут, что может значительно повлиять на Процент успешных регистраций, и система будет сигнализировать о проблеме.
Поэтому, разрабатывая KPI, мы ориентируемся и выбираем промежуток согласно оценке от бизнес аналитика, но обязательно добавляем другие промежутки времени в интерфейс, чтобы иметь возможность анализировать реальное поведение пользователей.
Совет №7: Настраивайте self-мониторинг, чтобы сохранить доверие к системе мониторинга
Совет №8: Используйте стандартный функционал продвинутой аналитики «из коробки». Например, «Автоматический ML»
Когда мы подключаем новый источник, мы уже знаем, какие поля и значения мы будем использовать. Ещё мы знаем, как будем строить KPI. По возможности, подгружаем в систему мониторинга исторические данные.
Однако, мы всегда прогоняем их через встроенные аналитические инструменты. Полученные показатели и графики оставляем «пожить» в течение какого-то времени и «пережить» инциденты. В половине случаев обнаруживаем новые зависимости от других показателей и интересные аномалии. На основе этого рождаются новые KPI.
Совет №9: Не спешите передавать дашборды и направлять оповещения группе поддержки второй и третьей линии
Есть показатели, разрабатываемые в рамках комплексного мониторинга, а есть – в рамках инфраструктурного. Они сильно различны по своей природе и имеют совершенно разные понятия «нормы» и отклонения от нее.
«Комплексные» KPI строятся на основе корреляции разнородных бизнес и ИТ-показателей. Как правило, этим показателям присваивают веса, которые определяют влияние на «комплексный» KPI. Поэтому сразу определить понятие «нормы» и построить грамотный алертинг бывает очень сложно.
Команда разработки мониторинга должна брать на себя роль поддержки на какое-то время при релизе каждого нового дашборда или KPI. Это позволит получать обратную связь без посредников и дорабатывать «на ходу». Оповещений не должно быть много.
Есть специалист поддержки, который отвечает за решение проблемы или поиск её причин. Действия этого специалиста должны быть максимально понятными и простыми. Написано множество статей про лечение событийной усталости и о том, как грамотно настраивать алертинг.
Совет №10: Ведите историю инцидентов
ИТОГ: Выгоды от внедрения системы мониторинга
Мы собрали их пять. Вот они:
Система комплексного мониторинга является зонтичным решением для существующих систем мониторинга. Она объединяет агрегированные данные из других узкоспециализированных систем.
Комплексное решение закрывает все «слепые зоны», не покрытые существующими в компании системами мониторингами – сбор сырых данных из систем источников в комплексный мониторинг.
Появляется единая точка для анализа данных и расследования причин инцидентов.
Бизнес-аналитики, маркетологи, администраторы и руководители подразделений смотрят на одни и те же данные.
Все события имеют корреляцию по времени.
Ещё раз все наши рекомендации кратко:
Комплексный мониторинг внедряет отдельная команда, а не участники продуктовой команды;
Не упускайте мониторинг препродуктивной среды;
Начинайте с мониторинга простых метрик, релизьте чаще, усложняйте метрики постепенно;
Для внедрения комплексного мониторинга больше подходит Agile методология и отсутствие жестко зафиксированного скоупа;
При планировании закладывайте ресурсы продуктовой команды на доработку и изменение источников данных;
Пользователи системы мониторинга должны иметь возможность «покрутить» данные и метрики;
Дашборды должны иметь фильтры для настройки отображения метрик в разрезе 5 минут и 1 часа;
Разрабатывайте мониторинг для системы мониторинга. Особое внимание стоит уделить точкам взаимодействия системы мониторинга с источниками данных;
Аналитический функционал системы мониторинга, поставляемый «из-коробки», может быть полезен;
Не спешите передавать дашборды и направлять оповещения группе поддержки второй и третьей линии. Пусть команда разработки мониторинга поживет с ними сама, чтобы понаблюдать за количеством оповещений и по возможности сократить их количество;
Ведите историю инцидентов.
Статью подготовил консультант компании Accenture Анастасия Астафьева