Для чего в системах класса business intelligence используется хранилище данных
Системы деловой осведомленности (Business Intelligence Systems) и хранилища данных
Изучив материал настоящей лекции, вы будете знать:
Введение
В этой лекции мы будем использовать многие понятия на интуитивном уровне, не давая им точных определений. Такие понятия будут определены в последующих лекциях.
Определение систем деловой осведомленности
Понятие деловой осведомленности
Многозначность английского слова «Intelligence» приводит к неопределенности трактовки термина «Business Intelligence» как в российских, так и в зарубежных литературных источниках, посвященных тематике использования информационных технологий для аналитической поддержки бизнеса. Английское слово «Intelligence» означает способность узнавать и понимать, готовность к пониманию, знания, переданные или приобретенные путем обучения, исследования или опыта, действие или состояние в процессе познания, разведку, разведывательные данные. В русском языке слово «интеллект» означает мыслительную способность человека.
Термин «Business Intelligence» получил широкое распространение, когда был введен в обращение аналитиками компании Gartner Group в конце 80-х годов прошлого века как «пользователецентрический процесс, включающий доступ и исследование информации, ее анализ, выработку интуиции и понимания, которые ведут к улучшенному и неформальному принятию решений». Хотя ранее этот термин, например, использовался в компании IBM в качестве внутрикорпоративного термина.
К 1996 году содержание термина было уточнено, и «Business Intelligence» стал пониматься как «инструменты для анализа данных, построения отчетов и запросов, которые могут помочь бизнес-пользователям преодолеть море данных для того, чтобы помочь синтезировать из них значимую информацию».
В русскоязычной литературе термин «Business Intelligence» переводится как «бизнес-интеллект», » интеллектуальный анализ данных «, «деловая осведомленность» или вводится просто как аббревиатура BI. В настоящем курсе мы будем использовать термины «деловая осведомленность» и «бизнес-аналитика» как синонимы.
Однако все-таки в настоящее время не существует однозначного определения термина «деловая осведомленность» (BI). Отметим следующие важные аспекты трактовки содержания данного термина.
Таким образом, деловая осведомленность в широком смысле слова понимается как:
Системы бизнес-аналитики
В современном мире успех компании на рынке напрямую зависит от того, как быстро менеджмент компании может распознать изменения динамики рынка и насколько своевременно может отреагировать на них с целью увеличения прибыли, исходя из существующих реалий рынка. Менеджеры компании должны отслеживать тенденции рынка, идентифицировать конкурентов и угрозы, оценивать риски, преобразовывать стратегию компании, оценивать свои ресурсы и т.д. Информация является необходимым производственным ресурсом для принятия эффективных управленческих решений.
Компании накопили значительные объемы данных и имеют доступ к еще большим объемам внешних данных. Менеджерам необходимо, чтобы эта информация была преобразована, предварительно обработана и соответствующим образом организована для быстрого доступа, анализа и принятия решений. Такой подход к данным есть, с одной стороны, создание конкурентного преимущества, а с другой стороны – требование к публикации данных для менеджеров компании. Публикация данных для менеджеров, обеспечивающая быстрый доступ к данным, выполнение анализа данных и информационную поддержку процесса принятия решений, является основной целью систем бизнес-аналитики. Бизнес-аналитика помогает компании создавать знания из всей доступной информации для принятия эффективных управленческих решений и превращения этих решений в действие.
Таким образом, ключевую роль в управлении организацией в целом и ее отдельными производственными функциями играет информация. Данные, которые доступны менеджерам и аналитикам непосредственно из корпоративных информационных систем, не унифицированы, разрозненны и в общем случае не готовы для анализа. Системы деловой осведомленности или бизнес-аналитики являются тем классом информационных систем, который позволяет превратить данные корпоративных информационных систем и данные из внешних источников в полезные для бизнеса информацию и знания, используемые в управлении, на основе которых можно принимать решения.
Информационная пирамида формируется из нескольких уровней.
Информационная пирамида описывает среду бизнес-аналитики, которую можно описать следующим образом. В информационную среду бизнес-аналитики поступает первичный материал — данные, которые затем перерабатываются в автоматизированных системах и информационных продуктах.
В процессе переработки происходит переход от данных к информации. ХД извлекает данные из множества транзакционных или оперативных систем, а затем интегрирует и хранит данные в специализированной БД. Например, в ХД могут приводиться в соответствие и объединяться пользовательские записи из четырех оперативных систем (приложений для обработки заказов, обслуживания, продаж и поставок). Такой процесс извлечения и интеграции преобразует данные в новый информационный продукт — информацию.
Затем пользователи, работающие с аналитическими инструментами (например, для создания запросов, отчетов, OLAP-анализа и выполнения операций интеллектуального анализа данных ), обращаются к данным из ХД и анализируют ее. Таким образом, определяются тенденции, структуры и исключения. Аналитические инструменты помогают пользователям преобразовать информацию в знания.
К основным функциям системы бизнес-аналитики, как правило, относят следующие.
К основным технологическим средствам реализации функциональности систем бизнес-аналитики относят:
Система бизнес-аналитики является стержнем, вокруг которого формируются потоки стратегической бизнес-информации. Данный инструмент помогает компании принимать решения, которые будут основаны на корректной информации, полученной вовремя.
В условиях, когда рынок постоянно меняется, а конкуренция становится все жестче, руководителям крайне необходимо выявлять и анализировать имеющиеся у предприятия резервы, которые могут существенно расширить возможности бизнеса.
Предлагаемые решения в области бизнес-аналитики должны предоставлять возможность оперативно анализировать тенденции рынка, осознавать движущие силы бизнеса и, основываясь на объективной информации, быстро реагировать на изменения рыночной ситуации и принимать верные решения.
Например, одним из возможных решений может быть графический инструмент для экономического анализа, относящийся к категории OLAP-приложений (On-line Analytical Processing), который:
Эти многомерные «информационные кубы» собирают и хранят всю информацию о деятельности предприятия. С их помощью можно моделировать и анализировать критические аспекты бизнеса, учитывая информацию о продукции, поставщиках, потребителях, товарообороте, ценах и доходах. Анализ ведется интерактивно, в реальном времени, с помощью удобных визуальных инструментов, а не просто на основе многочисленных отчетов с тысячами страниц, таблиц и чисел.
» Кубы данных » должны быть настроены для решения ряда критически важных аспектов бизнеса, включая анализ продаж, запасов, финансов, каналов снабжения и производства.
Специальные возможности должны обеспечивать мгновенную детализацию данных и всестороннее исследование проблемы. Результирующее двух- или трехмерное представление удобно для быстрого изучения тенденций и анализа отклонений.
Типовой состав программного обеспечения систем бизнес-аналитики включает в себя не только саму систему, но и обучающие материалы, техническую документацию, а также возможность получения технической поддержки и профессиональных консультаций. Все это помогает быстро и в совершенстве освоить систему, получить максимум преимуществ ее использования:
Система бизнес-аналитики должна:
Таким образом, системы бизнес-аналитики позволяют:
Информационная безопасность систем бизнес-аналитики
Следует отметить, что многие компании не придают значения вопросам безопасности, игнорируя тот факт, что архитектурные компоненты систем бизнес-аналитики таят в себе определенную опасность. Обеспечение безопасности среды бизнес-аналитики – не менее важная задача, чем защита оперативных приложений.
Среда бизнес-аналитики и ХД, наоборот, характеризуется значительной динамичностью вкупе с широкой и часто меняющейся пользовательской аудиторией, причем пользователи могут быть как внутренними, так внешними. В такой ситуации гораздо сложнее (а иногда и практически невозможно) распределить пользователей по подмножествам данных; особенно это касается аналитических приложений высокого уровня, таких как, например, решения управления эффективностью корпорации ( corporate performance management ), где окончательная информация формируется на основе изучения данных всего предприятия. Помимо этого, физическая структура этой среды часто является неясной: в нее устанавливается множество различных средств, а сами данные пребывают в постоянном движении (из ХД в витрины данных и на пользовательские машины в информационные панели). В результате мероприятия по обеспечению безопасности корпоративной информации обходят стороной приложения бизнес-аналитики и ХД.
Для того чтобы гарантировать защищенность среды бизнес-аналитики, компании должны в первую очередь выполнить задачи безопасности, возникающие на уровне отдельных ее компонентов (см. рис. 4.2.).
Каждый из основных компонентов среды бизнес-аналитики имеет свою степень риска и для обеспечения безопасности каждого компонента потребуется реализовать различные подходы (и различные технологии). Это крайне непростая задача, и, пожалуй, наибольшую сложность представляют «пробелы» между компонентами. Ведь программная оболочка для бизнес-аналитики практически никогда не поставляется одним поставщиком или в форме одной ИТ-технологии. При этом бесшовная интеграция между компонентами невозможна. Более того, именно то, как компоненты работают друг с другом, и то, как информация проходит между ними, и образует «точки риска».
Безопасность данных
Сама суть бизнес-аналитики подталкивает бизнес-пользователей к расширению доступа к данным и контроля над ними. Поэтому необходима жесткая политика по защите информации, которая должна помочь «залатать дыры», созданные многочисленными, слабо интегрированными технологическими компонентами, а также минимизировать огромный риск, присущий человеческому фактору.
Данные в ХД, витринах данных и операционных складах данных создают условия для осуществления всей бизнес-аналитики и, как правило, включают гигантские объемы детальных, транзакционных данных. Поскольку они часто отображают длительный отрезок времени, относящейся к истории существования компании, как, например, финансовая информация, обеспечение защищенности таких данных чрезвычайно важно. При рассмотрении задач безопасности данных следует задаться следующими вопросами:
Топология данных в среде бизнес-аналитики влияет на возможности доступа к данным и обеспечение безопасности. Во многих компаниях результаты запросов часто загружаются на индивидуальные машины с целью дальнейшей детализации и использования. Эти данные оказываются в витринах данных, настольных БД, информационных панелях или крупноформатных электронных таблицах и быстро оказываются вне пределов инфраструктуры безопасности ИT-отдела, хотя по-прежнему сохраняют свою конфиденциальную сущность. При рассмотрении топологии данных с точки зрения безопасности необходимо изучить следующие вопросы:
Процесс сбора данных
Обычно процесс сбора и подготовки данных для среды бизнес-аналитики очень сложный и «непрочный». Огромное число источников данных и значительное разнообразие данных приводят к многоступенчатым процессам, в которых данные интерактивно собираются и преобразуются для загрузки в ХД. Данные, подвергающиеся как процессу сбора, так и преобразования, также образуют следующие «точки риска».
Пользовательские средства формирования запросов и аналитические приложения
Программные инструменты бизнес-аналитики и аналитические приложения — это, в первую очередь, механизмы, предназначенные для доступа к данным в ХД. Такие средства часто приобретались в большом количестве с целью широкого и глубокого развертывания бизнес-аналитики по всему предприятию. Эти инструменты представляют особую ценность только для определенных пользователей и несут серьезную опасность, если попадают не в те руки.
Появление и развитие аналитических приложений для электронной коммерции по схеме «бизнес-бизнес» (business-to-business) и «поставщик-покупатели» (business-to-consumer) усилили насущность вопросов безопасности.
Политика информационной безопасности
Корпоративная политика информационной безопасности часто не затрагивает информации, которая хранится, анализируется и поставляется посредством аналитических приложений. Поскольку бизнес-аналитика расширяет доступ к информации, часто передавая ее в непосредственное распоряжение бизнес-пользователей, информация быстро оказывается вне пределов инфраструктуры безопасности ИT-отдела. Поэтому при формировании корпоративной политики информационной безопасности необходимо рассмотреть следующие вопросы:
📊 Что такое BI-системы и зачем они нужны?
Miroslav Kungurov
Чем занимается BI-аналитик?
BI-аналитик оперирует двумя источниками информации: получаемыми с рынка внешними данными и внутренними данными компании, в которой он работает.
Порции информации из внутренних и внешних источников поступают регулярно, то есть они находятся в постоянном движении на своеобразных линиях ускользания от BI-аналитика. По аналогии с диджеем, сводящим дорожки, BI-аналитик выстраивает ускользающие линии информации и затем фиксирует их таким образом, чтобы создать картину, конфигурацию, пригодную для интерпретации, бизнес-анализа и принятия решений. В итоге цель BI-аналитика – открыть выгодные для бизнеса перспективы.
В обязанности BI-аналитика входит :
Инструменты BI-аналитика
SQL-запросы
Бизнес-процессы описываются тысячами показателей. Например, для анализа продаж детской игрушки понадобятся сведения о географическом положении магазина, с какими товарами и в какой день недели покупалась игрушка, на какой полке располагалась игрушка, как производилась оплата – по кредитной, дебетовой карте или наличными – и так далее. Детализация приводит к образованию больших массивов данных, которые нужно правильно структурировать для дальнейшего анализа. Обычно данные хранятся в базах данных, поэтому BI-аналитик должен уметь писать SQL-запросы на разных диалектах.
Технология OLAP
Для создания сложных многотабличных запросов и быстрого получения результата – по сравнению с простой двумерной таблицей – применяют OLAP (англ. online analytical processing, интерактивная аналитическая обработка), в котором массив данных структурируется в виде многомерной таблицы, OLAP-куба (рис. 1). Оси такого куба – анализируемые показатели, а на пересечении осей – данные.
Рис. 1. Иллюстрация OLAP-куба
Метод ETL
Хорошо, если в таблицах нет пропущенных значений, дубликатов, аномалий и сам массив данных самодостаточен – по нему можно решить задачу анализа без обогащения массива данными из внутренних или внешних источников. Так бывает не всегда. Поэтому для подготовки данных к анализу BI-аналитики применяют шаг Transform (очистка данных) из метода предобработки ETL (англ. Extract, Transform, Load – «извлечение, преобразование, загрузка»):
Языки Python и R
Подробнее о работе с Pandas и визуализации данных читайте в наших статьях:
Отображение рез ультатов в визуальном формате – графики, диаграммы или на карте – дает представление о наиболее важных показателях, которые не всплывают в контексте таблицы. Информации много, поэтому вручную писать код для каждого графика занимает много времени. Чтобы клепать отчеты в промышленных масштабах BI-аналитик пользуется платформами с функциями хранилища данных, автоматизированной отчетности и построения дашбордов.
Один из главных инструментов аналитика – специальные BI-платформы.
Популярные BI-платформы
На некоторых платформах удобнее рисовать графики, на других сводить данные, а у третьих крутая кривая обучения, чтобы полностью использовать их возможности. Учитывая, что платформы в 9/10 случаев платные, нужно определиться, какой функционал нужен. В вакансиях на Хедхантере чаще всего фигурируют Tableau и Power BI.
Microsoft Power BI
powerbi.microsoft.com | Цена : Power Desktop распространяется бесплатно, Pro-версия стоит от 625 ₽/мес.
Power BI Desktop – часть набора продуктов Power BI. Desktop-версия устанавливается на локальный компьютер и позволяет подключать, преобразовывать и визуализировать данные. Power BI Pro – продвинутая версия с большим функционалом.
Tableau
C 2003 г. Tableau помогает не техническим специалистам создавать визуальную аналитику и интерактивные графики. Система имеет интуитивный и не загроможденный пользовательский интерфейс.
Qlik – дает доступ к облачной аналитике с низким порогом вхождения и прозрачной ценовой политикой в отличие от Tableau (pdf, англ., шестая страница).
Oracle Analytics Cloud
Oracle Analytics Cloud предлагает комплексную бизнес-аналитику, формирование отчетности, машинное обучение из коробки и возможности визуализации данных.
Metabase
Metabase – инструмент бизнес-аналитики с открытым исходным кодом. Он не требует знания SQL и имеет приятный интерфейс, позволяющий создавать аналитические графики всего несколькими щелчками мыши.
Литература
Интернет-ресурсы и YouTube-каналы
Резюме начинающего BI-аналитика
Зарплата : от 60 тыс. руб. (актуально на момент публикации статьи в г. Москва).
Дополнительные бесплатные курсы :
Business Intelligence: что такое BI-система и зачем она нужна бизнесу
Создайте рассылку в конструкторе за 15 минут. Отправляйте до 1500 писем в месяц бесплатно.
Отправить рассылку
Business Intelligence, или BI-системы — это набор инструментов и технологий для сбора, анализа и обработки данных. Например, в компании для приёма заявок используют несколько каналов и нужно собрать единую статистику продаж. Или рекламные кампании охватывают несколько площадок и необходимо сравнить их эффективность. Все эти процессы можно настроить через BI-систему.
Необработанную информацию из разных источников посредством BI преобразуют в удобную и понятную аналитику. BI-системы (Microsoft Power BI, Tableau, Qlik) можно применять в любой отрасли или сфере деятельности — как на уровне компании в целом, так и для подразделений или отдельных продуктов.
Как работают BI-системы
Для обычного пользователя принцип действия BI-системы выглядит просто: к системе подключают источники данных, далее информация направляются в единое хранилище и обрабатываются, а затем демонстрируются в виде готовых отчётов. Источниками данных выступают различные системы — облачные (Oracle Cloud, Google BigQuery, Microsoft Azure и другие веб-подключения), файловые (Excel, XML, PDF и иные табличные файлы), реляционные (SQL Server, MySQL, Oracle).
Пример отчета о глобальных продажах магазина в Power BI
Чтобы использовать BI-систему пользователю не нужно обладать специальными IT-познаниями. С помощью понятного интерфейса можно запросить нужный отчёт и получить доступ к аналитике. Система сформирует удобный дашборд — информационную панель, на которой визуально представленные данные сгруппированы по смыслу. Все данные на дашборде — интерактивные. Графики можно увеличивать и перестраивать. Можно просматривать источники информации и детально изучать показатели аналитики. Для отображения доступны разные форматы — отчёты, таблицы, графики, диаграммы.
За простым использованием системы скрываются сложные процессы обработки данных и формирования расширенной аналитики. В состав BI-решения входят:
BI-системы поддерживают множество бизнес-решений — от операционных до стратегических. С помощью технологий анализируют огромные объёмы информации. Но внимание пользователя акцентируется только на ключевых факторах аналитики, которые позволяют смоделировать варианты последующих действий и бизнес-решений.
Принцип работы BI-системы на примере Power BI
Важно, что любая компания может адаптировать BI-систему под свои потребности. Например, выбрать источники данных, задать принцип обработки информации, определить формат отчётности.
BI-системы особенно полезны, если объединяют сведения с рынка и информацию из финансовых и производственных источников компании. Совокупность внешних и внутренних данных даёт полное представление ситуации в бизнесе. Такую картину невозможно получить при анализе одного источника и ограниченной аналитике.
Зачем внедрять BI-системы в бизнесе
Компании оперируют огромными объемами данных. Например, считают расходы и выручку, определяют чистую прибыль, анализируют трафик и количество заявок, отслеживают выпуск продукции. Все данные для аналитики хранятся в разных форматах и различных системах.
Чтобы обработать информацию, аналитики сначала собирают все данные в одну таблицу, затем сортируют и оставляют только нужные показатели, а потом сравнивают показатели с прошлыми отчётами. Такая работа отнимает десятки часов еженедельно. При этом в процессе формирования отчёта показатели могут утратить актуальность. К тому же аналитики могут ошибиться или собрать неполные данные. Итоговый отчёт может оказаться бесполезным.
Вручную собрать и обработать все данные компании невозможно. Часть информации так и остаётся необработанной. Компания может случайно пропустить заявки клиентов, своевременно не узнать о сбоях производства, потерять деньги из-за игнорирования проблем.
Основные задачи, решаемые посредством систем BI:
Общая цель Business Intelligence — предоставление бизнесу возможности принятия обоснованных решений с учётом полной аналитики. У компании, внедрившей BI, будут полные, точные и организованные данные.
Панель анализа клиентов в Microsoft Power BI
Благодаря BI-системам компаниям не нужно нанимать специалистов по data science (наука о данных) — система соберет все «сырые» данные, самостоятельно обработает их и автоматически покажет информацию, с которой можно работать.
Как понять, что компании нужно использовать Business Intelligence
Любая компания в любой отрасли может применять Business Intelligence. Особенно задуматься о внедрении BI-систем стоит, если:
BI-системы могут стать ценным инструментом для принятия решений и разработки стратегии. Полученные данные можно использовать в самых разных сферах — маркетинге, продажах, поставках, финансах. Например, можно:
Business Intelligence выводит работу компании на новый уровень. Постоянный мониторинг данных позволяет принимать более продуманные и своевременные решения. Доступность исторических и текущих данных помогает строить верные прогнозы для бизнеса. Оперативный доступ сотрудников к аналитике и операционным данным повышает качество работы и одновременно снижает трудовые и временные затраты.
Как выбирать программное обеспечение для внедрения BI
Существует достаточно много надёжных поставщиков BI-инструментов. Например, популярны платформы Microsoft, Tableau, Qlik. Также востребованы системы Zoomdata, Sisense, Information Builders.
Можно выделить несколько факторов, на которые стоит обратить внимание при выборе эффективной BI-системы:
Нельзя сказать, какое BI-решение является самым лучшим. Компании выбирают платформу BI с учётом различных критериев и собственных возможностей.
Примеры BI-систем
Tableau
Система выполняет углубленный анализ информации и представляет результаты на информационной интерактивной панели в режиме реального времени. Источниками данных для аналитики могут быть любые источники с программным интерфейсом.
Над отчётом могут работать одновременно несколько пользователей. При этом пользователи могут самостоятельно создавать необходимые инструменты или использовать готовые решения. Результатом можно делиться через системный сервер, по ссылке или email.
Tableau работает в вебе, на десктопе и мобильных устройствах.
Пример визуализации данных в Tableau
Power BI
Сервис от Microsoft предназначен для анализа и визуальной демонстрации больших объёмов информации. Можно подключать разные источники данных, в том числе собственные приложения.
Система совместима с продуктами MIcrosoft (MS Excel, SQL Server, Azure Cloud Service). Интерфейс программы разработан по подобию Windows.
Сервис функционирует на любых платформах: в облаке, на десктопе и смартфонах. Интерактивные дашборды показывают данные в реальном времени и доступны на любом устройстве. Пользователи могут делиться отчётами несколькими способами.
Выбор диаграммы для представления результатов в Power BI
BI-система предусматривает импорт информации из различных источников. Данные проходят обработку в оперативной памяти. Созданные визуализации можно корректировать, дополнять любыми фильтрами. В Qlik доступна совместная работа над отчётами.
Платформа доступна для корпоративного и персонального использования. При этом продукт работает на десктопе, в облачной версии и на любых устройствах с наличием браузера. Для всех версий предусмотрен одинаковый алгоритм аналитики.
Отчёт по анализу бюджета в Qlik
Business Intelligence превращает множественные разрозненные данные в полезную информацию для руководства и управления бизнесом, проверки гипотез и принятия решений. Компании, которые используют стратегии BI, располагают точными, полными и организованными данными. Это помогает оценить текущее состояние бизнеса, выявить проблемы и возможности, спланировать будущее развитие.