Для чего используют контрольные карты

Контрольная карта

Контрольная карта (карта Шухарта) это линейчатый график, построенный на основании данных измерений показателей процесса (или продукта) в различные периоды времени. Он позволяет отразить динамику изменений показателя и за счет этого контролировать процесс.

От обычных линейчатых графиков контрольные карты отличаются только дополнительно нанесенными горизонтальными линиями. Эти линии обозначают верхнюю и нижнюю контрольную границу статистически допустимых изменений измеряемой величины и среднее значение всех измерений.

Точки, которые наносятся на контрольные карты, могут быть как результатом прямых измерений отдельного показателя процесса, так и суммарным (комплексным) значением группы показателей, полученных в один момент времени. Комплексный показатель может включать, например, среднее значение по группе измерений, среднее значение отклонений, процент дефектов, среднее число дефектов на единицу и т.п.

Контрольные границы определяют предел ожидаемых изменений процесса, когда действуют только наиболее типичные для этого процесса факторы. Наносятся контрольные границы, как правило, на расстоянии трех стандартных отклонений случайной величины от линии средних значений.

Применение контрольных карт для отображения изменений показателей во времени дает возможность точно определить, когда и как изменился процесс и тем самым обеспечить базу для управления им. Например, если контрольная карта отображает единичный случай выхода показателя за контрольные границы, то нет необходимости предпринимать какие-либо действия по корректировке процесса. Если же, например, контрольная карта показывает асимметричное смещение контролируемого показателя (в течение длительного интервала времени) относительно линии средних значений, то процесс требует вмешательства и принятия корректирующих действий.

Несмотря на то, что существуют различные контрольные карты, порядок их построения один и тот же:

1. Определяются показатели процесса или продукции, которые необходимо измерять. Показатели могут иметь количественные или качественные значения.

2. Определяются точки контроля показателя. По возможности, точки контроля необходимо устанавливать на наиболее ранней стадии процесса, где выбранный показатель может быть измерен.

3. На основании вида контролируемых показателей (контроль по количественному или альтернативному признаку) выбирается соответствующая контрольная карта.

4. Когда применяется контроль по количественному или альтернативному признаку часть последовательных во времени измерений ( примерно от 3 до 5) может иметь близкие значения. Эти измерения формируются в подгруппу. Количество измерений, вошедших в подгруппу, называется размером подгруппы. Необходимо установить размер подгруппы.

5. Проводятся измерения выбранного показателя процесса или продукта.

6. На контрольной карте отображаются результаты измерений (для контроля по количественному признаку) или суммарные (комплексные) значения (для контроля по альтернативному признаку) показателей.

7. Точки графика соединяются между собой.

8. Рассчитывается линия средних значений, и вычисляются контрольные границы. В зависимости от того, какие контрольные карты применяются, формулы расчета контрольных границ и их количество может изменяться (например, для карты размаха достаточно рассчитать только верхнюю контрольную границу).

9. Линия средних значений и контрольные границы отображаются на контрольной карте.

10. Определяются все точки, выходящие за пределы контрольных границ.

11. Проводится анализ причин выхода значений контролируемых показателей за пределы контрольных границ и направления смещения подгрупп относительно линии средних значений. При необходимости предпринимаются корректирующие действия.

Для того чтобы контрольная карта являлась эффективным средством управления процессом сбор результатов измерений контролируемых показателей и их регистрация в контрольной карте должны осуществляться в режиме реального времени.

Контрольные карты обладают рядом достоинств. В частности, они дают возможность визуально определить момент изменения процесса, создают основу для улучшения процесса, выявляют различия между случайными и системными нарушениями в процессе, снижают потери от брака за счет предотвращения появления дефектов. К недостаткам контрольных карт можно отнести более высокие требования к подготовке персонала и необходимость работы в реальном времени.

Инструмент «контрольная карта» входит в состав сборника «Семь инструментов качества». Сборник можно приобрести в интернет-магазине «Менеджмент качества».

Семь инструментов качества

Семь инструментов качества

Брошюра «Семь инструментов качества» содержит справочную информацию об основных инструментах менеджмента качества. В брошюре представлено описание и даны примеры применения следующих инструментов менеджмента качества:

Источник

Практикум использования контрольных карт Шухарта

Недавно я публиковал здесь свой слайдкаст с рассказом о 6-сигмах, контрольных картах Шухарта и людях снежинках, где достаточно простым языком, местами злоупотребляя сквернословием, под 20-ти минутный хохот слушателей рассказывал о том, как отделить системные вариации от вариаций, вызванных особыми причинами.

Теперь хочу подробно разобрать пример построения контрольной карты Шухарта на основе реальных данных. В качестве реальных данных я взял историческую информацию о завершенных личных задачах. Эта информация у меня есть благодаря адаптации под себя модели личной эффективности Дэвида Аллена Getting Things (про это у меня тоже есть старый слайдкаст в трех частях: Часть 1, Часть 2, Часть 3 + Excel-табличка с макросами для анализа задач из Outlook ).

Постановка задачи выглядит так. У меня имеется распределение среднего числа завершенных задач в зависимости от дня недели (ниже на графике) и нужно ответить на вопрос: «есть ли что-то особенное в понедельниках или это всего лишь погрешность системы?»

Ответим на этот вопрос при помощи контрольной карты Шухарта – основного инструмента статистического управления процессами.

Итак, критерий Шухарта наличия особой причины вариации достаточно прост: если какая-то точка выходит за контрольные пределы, рассчитанные особым образом, то она свидетельствует об особой причине. Если точка лежит внутри этих пределов, то отклонение обусловлено общими свойствами самой системы. Грубо говоря, является погрешностью измерений.
Формула для вычисления контрольных пределов выглядит так:

Где
— среднее значение средних значений по подгруппе,
— средний размах,
— некоторый инженерный коэффициент, зависящий от размера подгруппы.

Все формулы и табличные коэффициенты можно найти, например, в ГОСТ 50779.42-99, где кратко и понятно изложен подход к статистическому управлению (честно, сам не ожидал, что есть такой ГОСТ. Более подробно тема статистического управления и его места в оптимизации бизнеса раскрыта в книге Д. Уилера).

В нашем случае мы группируем количество выполненных задач по дням недели – это и будет подгруппами нашей выборки. Я взял данные о числе завершенных задач за 5 недель работы, то есть, размер подгруппы равен 5. При помощи таблицы 2 из ГОСТа находим значение инженерного коэффициента:

Вычисление среднего значения и размаха (разницы между минимальным и максимальным значениями) по подгруппе (в нашем случае по дню недели) задача достаточно простая, в моем случае результаты такие:

Центральной линией контрольной карты будет являться среднее групповых средних, то есть:

Так же вычисляем средний размах:

Теперь мы знаем, что нижний контрольный предел для числа выполненных задач будет равен:

То есть, те дни, в которые я в среднем завершаю меньшее число задач, с точки зрения системы являются особенными.

Аналогично получаем верхний контрольный предел:

Теперь нанесем на график центральную линию (красная), верхний контрольный предел (зеленая) и нижний контрольный предел (фиолетовая):

И, о, чудо! Мы видим три явно особенные группы, выходящие за контрольные пределы, в которых присутствуют явно не системные причины вариаций!

По субботам и воскресеньям я не работаю. Факт. А понедельник оказался действительно особенным днем. И теперь можно думать и искать что же такого реально особенного в понедельниках.

Однако если бы среднее число выполненных в понедельник задач находилось внутри контрольных пределов и пусть даже сильно выделялось на фоне остальных точек, то с точки зрения Шухарта и Деминга искать какие-то особенности в понедельниках было бы бессмысленным занятием, так как подобное поведение обуславливается исключительно общими причинами. Например, я построил контрольную карту для других 5-ти недель в конце прошлого года:

И вроде как есть какое-то ощущение того, что понедельник как-то выделяется, но согласно критерию Шухарта — это всего-лишь флуктуация или погрешность самой системы. Согласно Шухарту, в данном случае можно сколь угодно долго исследовать особые причины понедельников — их просто нет. С точки зрения статистического управления, на этих данных понедельник ничем не отличается от любого другого рабочего дня (даже воскресенья).

Источник

Для чего используют контрольные карты

ГОСТ Р 50779.42-99
(ИСО 8258-91)

ГОСУДАРСТВЕННЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

КОНТРОЛЬНЫЕ КАРТЫ ШУХАРТА

Statistical methods.
Shewhart control charts

____________________________________________________________________
Текст Сравнения ГОСТ Р 50779.42-99 (ИСО 8258-91) с ГОСТР ИСО 7870-2-2015 см. по ссылке.
— Примечание изготовителя базы данных.
____________________________________________________________________

Дата введения 2000-01-01

1 РАЗРАБОТАН И ВНЕСЕН Техническим комитетом по стандартизации ТК 125 «Стандартизация статистических методов управления качеством», АО «Нижегородский научно-исследовательский центр контроля и диагностики технических систем» (АО НИЦ КД)

2 ПРИНЯТ И ВВЕДЕН В ДЕЙСТВИЕ Постановлением Госстандарта России от 15 апреля 1999 г. N 127

3 Разделы настоящего стандарта, за исключением приложения А, представляют собой аутентичный текст международного стандарта ИСО 8258-91 «Контрольные карты Шухарта»

5 ПЕРЕИЗДАНИЕ. Июль 2004 г.

Введение

1 Область применения

Дополнительный материал, связанный с подходом Шухарта, а именно, использование предупреждающих границ, анализ структур тренда и возможности процессов, лишь упомянут. Кроме того, существуют другие типы контрольных карт [2].

2 Обозначения и сокращения

— объем подгруппы, число выборочных наблюдений в подгруппе;

— среднее значение для подгруппы, ;

— среднее средних значений подгрупп;

— истинное среднее процесса;

— среднее значение медиан подгрупп;

— размах подгруппы (разность наибольшего и наименьшего значений в подгруппе);

— среднее значение для всех подгрупп;

— выборочное стандартное (среднее квадратическое) отклонение ;

— среднее выборочных стандартных (средних квадратических) отклонений подгрупп;

— истинное внутригрупповое стандартное отклонение;

— оцененное внутригрупповое стандартное отклонение процесса;

— число несоответствующих единиц в подгруппе;

— доля несоответствующих единиц в подгруппе

;

— среднее значение доли несоответствующих единиц

;

— число несоответствий в подгруппе;

— среднее значений для всех подгрупп;

— число несоответствий на единицу в подгруппе;

;

— верхняя контрольная граница;

— нижняя контрольная граница.

3 Основы контрольных карт Шухарта

Границы ±3 указывают, что около 99,7% значений характеристики подгрупп попадут в эти пределы при условии, что процесс находится в статистически управляемом состоянии. Другими словами, есть риск, равный 0,3% (или в среднем три на тысячу случаев), что нанесенная точка окажется вне контрольных границ, когда процесс стабилен. Употребляется слово «приблизительно», поскольку отклонения от исходных предположений, таких как вид распределения данных, будут влиять на значения вероятности.

Некоторые консультанты предпочитают вместо множителя, равного 3, значение 3,09, чтобы обеспечить номинальное значение вероятности 0,2% (в среднем два вводящих в заблуждение наблюдения на тысячу), но Шухарт выбрал число 3, чтобы не давать поводов к рассмотрению точных вероятностей. Аналогично некоторые консультанты применяют фактические значения вероятностей для карт, основанных на ненормальных распределениях, таких как карты размахов и долей несоответствий, и в этом случае в карте Шухарта также используют границы на расстоянии ±3 вместо вероятностных пределов, упрощая эмпирическую интерпретацию.

Вероятность того, что нарушение границ в самом деле случайное событие, а не реальный сигнал, считается столь малой, что при появлении точки вне границ следует предпринять определенные действия. Так как действие предпринимается именно в этой точке, то 3 контрольные границы иногда называются «границами действий».

При применении контрольных карт возможны два вида ошибок: первого и второго рода.

Ошибка первого рода возникает, когда процесс находится в статистически управляемом состоянии, а точка выскакивает за контрольные границы случайно. В результате неправильно решают, что процесс вышел из состояния статистической управляемости, и делают попытку найти и устранить причину несуществующей проблемы.

Если процесс статистически управляем, контрольные карты реализуют метод непрерывной статистической проверки нулевой гипотезы о том, что процесс не изменился и остается стабильным. Но поскольку значение конкретного отклонения характеристики процесса от цели, которое могло бы привлечь внимание, обычно нельзя определить заранее, как и риск ошибки второго рода, и объем выборки не рассчитывается для удовлетворения соответствующего уровня риска, то карту Шухарта не стоит рассматривать с точки зрения проверки гипотез [2, 3]. Шухарт подчеркивал именно эмпирическую полезность контрольных карт для установления отклонений от состояний статистической управляемости, а не их вероятностную интерпретацию. Некоторые пользователи применяют кривые оперативных характеристик как средства для интерпретации проверок гипотез.

Источник

Применение контрольных карт Шухарта для количественного анализа трафика (и любых данных вообще)

Что случается, когда математик работает специалистом по контекстной рекламе.

Всем привет, меня зовут Юрий Болотов. Я работаю специалистом по контекстной рекламе в студии «АлаичЪ и Ко».

Перед тем как ты, уважаемый читатель, перейдешь к основной части, я сразу хочу оговориться, что анализ трафика на примере статьи взят просто для примера. Все формулы расчетов будут актуальны и для любых других данных:

количества продаж в офлайн-магазине;

оповещений о падении трафика с контекста;

оценки эффективности изменений в рекламной компании;

да хоть количества ошибок в тексте вашего копирайтера или количества бракованных деталей на заводе — метод, который мы будем рассматривать, как раз чаще всего используют для реальных производств.

Также постараюсь ответить на вопрос «и чё?» (зачем это все надо).

В любых данных, на которые мы обычно смотрим, содержится информация о том, как реально работает наша система (привлечения трафика, система продаж, оборудование на заводе и т. д.) и разные специальные причины или особые случаи.

Так вот, системное нужно лечить системно, и для этого есть целый ряд анализов — корреляционный, факторный, кластерный и т.д. А особые случаи надо лечить особо.

Собственно, описанный ниже метод и позволяет узнать, где особые случаи, а где системные.

Метод этот — контрольные карты Шухарта. Это ГОСТ Р 50779.42-99. Этот метод очень точный. Всего в 0.3% случаев (3 на 1000) есть риск, что график выйдет за границы, когда никаких особых причин нет.

Существует несколько видов контрольных карт. Нам для наших задач очень подходит карта скользящих размахов. Именно работу с ней я и буду описывать. Для примера был взят трафик на блог нашего руководителя Александра Алаева.

Новые посетители были взяты лишь из расчета, что они еще не знают про организацию и могут быть заинтересованы в услугах в отличии от постоянно посещающих.

И так, мы взяли и записали в эксельке трафик новых посетителей в будние дни.

(Не обращайте внимания на то, что в таблице данные почти годовалой давности, эта публикация очень долго пролежала «в столе» перед тем, как мы решили ее опубликовать).

Теперь надо нам надо посчитать скользящий размах. Это разница между 1 и 2 значениями, 2 и 3, 3 и 4 и т. д.

Так, разница между 1 и 2 значениями у нас 581-486=95, разница между 2 и 3 — 585-581=4 и т. д. В результате получаем такую таблицу:

Следующим шагом нам надо посчитать средние значения посетителей (B столбец) и скользящих размахов (C столбец).

Среднее посетителей = (486+581+. +566)/21 = 564 или формулой в таблице =СУММ(B1:B21)/21.

Среднее размахов = (95+4+. +24)/20 = 40,8 (=СУММ(C2:C21)/20).

Теперь берем наш средний размах и умножаем на 3,267 (это постоянное число и не зависит от других параметров. Можете поверить мне, можете проверить по таблице в ГОСТе).

40,8*3,267=133,29. Это число называется верхней контрольной границей скользящих размахов.

Нам надо проверить, чтобы наши размахи не выходили за пределы этой границы. Если выходят, то сначала надо искать причину и устранять ее, прежде чем двигаться дальше. Например, при анализе общего трафика на сайт такое может возникнуть, если бюджет контекстной рекламы пополняется в случайные дни, и она то работает, то нет. В нашем случае все размахи входят в границу. Значит, двигаемся дальше.

Последним шагом в расчетах мы найдем верхнюю и нижнюю контрольные границы нашей карты.

Верхняя контрольная граница (UCL) = Среднее значение (564) + Среднее значение размахов (40,8) умноженное на 2,66 (это тоже постоянное значение, взятое из таблиц в ГОСТе).

Нижняя контрольная граница (LCL) = 564-40,8*2,66=455.

Для наглядности построим график:

Все операции, проделанные выше, были сделаны еще в начале октября. После этого я стал ждать, когда график выйдет за границы, чтобы можно было показать это, найти причину выхода и закончить эту статью каким-нибудь наглядным примером.

Долго ждать не пришлось.

Уже 11-го числа график вышел за верхнюю границу. «Вот оно!» — подумал я. «Значит что-то случилось. Просто так этого быть почти не могло».

Когда я построил отчёт в Метрике по источникам перехода, то сразу понял, что же именно случилось. Оказалось, что 10 числа была опубликована статья-интервью на Спарке.

Именно это событие и было особым случаем, который контрольные карты должны выявлять.

После того, как подобное событие найдено, необходимо либо приложить все усилия, чтобы оно стало постоянным (когда это возможно) если событие положительное; либо, если оно отрицательное, постараться сделать так, чтобы оно никогда больше не наступало.

А теперь один реальный кейс по контекстной рекламе.

В конце ноября 2017 года к нам на контекстную рекламу пришел крупный интернет-магазин. Для крупных клиентов с большими бюджетами (там, где трудозатраты имеют смысл) я для себя строю карты по основным метрикам. Обычно это общее количество визитов, визиты по основным рекламным каналам, CPL и % конверсии (по нему очень удобно определить проблемы с оформлением заказов на сайте).

Весь декабрь и январь мы настраивали кампании в Google AdWords, Google Merchant, Яндекс.Директ, Яндекс.Маркет. В конце-концов, к февралю, все основные направления были запущены, фиды загружены, бюджеты пополнены. Клиент все время активно дорабатывал сайт, создавал новые разделы, менял корзину и т. д. О каких-то изменениях клиент нас предупреждал, а о каких-то нет. Одно из таких изменений и привело к тому, что я решил написать всю эту статью.

В феврале я решил, что пора построить карту и следить за показателями. Реклама к этому моменту работала стабильно, системы аналитики были настроены и казалось, что ничего не предвещает проблем.

По итогам февраля я взял данные по визитам за месяц, посчитал аналогично скользящие размахи.

среднее значение — 660

средний размах — 72

верхнюю границу — 852

нижнюю границу — 470

Построил график (хотя на практике удобней просто в таблице выделять цветом данные, выходящие за пределы)

После построения графика, осталось только ждать и наблюдать, а т. к. клиент все еще много работал над сайтом, то первая проблема не заставила себя ждать.

Уже 16 марта график вышел за нижнюю границу. А т. к. 17-18 были выходные, то поиск проблемы начался лишь 19-ого числа.

Пересмотрев отчеты в метрике и рекламных кабинетах, я обнаружил следующую картину:

Уже потом выяснилось, что в 16 числа была переделана мобильная версия сайта и туда просто забыли установить коды аналитики.

В конце хочу привести еще одну гипотетическую ситуацию, как применение контрольных карт может перевернуть взгляд на некоторые вещи с ног на голову.

Представьте, что у вас есть производство каких-нибудь мелких изделий. Вы решаете, что надо замерять количество бракованных деталей по каждому мастеру отдельно. Строите карты, высчитываете границы и начинаете следить изо дня в день.

Вдруг в какой-то день вы видите, что мастер Петр Иванович вышел за нижнюю границу или, говоря по-другому, сделал так мало брака, как никогда. Для вас это сигнал — надо выяснить, что же такого в этот день случилось с Петром Ивановичем, чего никогда раньше не было?

Вы выходите из своего офиса, спрашиваете людей и выясняется, что мастер пришел на работу немного «под мухой». И в таком состоянии у него руки не трясутся, он спокойно и невозмутимо делает свою работу.

Что же это получается? Вместо того, чтобы оштрафовать мастера или уволить по статье, надо разрешить ему немного принимать утром на грудь! 🙂

Это, конечно, юмор (с бесконечным уважением к мастерам). Надеюсь, пример «как можно посмотреть на ситуацию с другого ракурса» понятен.

Хорошего дня и спасибо, что прочитали! Буду рад пообщаться в комментариях.

Если посмотреть на график с 8 по 11 февраля, то он тоже очень сильно просел, однако за границу не вышел. Поэтому и строится карта с вычислением границ, чтобы просто так не паниковать.
Конечно мы в метрику и без этого смотрим, только данные можно по разному анализировать

Можете сказать как будете отличать аномальное поведение графика от обычных колебаний? Или после каждого проседания графика панику разводить? Я просто не очень понимаю как вы по ощущениям будете решать проблемы

Хотя я не буду отрицать, что в случае с блогом Саши это действительно притяну для демонстрации. И это надо в первую очередь бизнесу самому, а не мне. Я всего для 3ех клиентов слежу так за данными

Хорошая статья! Саша молодец, что начал прокачивать медийно не только себя, но и сотрудников. Получается клево:)

Спасибо! Так мы давно уже это. Все свежие кейсы публикуются на разных площадках от имени моих ребят. В том числе на моем блоге про seo последние посты писали специалисты seo-отдела.

Астрологи объявили неделю годных статей на vc, а то последние пол года как не зайдёшь, так очередная поебота рерайченая от очередного нонейм агенства

не сказал бы, что это статья про контекстную рекламу. Основное применение карт Шухарта это скорее производство. Причем использовали их на крупных предприятиях типа мотороллы и джэнерал электрик

мы используем карты Шухарта для управления инцидентами Service Desk

Интересно узнать помогли ли они на практике Вам

Далеко не на все отрицательные изменения приходят уведомления. Например мой коллега из СЕО недавно писал статью про аффилированые сайты и там яндекс не то что не уведомляет, а вообще отрицает такое явление. Так что не всегда всё очевидно.
Да и с положительными изменениями не всегда маркетолог в курсе (надеюсь с этим спорить никто не станет).
Ну и еще раз скажу
Я согласен, что по метрике и так почти всегда очевидны проблемы. График метрики тут скорее для примера показан чтобы рассказать как считать это. А вот где и как применить решать уже управленцам.

«Почему вырос трафик?» в данном случае выход за контрольную границу означал бы, что случилось какое-то событие из-за которого трафик вырос настолько резко. Найти же это событие (обзор, отзыв или что-то еще из перечисленного Вами) как раз и надо. Хотя Вы и сами сказали, что маркетолог обычно в курсе таких вещей.

а вам несложно будет сослаться на статью? Очень любопытно почитать.

1. Метод учитывает вариант когда траффик постоянно растет?

Например раз в неделю увеличиваем рекламный бюджет в Директе на 5% и соответственно идет постоянный рост.

Плюс есть всплески от разовых акций.

2. За какой период брать данные, чтобы они были статистически достоверными?

3. Будет ли видно если идет несколько всплесков подряд?

Например, мы построили базовую модель.
Далее разовая реклама дала отклонение в 50% от верхней границы.
Потом еще одна реклама дала отклонение в 50% от верхней границы.
Третья реклама дала отклонения в 5% от верхней границы, но мы этого не видим, так как данные от первых двух всплесков изменили верхнюю границу.

Добрый вечер.
1) Тут надо разобраться за какой метрикой следим, когда увеличиваем бюджет на 5%? Если следим просто за количеством трафика, то он, конечно, рано или поздно перевалит за верхнюю границу. Хорошо это или плохо для Вас? Не очень понятно.

Или вы имеете ввиду можно ли отследить всплеск от разовой акции при постоянно растущем и так бюджете? Так должно будет показать.
Но тут такая вещь еще: график не всегда будет выходить за границы, если что-то случилось. Но вот если вышел, то надо искать причину.

2) Это очень хороший вопрос, на который я тоже пытался найти ответ. К сожалению прямого ответа найти не удалось, но в самом ГОСТе в примере берется выборка из 10 проб (ну или в нашем случае дней) (скрин таблицы из ГОСТа прикладываю).

3) Не очень понял «в 5% от верхней границы, но мы этого не видим, так как данные от первых двух всплесков изменили верхнюю границу.»
Если за границу вышло, то мы это увидим.
Тут бы какой-то живой пример что мы отслеживаем, что дала разовая реклама. А если она разовая, то исключать или делать ее постоянной никто не будет видимо, а тогда зачем нам оно? В общем 3ий вопрос я не очень понял

Источник