Ящик с усами в excel для чего

Предыстория. В связи с холодными днями в мае и июне 2017 г. я изучил климатические данные многолетних наблюдений, и хотел опубликовать заметку о статистическом взгляде на всё это безобразие. В качестве иллюстрации одной из своих идей я построил блочную диаграмму. Во время ее форматирования я обнаружил, что не вполне понимаю, по каким алгоритмам Excel рисует на ней границы квартилей. Углубившись в вопрос, я узнал много нового, о чем захотел поделиться с читателями блога. Но подумал, что описание тонких алгоритмов как бы повисает в воздухе, и поэтому решил начать с небольшого теоретического введения.

Рис. 1. Визуальное представление выборки: (а) диаграмма разброса показывает все элементы выборки; (б) 5-числовая сводка в виде графика ящик с усами

Скачать заметку в формате Word или pdf, примеры в формате Excel

5-числовая сводка данных

Изучая выборку, мы можем визуализировать все ее значения (рис. 1а), а можем научиться выражать в сжатом виде наиболее часто встречающиеся общие особенности. В последнем случае используют сводки данных. Сегодня наиболее популярными сводками (или статистиками) являются среднее значение и среднеквадратичное отклонение (подробнее см. Определение среднего значения, вариации и формы распределения. Описательные статистики). Однако, во-первых, так было не всегда, а во-вторых, не во всех случаях эти статистики лучше всего описывают выборку.

Любопытный пример приводит Нассим Николас Талеб (см. Черный лебедь. Под знаком непредсказуемости). Если вы определяете средний рост 100 человек, то нахождение среди этой сотни самого высокого человека в мире (2 м 72 см) не сильно изменит среднее значение. А вот если вы определяете среднее богатство 100 человек, то наличие среди них Билла Гейтса ($86,8 млрд.) полностью исказит картину. В этих случаях более релевантной сводкой является медиана.

Медиана – такое число, что ровно половина из элементов выборки больше него, а другая половина меньше него. Если случайные данные упорядочить по возрастанию, получится вариационный ряд. Если такой ряд содержит нечетное число элементов, то медиана – среднее из них; если четное, то медиана – половина суммы двух средних элементов.

В своей, уже ставшей классической, работе Анализ результатов наблюдений. Разведочный анализ Джон Тьюки предлагает 5-числовые сводки, которые включают: минимальное значение, первый квартиль, медиану, третий квартиль, максимальное значение. Процесс нахождения медианы, а затем квартилей можно представить себе, как складывание листа бумаги. Поэтому эти новые значения Тьюки называет сгибами (подробнее см. КВАРТИЛЬ: какие формулы расчета использует Excel). Чтобы представить 5-чиловую сводку визуально, Тьюки предлагает построить график ящик с усами (рис. 1б).

Диаграмма ящик с усами в Excel 2016

В предыдущих версиях Excel приходилось шаманить, чтобы представить статистические данные (см., например, Биржевая диаграмма, она же блочная, она же ящичная). В качестве альтернативы я иногда использовал R (см. Алексей Шипунов. Наглядная статистика. Используем R!). Сейчас же визуализация статистических данных выполняется в несколько кликов. Очень удобно! Вот только Microsoft почему-то сделал весьма краткое описание того, что же собственно отражают элементы диаграммы ящик с усами (см. поддержку MS). Восполним же этот пробел))

Построим диаграмму ящик с усами на основе данных о средних температурах июля за последние 30 лет (рис. 2).

Рис. 2. Основные настройки диаграммы ящик с усами

На рисунке под диаграммой рассчитана 5-числовая сводка. На диаграмме:

• нижний ус соответствует минимальному значению в выборке данных,
• низ ящика – 1-му квартилю,
• линия внутри ящика – медиане,
• верх ящика – 3-му квартилю,
• верхний ус – второму максимальному значению (выбросы не учитываются); если бы данные не содержали выброса, верхний ус соответствовал бы максимальному значению,
• опциально отдельными точками показаны выбросы.

Рассмотрим параметры ряда подробнее (см. Формат ряда данных на правой части рис. 2). Боковой зазор определяет ширину ящика и ширину горизонтальных границ усов, а также расстояние между ящиками, если их несколько (рис. 3). Параметр Показать внутренние точки – говорит сам за себя (рис. 4). Показать точки выбросов – любопытно, что Excel просто перестает показывать выбросы, при этом никак не меняет параметры ящика и усов (рис. 5). Показать средние метки – наряду с медианной линией отражает в виде крестика среднее арифметическое значение по выборке (рис. 6). Видно, что среднее арифметическое смещено относительно медианы вверх (в сторону выброса). Среднее арифметическое более чувствительно к выбросам по сравнению с медианой. Показать среднюю линию – соединяет средние значения разных категорий. У меня не получилось отразить эти линии. А у Дмитрия Езипова получилось.

Рис. 3. Боковой зазор: слева – 300%, справа – 100%

Рис. 4. Показать внутренние точки; слева параметр выключен, справа – включен

Рис. 5. Показать точки выбросов; слева параметр выключен, справа – включен

Рис. 6. Показать средние метки; слева параметр выключен, справа – включен

Какой метод расчета квартилей предпочесть

И, наконец, самый непонятный параметр форматирования диаграммы ящик с усами – Расчет квартиля. В сообществе статистиков нет единого мнения, по какому алгоритму считать квартили. В Excel используется два алгоритма. Если вы хотите в них досконально разобраться, рекомендую КВАРТИЛЬ: какие формулы расчета использует Excel. Если кратко, то в Excel есть две функции КВАРТИЛЬ.ИСКЛ() и КВАРТИЛЬ.ВКЛ(). Первая использует алгоритм эксклюзивной медианы, вторая – инклюзивной. Алгоритм расчета квартилей в первом случае дает значения чуть более далекие от медианы, т.е. ящик немного более вытянутый. Визуально это не разглядеть, и только если добавить подписи данных, то числа покажут этот эффект (рис. 7).

Рис. 7. Расчет квартиля: (а) эксклюзивная медиана, (б) инклюзивная медиана

Если вы обрабатываете данные в разных программах (Excel, R, SAS…), то для совместимости, наверное, лучше использовать квартили, рассчитанные по методу эксклюзивной медианы. Поскольку этот метод используется во всех продуктах, вы получите одинаковые числа в разных программах. Если же вы работаете только в Excel, я бы рекомендовал метод инклюзивной медианы. Он более чувствителен к выбросам, т.е. при прочих равных КВАРТИЛЬ.ВКЛ() определит точку как выброс при меньшем отклонении от медианы (рис. 8).

Рис. 8. (б) Точка, которая идентифицируется функцией КВАРТИЛЬ.ВКЛ(), как выброс, в то время, как (а) КВАРТИЛЬ.ИСКЛ() еще не считает эту точку выбросом

Зачем вам боксплот?

Сегодня поговорим про боксплоты и зачем они вам нужны. Боксплоты (box plots), которые переведены на русский как “ящик с усами” или “диаграмма размаха”. Ящик с усами для меня вообще что-то странное, поэтому я почти всегда называют их боксплоты. Придумал этот график Джон Тьюки еще в 70-е. Людям, хоть чуть знакомым со статистикой, его имя явно знакомо. А еще он придумал слова software и bit, ну и box plot разумеется.

Боксплот сделан для того, чтобы показывать распределение, но график уникальный, потому что помимо распределения он показывает медиану, квартили, минимум, максимум и выбросы. Неплохо для одного-то графика, да? Где, что находится можно посмотреть на картинке.

Зачем он вам? Это один из немногих графиков, позволяющий показать выбросы, а это то, что очень сильно влияет на ваи графики. На всякий случай напомню, что выбросы — это значения, очень сильно выделяющиеся из всей остальной массы ваших данных. А теперь представьте барчарт, который бы эти выбросы просто сложил. И вот покажу вам немного переделанный пример применения боксплотов, с которым я сама столкнулась и не дала их в обиду!

Допустим у вас есть контент-план (как у нормальной группы, не как у меня). И в нем у вас есть три типа постов, которые вы делаете, допустим: новости, шуточки и обзоры графиков. По ним собирается определенное количество лайков с каждого, и вы знаете, что новости обычно получают 5–7 лайков, шуточки чуть больше, а обзоры “не заходят” (только за редким исключением). Вот так это выглядело бы на боксплоте. Медианное количество лайков у новостей — 5, у шуточек — 6, а у обзоров — 2. А теперь смотрим на часть обзоров и видим сверху выбросы, две замечательные точки, которые говорят нам о том, что есть некоторые обзоры, которые “выстреливают” куда лучше остального контенте. То есть обзоры в принципе идут так себе, но если написать что-то полезное, то лайков соберете больше, чем с шуточек. Таким образом, вы увидели то, чего не увидели бы, не посмотрев на выбросы, и решили бы, что обзоры просто не очень и надо от них отказаться. А на самом деле, нужно понять, что это за выбросы и про что в выбросных постах написано.

На картинке есть еще пример, как из этого выглядел бы барчарт по сумме или даже среднему количеству лайков. Так что не бойтесь использовать разные графики, если они способны показать гораздо больше. Возможно, вам придется потратить время на их объяснение, но вы сможете увидеть то, чего не видели прежде

Диаграмма «ящик с усами» (boxplot) в Excel 2016

Excel 2016, как известно, обогатился новыми типами диаграмм. Одна такая, которая диаграмма Парето, уже была показана. В этот раз рассмотрим другую, чисто статистическую. Называется «ящик с усами» или «коробчатая диаграмма» (box-and-whiskers plot или boxplot).

Раньше я такие видел только в специализированных ПО, типа STATISTICA, и для того, чтобы нарисовать подобную диаграмму в Excel, нужно было изрядно потрудиться. Теперь она есть в стандартном наборе Excel.

Зачем нужна такая диаграмма? Допустим, есть выборка для анализа. А еще лучше несколько выборок, которые нужно сравнить. Для этого рассчитывают различные показатели. Однако к любому расчету всегда хочется добавить наглядности, чтобы мозг перешел в режим образного представления, а не довольствовался сухими цифрами и формулами. Поэтому основные характеристики ловко изображают на рисунке. Отличным вариантом будет как раз диаграмма «ящик с усами».

На рисунке показан формат по умолчанию. Как видно, сравниваются две выборки путем изображения двух «ящиков с усами».

Что здесь что обозначает?

Крестик посередине – это среднее арифметическое по выборке.

Линия чуть выше или ниже крестика – медиана.

Нижняя и верхняя грань прямоугольника (типа ящика) соответствует первому и третьему квартилю (значениям, отделяющим ¼ и ¾ выборки). Расстояние между 1-м и 3-м квартилем – это межквартильный размах (или расстояние).

Горизонтальные черточки на конце «усов» – максимальное и минимальное значение (без учета выбросов, см. ниже).

Отдельные точки – это выбросы, которые показываются по умолчанию. Если значение выходит за пределы 1,5 межквартильных размаха от ближайшего квартиля, то оно считается аномальным. Их можно скрыть (см. ниже настройки).

Во всей красе «ящик с усами» проявляется при сравнении выборок, в которых данные делятся на категории. Допустим, провели некоторый эксперимент среди мужчин и женщин. Есть данные до и после эксперимента по обоим полам. Для анализа потребуется вычислить различные показатели. А если к этому добавить диаграмму «ящик с усами», то результат будет весьма наглядным.

Отлично видно, что после проведения эксперимента данные по мужчинам в целом уменьшились, а данные среди женщин наоборот, увеличились. Это не значит, что выборки больше не нужно анализировать (сравнивать, проверять гипотезы и т.д.). Но наглядность сильно улучшает понимание. Перейдем к настройкам.

Настройки диаграммы «ящик с усами»

Общий вид диаграммы настраивается стандартно. Можно менять цвет, добавлять подписи и т.д. Для этого есть две контекстные вкладки на ленте (Конструктор и Формат). Но есть настройки, предназначенные специально для этой диаграммы.

Выбираем какой-либо ряд и жмем Ctrl+1. Либо два раза кликаем по какому-нибудь «ящику». Можно через правую кнопку Формат ряда данных…. Справа вылазит панель настроек.

Рассмотрим по порядку.

Боковой зазор – регулирует ширину ящиков и расстояние между ними.

Показывать внутренние точки. Если поставить галочку, то на оси, где расположены «усы», точками будут показаны все значения. Так хорошо видно распределение внутри групп.

Показывать точки выбросов – отражать экстремальные значения.

Выбросы – это точки, выходящие за пределы 1,5 межквартильных размаха.

Показать средние метки – среднее арифметическое (крестики). Стоят по умолчанию, но можно скрыть.

Показать среднюю линию – только для различных категорий. Показывает изменения по категориям.

Если добавить линии, то изменения после эксперимента станут видны еще лучше. В справке написано, что соединяются медианы, но на графике почему-то соединяются средние. Чудеса.

Инклюзивная медиана или эксклюзивная медиана. Инклюзивная медиана включает в «ящик» квартильные значения , а эксклюзивная медиана не включает. При выборе «эксклюзивной медианы» верх и низ «ящика» соответствует средней между квартильным и следующим (от центра) значением. По умолчанию стоит «эксклюзивная». Пусть стоит дальше. Причем тут медиана, вообще не понял, – речь ведь про квартиль. Думал, криво перевели, но в английской версии те же названия. В общем, здесь лучше ничего не менять.

Своевременное использование диаграммы «ящик-усы» может дать весьма ценную и наглядную информацию. Аналитику, который использует специализированные программы или трудоемкие настройки Excel, будет очень приятно иметь такую диаграмму под рукой.

Boxplots: Все, что вам нужно знать

Boxplots Используйте квартилы, чтобы показать, как распределен заданные данные. Нахождение распространения наших данных является неотъемлемой частью исследования анализа данных (EDA). Для этого у нас есть некоторые существующие инструменты, такие как Гистограммы и Плотность графиков Отказ

Но Boxplots предлагают некоторые серьезные преимущества за этими двумя.

Boxplots Упакуйте дополнительную информацию в очень маленькой поверхности и могут быть полезны при сравнении двух или более переменных на одном графике.

В этой статье мы узнаем, какие баллоны все о том, что их использование и как реализовать boxplot с помощью python.

Интерпретация бокса

Boxplots отображают распределение данных на основе пяти сводных статистических данных, а именно:

• Первый квартиль (Q1)
• Третий квартиль (Q3)
• минимально
• максимум
• посредственность

Он фокусируется на диапазоне значений в распределении.

1. Резюме предоставляется BoxPlots

• Медиана: Медиана – это среднее количество двух чисел. Это среднее значение набора данных.
• Первый квартиль (Q1) : Первый квартиль – это медиана данных указывает на левый медиана. Это также известно как 25-е место
• Третий квартиль (Q3): Третий квартиль – это медиана данных о том, как правильно медиана.
• Межструйный диапазон (IQR): Q3 – Q1 или данные между 25-го процентилем до 75-го процентиля.
• Минимум: Q1 -1.5 * IQR (исключая выбросы)
• Максимум: Q3 + 1.5 * IQR (исключая выбросы)

2. Выбросы

Boxplots действительно хороши в выходе в предоставленные данные. Наиболее распространенным методом для точечных выбросов с BoxPlots является 1.5 X IQR Правило Отказ

Любая точка данных меньше, чем q1 – 1.5xiqr и любая точка данных, превышающая Q3 + 1.5xiqr, считается выбросом.

Реализация боксов с Python

Boxplots могут быть построены с использованием многих библиотек поручения. Давайте проверим, как мы можем создавать Boxplots, используя Python.

Набор данных, который мы будем использовать, – это набор набора Titian, чтобы продемонстрировать построение, вы можете скачать DataSet здесь Отказ

1. Использование панда

Пандас иметь boxplot Метод вызывается dataframe Что просто требует столбцов, которые нам нужно построить в качестве входного аргумента.

Если наши данные имеют категорические значения в нем I.e. Gender и т. Д. Тогда Pandas может создавать boxplot на основе каждой категории. Давайте посмотрим, как это сделать.

Мы также можем пройти список более одного столбца для группировки данных на основе предоставленных столбцов, а затем создание блоков.

Когда NOTCH установлено значение TRUE, мы получаем выемки на BoxPlot, который показывает доверительные интервалы для медианного значения, по умолчанию он устанавливается на доверительный интервал 95%.

Использование boxplot Способ набора данных становится действительно быстрым, чтобы визуализировать баллоны.

2. Использование Meanborn

С Seborborn мы можем построить некоторые действительно хорошие баллоны качества публикации. Давайте направимся в это.

Предположим, теперь мы хотим, которые мы хотим в возрасте людей, которые выжили и потеряли свою жизнь и сгруппировали по признаку пола, Searborn BoxPlot имеет оттенок Аргумент, который полезен для этой цели.

3. Использование MATPLOTLIB

Несмотря на то, что мы можем создавать более эстетические участки с меньшим количеством строк кода с использованием библиотеки Seborn, но Seaborn на самом деле построен на вершине Матплотлиб Отказ У Matplotlib есть способ построить коробки и удобно называться как boxplot Отказ

Давайте создадим boxplots с помощью matplotlib.

Мы можем создавать BoxPlot из нескольких переменных, передавая их в виде списка.

Заключение

В этой статье мы исследовали бакплаты, их важность и то, для чего они используются. Мы также реализовали коды, чтобы создать наши собственные баллоны с использованием библиотек Pandas, Seanborn и Matplotlib соответственно. Счастливое обучение!