Надстройки для excel pivot query

Ваш браузер не поддерживает видео. Установите Microsoft Silverlight, Adobe Flash Player или Internet Explorer 9.

Быстрое получение аналитики

Благодаря Power Query (преобразованию Get & в Excel) и Power Pivot в Excel вы будете тратить меньше времени на управление данными и больше времени на влияние на производительность. Для ознакомления посмотрите это 2-минутное видео.

Попробуйте сами

Будь то небольшие наборы данных или большие наборы данных с миллионами строк, вы можете быстрее подключаться, очищать, анализировать и совместно использовать данные с помощью Power Query (преобразования get & в Excel) и Power Pivot.

Улыбающаяся женщина, учебное руководство по Excel

Вопросы и ответы

С Приложения Microsoft 365 для предприятий приложение Excel на Windows для компьютеров предлагает полные функции Power Query и Power Pivot, которые улучшают возможности аналитики и моделирования, используют расширенные возможности подключения к данным и эффективно совместно используют данные в Организации. Дополнительные сведения о доступности Power Query и Power Pivot см. в приведенных ниже сведениях и узнайте у ИТ-отдела, поддерживает ли ваш текущий план Office эти функции.

Дополнительные сведения см. в Приложения Microsoft 365 для предприятий.

Основные функции бизнес-аналитики

Базовые функции аналитики доступны в любой Microsoft 365 подписке или Office 2016. К таким функциям относятся сводные таблицы, срезы, диаграммы и возможности модели данных. С Power Query вы можете импортировать, формировать и объединять данные из файлов, баз данных и веб-сайтов. Поддержка базовой модели данных позволяет загружать данные в модель данных, автоматически обнаруживать связи, добавлять группирование времени и создавать меры DAX.

Дополнительные сведения о получении наилучшей производительности см. в разделе «Выбор между 64-разрядной или 32-разрядной версией Office.

Расширенные функции бизнес-аналитики

Функции расширенной аналитики доступны в Приложения Microsoft 365 для предприятий, Office 2019 Professional, Office 2019 Professional Plus и Excel 2019. Помимо базовых функций аналитики, вы можете использовать Power Query для импорта, формирования и объединения данных из корпоративных, больших данных и облачных источников данных, а также для совместного использования запросов. Поддержка расширенных моделей данных в Power Pivot включает специальный редактор моделирования данных, представления данных, вычисляемые столбцы DAX, ключевые показатели эффективности и иерархии.

Дополнительные сведения см. Power Query источникахданных в Excel версиях и где находится Power Pivot?

Excel 2016 для Mac и Excel 2019 для Mac имеют множество основных функций анализа, перечисленных выше: сводные таблицы, срезы, диаграммы и основные возможности импорта. У них еще нет Power Query Power Pivot, но мы постоянно улучшаем Excel mac. Excel для Microsoft 365 для Mac предлагает ограниченную поддержку Power Query.

Дополнительные сведения см. в Power Query в Excel для Mac.

Power Query предоставляет возможности быстрого и простого сбора данных и формирования. Power Query позволяет подключаться, объединять и уточнять источники данных в соответствии с потребностями анализа. Существует четыре этапа использования Power Query.

  • Подключение    Импортируйте данные и установите подключения к данным в облаке, в службе или локально.

  • Преобразовать    Формирование данных в соответствии со своими потребностями, в то время как исходный источник остается неизменным.

  • Объединить   Дальнейшее формирование данных путем их интеграции из нескольких источников для получения уникального представления в данных.

  • Нагрузки   Выполните запрос и сохраните его на листе или в модели данных.

Дополнительные сведения см. в Power Query Excel  Power Query справке Excel справке.

Возможность Power Pivot предназначена для эффективного анализа и создания сложных моделей данных. С помощью Power Pivot можно работать с большими объемами данных из различных источников одновременно, быстро анализировать их и распространять результаты. Вы можете использовать модель данных и коллекцию таблиц, чтобы создавать связи, сохраняемые в книге. Модель данных тесно интегрирована с другими функциями Excel, например таблицами и сводными таблицами, чтобы обеспечивать удобный интерфейс анализа.

Дополнительные сведения см. в начало работы power Pivot в Microsoft Excel.

Power BI — это набор инструментов бизнес-аналитики для предоставления подробных сведений обо всей вашей организации. С помощью Power BI Desktop вы можете подключаться к сотням источников данных, упрощать подготовку данных и выполнять специальный анализ. Вы также можете создавать отчеты и публиковать их в организации для использования в Интернете и на мобильных устройствах. Все пользователи могут создавать персонализированные информационные панели с использованием всестороннего представления организации. Имеются встроенные средства управления и обеспечения безопасности.

Дополнительные сведения см. в Power BI.

Excel 2016 и Power BI Desktop предоставляют уникальный для отрасли набор инструментов. Вместе они позволяют бизнес-аналитикам легко собирать, формировать, анализировать и наглядно изучать данные. Power BI — это набор инструментов бизнес-аналитики для предоставления подробных сведений обо всей вашей организации. Он помогает всем сотрудникам организации объединять данные из различных источников: книг Excel, локальных корпоративных данных, служб Azure и других популярных облачных решений, таких как Salesforce.com или Marketo, чтобы просматривать и совместно использовать информационные панели и интерактивные отчеты.

Дополнительные сведения см. в разделе «Анализ Excel для Power BI».

См. также

Справка по Power Query для Excel

Нужна дополнительная помощь?

Термины «Power Query», «Power Pivot», «Power BI» и прочие «пауэры» все чаще всплывают в статьях и материалах о Microsoft Excel. По моему опыту, далеко не все ясно представляют себе что скрывается за этими понятиями, как они между собой взаимосвязаны и как могут помочь простому пользователю Excel.

Давайте проясним ситуацию.

Power Query

Еще в 2013 году специально созданная группа разработчиков внутри Microsoft выпустила для Excel бесплатную надстройку Power Query (другие названия — Data Explorer, Get&Transform), которая умеет массу полезных для повседневной работы вещей:

  • Загружать данные в Excel из почти 40 различных источников, среди которых базы данных (SQL, Oracle, Access, Teradata…), корпоративные ERP-системы (SAP, Microsoft Dynamics, 1C…), интернет-сервисы (Facebook, Google Analytics, почти любые сайты).
  • Собирать данные из файлов всех основных типов данных (XLSX, TXT, CSV, JSON, HTML, XML…), как поодиночке, так и сразу оптом — из всех файлов указанной папки. Из книг Excel можно автоматически загружать данные сразу со всех листов.
  • Зачищать полученные данные от «мусора»: лишних столбцов или строк, повторов, служебной информации в «шапке», лишних пробелов или непечатаемых символов и т.п.
  • Приводить данные в порядок: исправлять регистр, числа-как-текст, заполнять пробелы, добавлять правильную «шапку» таблицы, разбирать «слипшийся» текст на столбцы и склеивать обратно, делить дату на составляющие и т.д.
  • Всячески трансформировать таблицы, приводя их в желаемый вид (фильтровать, сортировать, менять порядок столбцов, транспонировать, добавлять итоги, разворачивать кросс-таблицы в плоские и сворачивать обратно).
  • Подставлять данные из одной таблицы в другую по совпадению одного или нескольких параметров, т.е. прекрасно заменяет функцию ВПР (VLOOKUP) и ее аналоги.

Power Query встречается в двух вариантах: как отдельная надстройка для Excel 2010-2013, которую можно скачать с официального сайта Microsoft и как часть Excel 2016. В первом случае после установки в Excel появляется отдельная вкладка:

Отдельная вкладка Power Query

В Excel 2016 весь функционал Power Query уже встроен по умолчанию и находится на вкладке Данные (Data) в виде группы Получить и преобразовать (Get & Transform):

excel-2016-15.png

Возможности этих вариантов совершенно идентичны.

Принципиальной особоенностью Power Query является то, что все действия по импорту и трансформации данных запоминаются в виде запроса — последовательности шагов на внутреннем языке программирования Power Query, который лаконично называется «М». Шаги можно всегда отредактировать и воспроизвести повторно любое количество раз (обновить запрос).

Основное окно Power Query обычно выглядит примерно так:

Окно редактора запросов Power Query

По моему мнению, это самая полезная для широкого круга пользователей надстройка из всех перечисленных в этой статье. Очень много задач, для которых раньше приходилось либо жутко извращаться с формулами, либо писать макросы — теперь легко и красиво делаются в Power Query. Да еще и с последующим автоматическим обновлением результатов. А учитывая бесплатность, по соотношению «цена-качество» Power Query просто вне конкуренции и абсолютный must have для любого средне-продвинутого пользователя Excel в наши дни.

Power Pivot

Power Pivot — это тоже надстройка для Microsoft Excel, но предназначенная немного для других задач. Если Power Query сосредоточена на импорте и обработке, то Power Pivot нужен, в основном, для сложного анализа больших объемов данных. В первом приближении, можно думать о Power Pivot как о прокачанных сводных таблицах.

Вкладка надстройки Power Pivot

Общие принципы работы в Power Pivot следующие:

  1. Сначала мы загружаем данные в Power Pivot — поддерживается 15 различных  источников: распространенные БД (SQL, Oracle, Access…), файлы Excel, текстовые файлы, веб-каналы данных. Кроме того, можно использовать Power Query как источник данных, что делает анализ почти всеядным.
  2. Затем между загруженными таблицами настраиваются связи или, как еще говорят, создается Модель Данных. Это позволит в будущем строить отчеты по любым полям из имеющихся таблиц так, будто это одна таблица. И никаких ВПР опять же.
  3. При необходимости, в Модель Данных добавляют дополнительные вычисления с помощью вычисляемых столбцов (аналог столбца с формулами в «умной таблице») и мер (аналог вычисляемого поля в сводной). Всё это пишется на специальном внутреннем языке Power Pivot, который называется DAX (Data Analysis eXpressions).
  4. На листе Excel по Модели Данных строятся интересующие нас отчеты в виде сводных таблиц и диаграмм.

Главное окно Power Pivot выглядит примерно так:

Главное окно Power Pivot

А так выглядит Модель Данных, т.е. все загруженные таблицы с созданными связями:

Модель Данных Power Pivot

У Power Pivot есть ряд особенностей, делающих её уникальным инструментом для некоторых задач:

  • В Power Pivot нет предела по количеству строк (как в Excel). Можно грузить таблицы любого размера и спокойно работать с ними.
  • Power Pivot очень хорошо умеет сжимать данные при загрузке их в Модель. 50 Мб исходный текстовый файл может легко превратиться в 3-5 Мб после загрузки.
  • Поскольку «под капотом» у Power Pivot, по сути, полноценный движок базы данных, то с большими объемами информации он справляется очень быстро. Нужно проанализировать 10-15 млн. записей и построить сводную? И все это на стареньком ноутбуке? Без проблем!

К сожалению, пока что Power Pivot входит не во все версии Excel. Если у вас Excel 2010, то скачать её можно бесплатно с сайта Microsoft. А вот если у вас Excel 2013-2016, то всё зависит от вашей лицензии, т.к. в некоторых вариантах она включена (Office Pro Plus, например), а в некоторых нет (Office 365 Home, Office 365 Personal и т.д.) Подробнее об этом можно почитать тут.

Power Maps

Эта надстройка впервые появилась в 2013 году и первоначально называлась GeoFlow. Она предназначена для визуализации гео-данных, т.е. числовой информации на географических картах. Исходные данные для отображения берутся все из той же Модели Данных Power Pivot (см. предыдущий пункт).

Окно Power Map

Демо-версию Power Map (почти не отличающуюся от полной по возможностям, кстати) можно совершенно бесплатно загрузить опять же с сайта Microsoft. Полная же версия включена в некоторые пакеты Microsoft Office 2013-2016 вместе с Power Pivot — в виде кнопки 3D-карта на вкладке Вставка (Insert — 3D-map):

Кнопка запуска Power Map

Ключевые особенности Power Map:

  • Карты могут быть как плоскими, так и объемными (земной шар).
  • Можно использовать несколько разных типов визуализации (гистограммы, пузырьковые диаграммы, тепловые карты, заливку областями).
  • Можно добавлять измерение времени, т.е. анимировать процесс и смотреть на него в развитии.
  • Карты подгружаются из сервиса Bing Maps, т.е. для просмотра нужен весьма шустрый доступ в интернет. Иногда возникают сложности с правильным распознаванием адресов, т.к. названия в данных не всегда совпадают с Bing Maps.
  • В полной (не демо) версии Power Map можно использовать собственные загружаемые карты, например визуализировать посетителей торгового центра или цены на квартиры в жилом доме прямо на строительном плане.
  • На основе созданных гео-визуализаций можно прямо в Power Map создавать видеоролики (пример), чтобы поделиться ими потом с теми, у кого надстройка не установлена или включить в презентацию Power Point.

Power View

Эта надстройка появилась впервые в составе Excel 2013 и предназначена для «оживления» ваших данных — построения интерактивных графиков, диаграмм, карт и таблиц. Иногда для этого используют термины дашборд (dashboard) или панель показателей (scorecard). Суть в том, что вы можете вставить в ваш файл Excel специальный лист без ячеек — слайд Power View, куда добавить текст, картинки и массу различного типа визуализаций по вашим данным из Модели Данных Power Pivot.

Выглядеть это будет примерно так:

powerview.gif

Нюансы тут такие:

  • Исходные данные берутся всё оттуда же — из Модели Данных Power Pivot.
  • Для работы с Power View необходимо установить на вашем компьютере Silverlight — майкрософтовский аналог Flash (бесплатный).

На сайте Microsoft, кстати, есть весьма приличный обучающий курс по Power View на русском языке.

Power BI

В отличие от предыдущих, Power BI — это не надстройка для Excel, а отдельный продукт, представляющий собой целый комплекс средств для бизнес- анализа и визуализации. Он состоит из трех ключевых элементов:

1. Power BI Desktop — программа для анализа и визуализации данных, включающая в себя, помимо прочего, весь функционал надстроек Power Query и Power Pivot + улучшенные механизмы визуализации из Power View и Power Map. Скачать и установить её можно совершенно бесплатно с сайта Microsoft.

Сайт Power BI Service

В Power BI Desktop можно:

  • Загружать данные из более чем 70 различных источников (как в Power Query + дополнительные коннекторы).
  • Связывать таблицы в модель (как в Power Pivot)
  • Добавлять к данным дополнительные вычисления с помощью мер и вычисляемых столбцов на DAX (как в Power Pivot)
  • Создавать на основе данных красивейшие интерактивные отчеты с разного типа визуализациями (очень похоже на Power View, но еще лучше и мощнее).
  • Публиковать созданные отчеты на сайте Power BI Service (см. следующий пункт) и делиться ими с коллегами. Причем есть возможность давать разные права (чтение, редактирование) разным людям.

2. Онлайн-сервис Power BI — упрощенно говоря, это сайт, где у вас и у каждого пользователя в вашей компании будет своя «песочница» (workspace) куда можно загружать созданные в Power BI Desktop отчеты. Помимо просмотра, позволяет их даже редактировать, воспроизводя онлайн почти весь функционал Power BI Desktop. Также сюда можно заимствовать отдельные визуализации из чужих отчетов, собирая из них свои авторские дашборды.

Выглядит это примерно так:

Сайт Power BI Service

3. Power BI Mobile — приложение для iOS / Android / Windows для подключения к Power BI Service и удобного просмотра (не редактирования) созданных отчетов и дашбордов прямо на экране телефона или планшета. Скачать его (совершенно бесплатно) можно тут.

На iPhone, например, созданный выше отчет выглядит так:

Отчет в Power BI Mobile

Причем всё это с сохранением интерактивностии и анимации + заточенность под тач и рисование по экрану пером. Очень удобно. Таким образом, бизнес-аналитика становится доступной всем ключевым лицам компании в любой момент и в любом месте — нужен только доступ в интернет.

Тарифные планы Power BI. Power BI Desktop и Mobile бесплатны изначально, большинство функций Power BI Service — тоже. Так что для персонального использования или применения в пределах небольшой компании за всё вышеперечисленное не нужно платить ни копейки и можно смело оставаться на плане Free. Если вы хотите делиться отчетами с коллегами и администрировать их права доступа, то придется перейти на Pro (10$ в месяц за пользователя). Есть еще Premium — для больших компаний (>500 пользователей), которым требуются для данных отдельные хранилища и серверные мощности.

Ссылки по теме

  • Проектная диаграмма Ганта в Excel с помощью Power Query
  • Как создать в Excel базу данных с помощью Power Pivot
  • Визуализация движения по маршруту на карте в Power Map

Power Query и Power Pivot — надстройки Excel для легкой работы с тяжелыми файлами. С помощью Power Query можно подключать и обрабатывать источники информации произвольного вида, а в Power Pivot – выполнять сложные расчеты и создавать модель данных.

power query, power pivot

Надстройка Power Query

Появление Power Query – одно из важных событий в истории развития Excel. То, что раньше пользователи делали в Excel с помощью рутинных операций по преобразованию данных, писали огромные формулы или макросы на VBA, теперь можно выполнять буквально в несколько щелчков мышкой.

Power Query – это надстройка для создания запросов по импорту, очистке и преобразованию данных.

Power Query сам автоматически генерирует и записывает код запросов на языке M.Но это вовсе не значит, что пользователям нужно писать код – интерфейс Power Query очень понятный и позволяет выполнять операции только с помощью мышки. Большинство операций по преобразованию данных в нем можно выполнить, не написав ни одной строчки кода. Все запросы Power Query записываются и сохраняются, поэтому при последующих подключениях повторять операции еще раз не нужно – они выполнятся автоматически после нажатия на кнопку в меню Данные  Обновить.

Как работает

В привычном нам виде Power Query впервые появился в Excel 2013. В Excel 2010 и 2013 надстройка отображается в виде отдельной вкладки «Power Query».

pp3

В Excel 2016 надстройка уже встроена по умолчанию, на вкладке Данные – раздел «Скачать и преобразовать».

Power Query в Excel 2016

В версии Excel 2019 на вкладке Данные разделы с Power Query — «Получить и преобразовать данные» и «Запросы и подключения».

Power Query в Excel 2019

Возможности Power Query

  • Из Excel можно напрямую подключаться к самым различным источникам данных: файлы excel, csv, базы данных, папки и т.д.
  • Данные в подключенных источниках можно преобразовывать самыми различными способами: сортировать, фильтровать, заменять, делать расчеты, объединять и т.д.
  • Преобразованные данные можно импортировать: выгружать на лист, в сводную таблицу, сразу в модель данных (в Power Pivot). Или не выгружать, а просто сохранить запрос.

Операции по преобразованию данных выполняются в окне редактора запросов.

Окно редактора запросов

В редакторе Power Query пользователь работает с данными – выполняет преобразования, а его действия автоматически записываются в виде шагов запроса.

О том, как работать в редакторе запросов, читайте в следующей статье.

Как скачать Power Query

Надстройка устанавливается бесплатно и доступна для Excel начиная с версий 2010 года:

  • для Excel 2010 и 2013 скачивается с сайта Microsoft;
  • для Excel версии после 2016 года ничего скачивать и устанавливать не нужно, так как эта надстройка идет в составе всех лицензий.

Надстройка Power Pivot

Те, кто часто пользуются сводными таблицами, понимают, насколько они удобны и эффективны в работе.

Power Pivot — это надстройка Excel, в которой можно выполнять улучшенные вычисления для сводных таблиц с помощью DAX-формул. Power Pivot значительно расширяет функционал сводных таблиц и позволяет работать с большими объемами данных – в десятки миллионов строк.

Как работает

Вкладка меню Power Pivot во всех версиях Excel, начиная с 2010, выглядит одинаково. Чтобы открыть окно Power Pivot, нажмите в меню Power Pivot Управление. Если вкладки Power Pivot у вас в меню нет, проверьте, та ли у вас версия Excel. И возможно, вам потребуется добавить эту вкладку в меню.

меню Power Pivot в эксель

Возможности Power Pivot

  • Power Pivot позволяет обращаться из одной сводной таблицы к данным из нескольких таблиц без формулы ВПР. Это возможно благодаря объединению таблиц в модель данныхс помощью связей.
  • Импорт более 100 миллионов строк в рабочую книгу. При работе в «обычном» Excel у пользователей есть ограничения по размеру таблиц – размер листа, то есть чуть больше 1 млн строк. В Power Pivot такого ограничения нет и в него можно загружать миллионы строк. Единственное ограничение по объему — размер файла книги, равный 2 Гбайт, и объем оперативной памяти.
  • Благодаря алгоритму сжатия данных в Power Pivot объем файла становится меньше, чем в источнике. Например, текстовый файл объемом 50 Мбайт может сжиматься до 4 Мбайт, занимаемых файлом Excel с таблицей.
  • Создание улучшенных формул для сводных таблиц с помощью языка DAX.
    В Power Pivot можно писать DAX-формулы для продвинутого анализа в столбцах и создавать меры — вычисления под таблицей.

Кстати, в Power Pivot есть свои инструменты для импорта данных, но из небольшого числа источников – некоторые базы данных, файлы Excel и текстовые и др. Эти инструменты можно найти на вкладке Главная. Так как доступных источников данных не очень много, то, как правило, в качестве источника для него выступает Power Query, функционал которого по подключению намного больше.

Увидеть все загруженные данные можно в нижней части окна Power Pivot – ярлычки с названиями таблиц находятся там же, где названия листов в «обычном» Excel.

Power Pivot в Excel

Здесь же в меню Главная Представление диаграммы можно перейти в представление, где создаются связи в модели данных. Создавать связи в этой области очень просто – с помощью «перетаскивания» полей: выбираем нужное поле мышкой и переносим его на соответствующее поле другой таблицы.

Модель данных в Excel

Power Pivot поддерживает типы связей «один к одному» и «один ко многим» («многие к одному»).

Перейти обратно от модели данных к таблицам можно в меню Главная Представление данных. В представлении в виде таблиц удобно делать вычисления с помощью DAX-формул, которые очень похожи на обычные формулы Excel.

DAX-формулы пишут в столбцах таблиц – создают вычисляемые столбцы. Или в области вычислений под таблицей, такие объекты называются меры.

Еще в Power Pivot можно создавать ключевые показатели эффективности (KPI) – автоматические светофоры, которые будут выводиться в сводной таблице. KPI в Power Pivot – это расширение функционала для мер.

Язык DAX используется не только в Power Pivot в Excel, но и в Power BI и Analysis Services. Подробнее о DAX можно прочитать в наших следующих статьях.

Как скачать Power Pivot

Надстройка Power Pivot есть не во всех версиях Excel:

  • Power Pivot для Excel 2010 года скачивается бесплатно с сайта Microsoft. К сожалению, в Excel 2010 Power Pivot почти невозможно «подружить» с Power Query, и этот новый функционал в старом Excel сильно ограничен.
  • В Excel 2013 и 2016 года Power Pivot идет в составе программы, но не во всех лицензиях. Так, в Office Pro Plus и Office 2019 надстройка есть. Узнать, какие именно версии Office включают Power Pivot, можно здесь.

Кстати, отличная новость – компания Microsoft анонсировала включение Power Pivot во все версии Excel, начиная с версий после 2019 года. Так что теперь Power Pivot всегда будет под рукой.

Если с версией Excel все в порядке, а вкладки Power Pivot в меню нет, то ее нужно добавить в меню с помощью окна Управления надстройками (как это сделать – смотрите далее).

Как добавить Power Query и Power Pivot в меню

В зависимости от того, какая у вас версия Excel, вам может потребоваться перед первым использованием добавить надстройки Power Query и Power Pivot в меню.

Если в меню Excel у вас нет надстроек, то нужно их добавить в окне Управления надстройками:
Файл → Параметры → Надстройки → в Выпадающем меню выбрать → Надстройки COM → Перейти → в открывшемся окне выбрать надстройки.

Как надстройки помогают в создании отчетов Excel

Надстройки Power Query и Power Pivot дополняют друг друга и отлично работают вместе со сводными таблицами, позволяя пользователям создавать в Excel аналитические отчеты. Как правило, используется последовательность работы с данными в таком порядке:

  • с помощью Power Query подключают и обрабатывают источники данных;
  • из Power Query плоские таблицы загружаются прямо в Power Pivot, минуя ограничение по количеству строк листа Excel;
  • в Power Pivot выполняют сложные расчеты и создают модель данных;
  • отчеты создаются с помощью сводных таблиц, диаграмм и элементов управления (временной шкалы и срезов).

pp5

Отчеты по такой схеме настраиваются один раз и при последующем изменении данных преобразования и вычисления выполнятся автоматически, после нажатия на кнопку в меню Данные → Обновить.

Надстройки в Excel и Power BI

Огромное преимущество надстроек Power Query и Power Pivot – они есть не только в Excel, но и в Power BI. Поэтому на тренингах я обычно говорю слушателям, что мы изучаем сразу две программы.

Интерфейс надстроек в обеих программах очень похож, но функционал Power BI все-таки опережает Excel (сразу уточню, что сравниваю только инструменты Power Query и Power Pivot). Например, Power BI поддерживает больше источников данных и доступны связи «многие-ко-многим», которых в Excel нет.

Для сравнения – интерфейс Power Query в обеих программах выглядит практически одинаково:

Окно редактора запросов

Power Query в Excel

Редактор запросов в Power BI

Power Query в Power BI

Power Pivot в целом также работает одинаково в Excel и Power BI, кроме ряда некоторых нюансов. Например, так выглядит окно настройки модели данных:

Модель данных в Excel

Модель данных в Excel

Модель данных в Power BI

Модель данных в Power BI

Кстати, если у вас есть файл Excel, в котором вы настраивали аналитику с помощью Power Query и Power Pivot, то его содержимое можно перенести в Power BI. Это делается в Power BI: меню Файл → Импортировать → выберите «Power Query, Power Pivot, Power View». После пары вопросов и некоторых «размышлений» запросы и вычисления из Excel будут перенесены в Power BI.

В общем, надстройки Power Query и Power Pivot – это суперсила (от слова power) Excel, которые переносят возможности аналитики в этой программе на новый уровень. С их помощью пользователи могут создавать отчеты с вычислениями на основе разных источников, без ограничений по объему данных в размер одного листа в миллион строк. Плюс, компания Microsoft включает эти инструменты и в другие свои продукты, так что понимание того, как они работают, вам точно пригодится.

Power Pivot — встроенный инструмент Excel для обработки и анализа больших объёмов данных. С помощью неё в Excel загружают данные из нескольких источников разных форматов, моделируют их в одну базу и работают с ней дальше.

В Power Pivot нет ограничений по количеству строк. Excel позволяет работать только с 1 048 000 строк, а в Power Pivot их может быть гораздо больше. При этом производительность программы не уменьшается.

Поэтому Power Pivot точно пригодится в случаях, когда стандартный Excel не справляется с количеством данных и их форматами.

В статье разберёмся:

  • для чего нужна и как работает надстройка Power Pivot;
  • как загрузить данные из внешних источников в Power Pivot;
  • как смоделировать данные в Power Pivot и создать базу данных;
  • как узнать больше о работе в Excel.

Как мы сказали выше, Power Pivot расширяет стандартные возможности Excel и позволяет обрабатывать большое количество данных из разных источников.

Power Pivot — бесплатная надстройка для Excel. Для Excel 2010 года её нужно загружать отдельно с сайта Microsoft. Для версий после 2013 года она встроена в стандартную функциональность программы. К сожалению, Power Pivot не предусмотрен для macOS-версии Excel.

Работа в Power Pivot проходит в таком порядке:

  • Загружаем данные из разных источников — например, из базы данных Microsoft Access, «1C», из текстовых файлов или электронных таблиц, из интернета.
  • Настраиваем связи между загруженными данными — создаём модель данных. Для этого не нужна функция ВПР или другие поисковые функции Excel — в Power Pivot свои инструменты для объединения данных.
  • Проводим дополнительные вычисления — при необходимости.
  • Power Pivot строит на основе моделей данных необходимые отчёты — в виде сводных таблиц или диаграмм.

В следующих разделах разберём на примере, как загружать данные из внешних источников в Power Pivot, как их моделировать. А также покажем, как на основании этих данных создать отчёт в форме сводной таблицы.

Предположим, у нас есть четыре файла разных форматов:

  • данные о продажах книжного издательства → в формате TXT;
  • справочник регионов → в виде базы данных в Access;
  • справочник товаров → в XLS;
  • ценовая политика → на слайде Power Point.

Файлы с источниками данных
Скриншот: курс Skillbox «Excel + Google Таблицы с нуля до PRO»

Данные о продажах. Это таблица с четырьмя столбцами — город, ID товара, дата продажи и количество проданных единиц — и более чем полутора миллионами строк.

Так выглядят данные о продажах
Скриншот: курс Skillbox «Excel + Google Таблицы с нуля до PRO»

Справочник регионов. В файле одна таблица, в которой перечислены все города России, субъекты и округа.

Так выглядит справочник регионов
Скриншот: курс Skillbox «Excel + Google Таблицы с нуля до PRO»

Справочник товаров. В этой таблице перечислены названия книг, их формат и ID‑номер.

Так выглядит справочник товаров
Скриншот: курс Skillbox «Excel + Google Таблицы с нуля до PRO»

Ценовая политика. Это слайд, где указаны актуальные цены на книги разных форматов.

Так выглядят данные о ценовой политике издательства
Скриншот: курс Skillbox «Excel + Google Таблицы с нуля до PRO»

Наша задача — связать данные из этих источников в одну базу. Для начала нужно загрузить эти данные в Power Pivot.


Для этого потребуется разблокировать вкладку «Разработчик». Переходим во вкладку «Файл» и выбираем пункты «Параметры» → «Настройка ленты». В открывшемся окне в разделе «Основные вкладки» находим пункт «Разработчик», отмечаем его галочкой и нажимаем кнопку «ОК» → в основном меню Excel появляется новая вкладка «Разработчик».

Теперь на этой вкладке нажимаем кнопку «Настройки COM», в появившемся окне выбираем Microsoft Power Pivot for Excel и жмём «ОК».

Активируем настройку Microsoft Power Pivot for Excel
Скриншот: курс Skillbox «Excel + Google Таблицы с нуля до PRO»

Готово — на панели появилась отдельная вкладка Power Pivot.


Для этого переходим на вкладку Power Pivot и нажимаем на кнопку «Управление».

Переходим в отдельное окно Power Pivot
Скриншот: курс Skillbox «Excel + Google Таблицы с нуля до PRO»

Готово — открылось окно Power Pivot. Оно относится к файлу Excel, через который мы его открыли.

Так выглядит окно Power Pivot
Скриншот: курс Skillbox «Excel + Google Таблицы с нуля до PRO»

В этом окне нам нужно собрать данные из наших четырёх источников и настроить связи между ними.


На вкладке «Главная» нажимаем кнопку «Из базы данных» и выбираем «Из Access».

Выгружаем данные из базы данных
Скриншот: курс Skillbox «Excel + Google Таблицы с нуля до PRO»

В появившемся окне в поле «Имя базы данных» прописываем адрес, где хранится файл Access со справочником регионов, — адрес можно найти через кнопку «Обзор».

Если база данных зашифрована, в этом же окне нужно ввести имя пользователя и пароль.

Нажимаем «Далее».

Вводим адрес, где хранится нужная база данных
Скриншот: курс Skillbox «Excel + Google Таблицы с нуля до PRO»

В следующем окне появляется список всех таблиц, которые хранятся в выбранной базе данных.

В нашем случае она одна — «Справочник регионов». Выбираем её и нажимаем «Готово».

Выбираем таблицу, которую нужно выгрузить из базы данных
Скриншот: курс Skillbox «Excel + Google Таблицы с нуля до PRO»

Начинается импорт выбранной таблицы в Power Pivot. После этого появляется окно с результатом. Проверяем информацию и нажимаем «Закрыть».

Результат импорта таблицы из базы данных в Power Pivot
Скриншот: курс Skillbox «Excel + Google Таблицы с нуля до PRO»

Готово — первые данные загрузились в Power Pivot. В окне появился отдельный лист «Справочник регионов», на нём отражена та же таблица, что была и во внешнем источнике.

Таблица из базы данных Access появилась в Power Pivot
Скриншот: курс Skillbox «Excel + Google Таблицы с нуля до PRO»

На вкладке «Главная» нажимаем кнопку «Из других источников». В появившемся окне выбираем «Текстовый файл» и нажимаем «Далее».

Выгружаем данные из текстового файла
Скриншот: курс Skillbox «Excel + Google Таблицы с нуля до PRO»

В появившемся окне в поле «Имя базы данных» прописываем адрес, где хранится текстовый файл с данными о продажах.

После этого в нижней части окна появляется предпросмотр таблицы из источника данных.

При необходимости корректируем настройки — например, меняем вид разделителя столбцов или отключаем ненужные графы таблицы. Затем нажимаем «Готово».

Вводим адрес, где хранится текстовый файл, и выставляем нужные настройки
Скриншот: курс Skillbox «Excel + Google Таблицы с нуля до PRO»

Начинается импорт выбранной таблицы из текстового файла в Power Pivot. После этого появляется окно с результатом. Проверяем информацию и нажимаем «Закрыть».

Результат импорта таблицы из текстового файла в Power Pivot
Скриншот: курс Skillbox «Excel + Google Таблицы с нуля до PRO»

Готово — в окне Power Pivot появилась вторая вкладка «Продажи» — на ней более полутора миллионов строк. Напомним, в Excel без надстройки могло бы поместиться около миллиона.

Таблица из текстового файла появилась в Power Pivot
Скриншот: курс Skillbox «Excel + Google Таблицы с нуля до PRO»

По аналогии с предыдущим шагом на вкладке «Главная» нажимаем кнопку «Из других источников». Во всплывшем окне выбираем «Файл Excel» и нажимаем «Далее».

В появившемся окне в поле «Имя базы данных» прописываем адрес, по которому хранится файл Excel со справочником товаров. Нажимаем «Далее»,

Вводим адрес, по которому хранится нужный файл Excel
Скриншот: курс Skillbox «Excel + Google Таблицы с нуля до PRO»

В следующем окне появляется список всех таблиц, которые хранятся в выбранной базе данных.

В нашем случае она одна — «Справочник товаров». Выбираем её и нажимаем «Готово».

Снова происходит импорт и появляется окно с результатом.

Результат импорта таблицы из файла Excel в Power Pivot
Скриншот: курс Skillbox «Excel + Google Таблицы с нуля до PRO»

В окне Power Pivot появилась третья вкладка «Справочник товаров». Также со всеми данными, которые хранились в первоисточнике — внешнем файле Excel.

Таблица из файла Excel появилась в Power Pivot
Скриншот: курс Skillbox «Excel + Google Таблицы с нуля до PRO»

В этом случае выгрузить данные можно только методом «копировать — вставить».

Открываем файл Power Point, содержащий ценовую политику. Выделяем таблицу, нажимаем правую кнопку мыши и выбираем «Скопировать».

Копируем таблицу из файла Power Point
Скриншот: курс Skillbox «Excel + Google Таблицы с нуля до PRO»

Затем возвращаемся в окно Power Pivot и на любой вкладке нажимаем кнопку «Вставить» на главной панели.

Нажимаем кнопку «Вставить», чтобы получить данные из Power Point
Скриншот: курс Skillbox «Excel + Google Таблицы с нуля до PRO»

В появившемся окне вводим имя таблицы — «Цены» — и нажимаем «ОК».

Даём имя таблице из Power Point
Скриншот: курс Skillbox «Excel + Google Таблицы с нуля до PRO»

Готово — в окне Power Pivot появилась четвёртая вкладка «Цены».

Таблица из файла Power Point появилась в Power Pivot
Скриншот: курс Skillbox «Excel + Google Таблицы с нуля до PRO»

Важно понимать, что при таком варианте выгрузки данных — копировании и вставке — таблица не будет обновляться, если внести изменения в исходный файл Power Point.

В предыдущих трёх вариантах — при загрузке таблиц из базы данных, текстового файла и файла Excel — в случае изменения данных в исходных файлах они также изменятся и в Power Pivot. Ниже показываем, как это сделать.


Для этого на главной панели любой вкладки нужно нажать кнопку «Обновить», затем «Обновить все».

Нажимаем сюда, чтобы обновить данные из внешних источников
Скриншот: курс Skillbox «Excel + Google Таблицы с нуля до PRO»

Появится окно, где будет видно, какие вкладки обновляются. В нашем случае это только первые три вкладки.

Обновление проходит быстро — примерно за 10–15 секунд обновляются три вкладки, в одной из которых более полутора миллионов строк.

Файл из Power Point придётся обновлять вручную.

Power Pivot обновляет данные из внешних источников
Скриншот: курс Skillbox «Excel + Google Таблицы с нуля до PRO»

В предыдущем разделе мы загрузили данные из внешних источников в Power Pivot. Сейчас у нас есть четыре вкладки, в которых хранятся четыре таблицы: «Справочник регионов», «Продажи», «Справочник товаров», «Цены».

Задача этого этапа — связать данные всех таблиц так, чтобы можно было анализировать информацию одновременно по всем столбцам.


Для этого на главной вкладке окна Power Pivot нажмём кнопку «Представление диаграммы».

Меняем режим представления данных в Power Pivot
Скриншот: курс Skillbox «Excel + Google Таблицы с нуля до PRO»

В этом режиме отображения каждая таблица показана в виде прямоугольника, в котором перечислены её столбцы. Для удобства эти прямоугольники можно двигать и менять местами.

В этом же режиме отображения в Power Pivot настраивают связи между таблицами.


Первая связь. В таблице «Продажи» есть столбец «Город», но нет столбцов «Субъекты» и «Округ». Все эти столбцы, включая столбец «Город», есть в таблице «Справочник регионов».

Соответственно, чтобы объединить данные этих двух таблиц, нужно создать связь по столбцу «Город». Для этого нужно зажать мышкой такой столбец в одной из таблиц и перетянуть его во вторую таблицу. Между таблицами появится линия.

Чтобы создать связь между таблицами, нужно столбец из одной таблицы притянуть к столбцу из другой
Скриншот: курс Skillbox «Excel + Google Таблицы с нуля до PRO»

Готово — между таблицами «Справочник регионов» и «Продажи» появилась связь по столбцу «Город». Теперь у каждой строки продаж будет указан не только город, но также субъект и округ.

Между таблицами появилась связь по одному столбцу
Скриншот: курс Skillbox «Excel + Google Таблицы с нуля до PRO»

Вторая связь. В таблице «Продажи» есть столбец «Товар», где перечислены ID‑номера книг, но нет названий книг и их форматов. Все эти данные находятся в таблице «Справочник товаров».

По аналогии с предыдущей связью построим связь между столбцом «Товар» в таблице «Продажи» и столбцом «ID товара» в таблице «Справочник товаров».

Строим связь по столбцам с ID-номерами товаров
Скриншот: курс Skillbox «Excel + Google Таблицы с нуля до PRO»

Названия столбцов, по которым строят связи между таблицами, не обязательно должны быть одинаковыми. Главное, чтобы в таких столбцах хранилась аналогичная информация. В нашем случае это ID-номера книг.

При этом Power Pivot не проверяет самостоятельно, правильно ли настроена связь — совпадают ли данные столбцов двух таблиц, — поэтому проводить связи между таблицами нужно внимательно.

Третья связь. Теперь к уже объединённым данным нужно добавить цены. Они хранятся в четвёртой таблице. Настроим связь между ней и таблицей «Справочник товаров» по столбцу «Формат».

Благодаря этой связи в «Справочнике товаров» появится информация о ценах на книги.

Строим связь по столбцам с форматами книг
Скриншот: курс Skillbox «Excel + Google Таблицы с нуля до PRO»

Готово. Мы построили модель из четырёх таблиц из разных источников и связали данные этих таблиц по идентичным столбцам. Чтобы увидеть результат, нужно создать сводную таблицу.


На главной вкладке нажимаем кнопку «Сводная таблица».

Нажимаем сюда, чтобы создать сводную таблицу
Скриншот: курс Skillbox «Excel + Google Таблицы с нуля до PRO»

Дальше выбираем, на каком листе нужно создать сводную таблицу — на новом или на существующем.

Выбираем, на каком листе создать сводную таблицу
Скриншот: курс Skillbox «Excel + Google Таблицы с нуля до PRO»

Готово — появился новый лист для сводной таблицы. Слева на листе расположена область, где появится отчёт сводной таблицы после настроек. Справа — панель «Поля сводной таблицы», в которой мы будем работать с этими настройками.

Появился новый лист для отчёта сводной таблицы
Скриншот: курс Skillbox «Excel + Google Таблицы с нуля до PRO»

Панель «Поля сводной таблицы» состоит из двух частей. В верхней части находится список полей — в нашем случае Power Pivot перенёс в список полей данные четырёх таблиц, которые мы связали между собой. В нижней части — четыре области: «Значения», «Строки», «Столбцы» и «Фильтры». У каждой области своё назначение.

Чтобы создать отчёт сводной таблицы, нужно выбрать необходимые поля из списка полей и перенести их в нужную область.

Подробнее о назначении областей, а также о том, как строить и настраивать сводные таблицы в стандартной версии Excel, говорили в этой статье Skillbox Media.

Для примера построим отчёт в форме сводной таблицы, который покажет количество продаж издательства в субъектах России с детализацией по формату книг.

Для этого в область «Строки» перенесём поля «Округ» и «Субъект» из «Справочника регионов», в область «Значения» — поле «Количество» из таблицы «Продажи», в область «Столбцы» — поле «Формат» из «Справочника товаров».

Так выглядит полученный отчёт сводной таблицы
Скриншот: курс Skillbox «Excel + Google Таблицы с нуля до PRO»

Готово. Мы получили таблицу, где по вертикали расположены все субъекты и округа страны, по горизонтали — количество проданных книг с разбивкой по форматам.

По такому же принципу можно строить другие отчёты — в зависимости от того, какую информацию для анализа нужно получить. Например, в отчёте можно показать количество продаж с детализацией по названиям книг и датам их продажи.

  • В этой статье Skillbox Media собрали в одном месте 15 статей и видео об инструментах Excel, которые ускорят и упростят работу с электронными таблицами.
  • В Skillbox есть курс «Excel + Google Таблицы с нуля до PRO». Он подойдёт как новичкам, которые хотят научиться работать в Excel с нуля, так и уверенным пользователям, которые хотят улучшить свои навыки. На курсе учат быстро делать сложные расчёты, визуализировать данные, строить прогнозы, работать с внешними источниками данных, создавать макросы и скрипты.
  • Кроме того, Skillbox даёт бесплатный доступ к записи онлайн-интенсива «Экспресс-курс по Excel: осваиваем таблицы с нуля за 3 дня». Он подходит для начинающих пользователей. На нём можно научиться создавать и оформлять листы, вводить данные, использовать формулы и функции для базовых вычислений, настраивать пользовательские форматы и создавать формулы с абсолютными и относительными ссылками.

Другие материалы Skillbox Media по Excel

  • Введение

    • Предисловие
    • Отказ от ответственности
    • Лицензия на использование
    • Добавление информации и внесение изменений в методическое пособие
  • Редактор запросов (Query Editor, он же Power Query)

    • Power Query в Power BI
    • Power Query в Excel 2010, 2013
    • Power Query в Excel 2016, 2019, 365
    • Зачем нужен Power Query
    • Что такое запрос (Query)
    • Действия над запросами (по правому щелчку мыши на них)

      • Duplicate (Дублировать)
      • Reference (Сослаться)
    • Шаг (Step)
    • Параметры в Power Query
    • Получение данных в Power Query
    • Типы данных в Power Query

      • Примитивные типы данных Power Query
      • Структурированные типы данных в Power Query
    • Задание типов данных для столбцов в Power Query
    • Автоматическое определение типов данных для столбцов
    • Создание дубликата столбца
    • Переименование столбцов
    • Remove Other Columns — удаление прочих столбцов
    • Split Column by Delimeter — Разделить текстовый столбец по разделителю
    • Действия над таблицами и столбцами таблиц

      • Append — добавление одной таблице к другой таблице
      • Merge — соединение данных одного запроса с другим запросом по общему ключу (аналог ВПР)
      • Соединение данных по составному ключ в Power Query
      • Команда Group by (сгруппировать по полю)
      • Добавление нового столбца в Power Query

        • if then else условия
        • Условный столбец (Conditional column)
        • Изменение типа данных у столбца с текстового на десятичный, в случае если в качестве разделителя десятичной части используется точка вместо запятой
        • Удалить дубликаты в столбцах
        • Count rows — Подсчитать количество строчек в текущей таблице
        • Извлечение шагов в отдельный запрос
        • Функция Сохранить строки (Keep Top Rows)
        • Функция Сохранить ошибки (Keer Errors)
        • Функция Заменить ошибки в столбце (Replace Errors)
    • Получение данных из различных источников

      • Получение данных из файлов

        • Получение данных из текстовых файлов (csv, tsv, txt и т.д.)
        • Извлечение данных из файлов лежащих в папке
      • Получение данных из интернета

        • Права доступа, Formula.Firewall
      • Символы разрыва строки
  • Power Pivot

    • Что такое Power Pivot в Excel
    • Что такое Power Pivot в Power BI
    • Что такое DAX
    • Модель данных
    • Таблицы
    • Функции Dax
    • Меры (Measures)
    • Быстрые меры (Quick Measures)
    • Вычисляемые Столбцы (Calculated Columns)
    • Контекст выполнения функции (Evaluation context)
    • Связь таблиц в модели данных
    • Связь таблиц по ключевому столбцу дата и time-intelligence функции
    • Часто используемые функции DAX
    • Метрики контекстной рекламы в DAX
    • Про абсолютные и относительные метрики в выгрузках
    • Формат отображения чисел в мерах и столбцах
    • Полезные ресурсы по DAX
  • Визуализации в Power BI

    • Срезы в Power BI — Слайсеры (Slicers)

      • Срезы с относительными датами (Relative slicers)
    • Настройка взаимодействия визуализаций (визуалов)
  • Настройки Power BI

    • Фоновые данные — разрешить скачивание в фоне (Background data — allow data preview)
  • Приложения

    • Горячие клавиши окна редактирования DAX формул

      • Базовое редактирование
      • Навигация
      • Поиск и замена
      • Мультикурсор и выделение
  • Вместо заключения

Введение

Предисловие

Первая версия данного методического пособия была создана Максимом Уваровым в рамках образовательного проекта NeedForData.ru. С 21.05.2018 учебное пособие опубликовано на GitHub под лицензией GPL 3.0 и с этого момента соавтором пособия может стать любой желающий.

Цель данного пособия: помочь начинающим пользователям Power BI, а также надстроек над Excel Power Query и Power Pivot, осваивать эти замечательные инструменты. Предполагается, что методическое пособие когда-нибудь станет более легковесной и человечной альтернативой текущей официальной справки по Power BI, расположенной по адресу: https://docs.microsoft.com/ru-ru/power-bi/

В данном методическом пособии поддерживаются расставление ссылок на подробные разборы описываемых тем в официальной справке Power BI или на других тематических ресурсах.

Отказ от ответственности

Авторы данного методического пособия не имеют отношения к корпорации Microsoft и ее продуктам Power BI, Excel, Power Query, Power Pivot. Авторы публикуют в данном методическом пособии собственноручно созданные учебные материалы, на публикацию которых они имеют все необходимые права.

Лицензия на использование

Данное методическое пособие может бесплатно использоваться для обучения. Методическое пособие предлагается к использованию в режиме AS-IS (как есть), под лицензией GPL 3.0. Полный текст лицензии опубликован по ссылке.

Согласно лицензии, если вы используете материалы данного учебного пособия в своей документации или своих учебных пособиях, то вы обязательно должны (включая, но не ограничиваясь):

  1. Поставить ссылки на первоисточник
  2. Обеспечить свободный доступ к вашим материалам

Добавление информации и внесение изменений в методическое пособие

Любой желающий может предложить исправления текущего методического пособия на Github. Для этого нужно:

  1. Сделать Fork проекта
  2. Внести необходимые изменения на языке разметки в markdown
  3. Создать Pull-request в основной репозиторий

Позже члены редколлегии методического пособия смогут рассмотреть ваши предложения.

Редактор запросов (Query Editor, он же Power Query)

Power Query в Power BI

В программе Power BI Desktop Power Query встроенный модуль. В справке и интерфейсе этот модуль называется Query Editor или редактор запросов. Power Query это основной инструмент данных в Power BI desktop. Как показано на скриншоте ниже все четыре выделенные кнопки относятся к редактору запросов Power Query.

Power Query в Excel 2010, 2013

Также, Power Query это надстройка над MS Excel 2010 — 2013. Она устанавливается дополнительно. Скачать надстройку можно по ссылке. На панели Ribbon в Excel 2010 и 2013 Power Query посвящена отдельная вкладка.

Power Query в Excel 2016, 2019, 365

В Excel 2016 и последующих версиях Power Query встроена. Найти ее можно на вкладке Data (Данные), блок «Get and Transform». Скриншоты, как Power Query выглядит в различных версиях офиса приведены ниже:

В зависимости от версии подписки Excel функционал Power Query может различаться.

Зачем нужен Power Query

Power Query нужен для удобного преобразования данных (ETL-процесса).

Согласно википедии — ETL (от англ. Extract, Transform, Load) — процесс в управлении хранилищами данных, который включает в себя:

  • извлечение данных из внешних источников;
  • их трансформация и очистка, чтобы они соответствовали потребностям бизнес-модели;
  • и загрузка их в хранилище данных.

Power Query отлично подходит для задач:

  • подключения к разнообразным источникам (различным типам файлов, api, базам данных и т.п.);
  • для удобного и гибкого преобразования данных в необходимый формат;
  • Для создания повторяемых последовательностей обработки данных.

Что такое запрос (Query)

Запрос (Query) это программа на языке M, задающая последовательность обработки данных.

В своем теле запрос может обращаться к неограниченному количеству источников данных (включая другие запросы). Результат выполнения запроса может иметь любой из поддерживаемых структурированнных или примитивных типов данных, например:

  • таблица — table
  • значение — value,
  • список — list,
  • запись — record и т.д.

Список из всех запросов в Excel можно увидеть в разных местах.

В списке из запросов книги (Queries Pane) интерфейсе Excel 2016:

В интерфейсе самого Power Query:

У каждого запроса есть свое имя.

Имя запроса можно увидеть в нескольких местах. Там же его можно изменить:

В интерфейсе Excel 2016.

В интерфейсе Power Query.

По имени запроса можно обращаться к результатам этого запроса из других запросов.

В случае, если имя запроса содержит пробелы (например, состоит из нескольких слов), то при обращении к этому запросу из других запросов он начинается с # и заключается в кавычки:

Действия над запросами (по правому щелчку мыши на них)

Duplicate (Дублировать)

Команда Duplicate позволяет создать новый запрос и продублировать в нем все шаги исходного запроса (т.е. при дублировании появляется новый запрос с #"Имя (2)", в котором содержатся все шаги из исходного запроса). Новый запрос, созданный при использовании команды Duplicate, никак не связан с оригинальным запросом.

Reference (Сослаться)

Создать новый запрос, в первом шаге которого обратиться по имени к оригинальному запросу.

Шаг (Step)

Отдельный этап обработки данных в рамках конкретного Запроса.

Запрос состоит из шагов и включает как минимум один шаг.

На каждое примененное действие в интерфейсе создается новый шаг.

Список шагов конкретного запроса можно посмотреть в правой части экрана в панели настроек Запроса.

Каждый шаг это отдельная переменная, расположенная на отдельной строчке кода в скрипте запроса на языке программирования M.

Чтобы посмотреть формулу конкретного шага необходимо включить отображение строки формул на вкладке view и выбрать интересующий шаг в панели «Applied Steps».

Очередность шагов можно менять через интерфейс, используя контекстное меню.

А также перетаскивая шаги в списке.

Параметры в Power Query

  • Статья о параметрах Power Query

Получение данных в Power Query

Чтобы начать работать с Power Query, необходимо настроить получение данных из какого-либо источника. Сделать это можно из интерфейса Power Query в Power BI по нажатию на кнопку Get Data.

В Excel 2010-2013 сделать это можно нажав на кнопки с указанием различных источников на панели Ribbon.

А также из интерфейса Power Query в Excel.

Типы данных в Power Query

В Power Query существуют примитивные и структурированные типы данных. Примитивные типы данных содержат в себе лишь одно значение, в то время как структурированные типы данных могут содержать в себе как одно так и множество значений. В зависимости от заданного типа данных

Примитивные типы данных Power Query

  • Decimal number — десятичное число Number.Type или type number
  • Time — время Time.Type или type time
  • Date — дата Date.Type или type date
  • Date / Time — дата / время DateTime.Type или type datetime
  • Date / Time / Timezone — дата / время / часовая зона DateTimeZone.Type или type datetimezone
  • Duration — длительность Duration.Type или type duration
  • Fixed Decimal number — десятичное округленное до 4 знака Currency.Type
  • Whole number — целое число Int64.Type
  • Text — текст Text.Type или type text
  • True/False — истина / ложь
  • Binary — двоичный код (например, изображение в формате bmp)
  • Percentage — проценты Percentage.Type

Структурированные типы данных в Power Query

  • Table — таблица #table({"Заголовок1", "Заголовок2"}, { {"Строка1Столбец1", "Строка1Столбец2"}, {"Строка2Столбец1", "Строка2Столбец2"} })
  • List — список {1,2,4} - список из элементов Чисел со значениями 1, 2, 4
  • Record — запись [field1 = "текст в кавычках", field2 = "текст в кавычках2"]

Узнать стоимость решенияЗапросить видео презентацию

Задание типов данных для столбцов в Power Query

Присвоенные отдельным столбцам типы данных определяют операции, которые применимы к ним. Если выбрать столбец, то примененные к нему типы данных можно увидеть в следующих местах:

  • Типы данных столбцов таблицы обозначаются иконками в области заголовков:

  • При выбранном столбце, его тип данных в Power BI и Excel на вкладке «Home»

  • При выбранном столбце, его тип данных в Power BI и Excel на вкладке «Transform»

Автоматическое определение типов данных для столбцов

В Power Query есть функция «автоматически определять типы данных». При помощи данной функции Power Query будет подбирать тип данных к столбцу на основ первой тысячи строчек конкретного столбца.

автоматически определять типы данных

Создание дубликата столбца

Команда на Ribbon:

Создание дубликата столбца

Команда в контекстном меню:

Создание дубликата столбца команда в контекстном меню

Переименование столбцов

Чтобы переименовать столбец нужно дважды щелкнуть на его названии:

Переименование столбцов Power Query

Remove Other Columns — удаление прочих столбцов

Для повышения личной эффективности (за счет лучшего фокуса на конкретных цифрах), сохранения оперативной памяти и поддержки быстродействия моделей следует оставлять в модели данных только необходимые данные (только необходимые столбцы и строчки).

Для этих целей отлично работает команда «remove other columns» (удалить прочие столбцы).

Remove Other Columns - удаление прочих столбцов

Split Column by Delimeter — Разделить текстовый столбец по разделителю

Команду «разделить столбец по разделителю» можно найти в нескольких местах:

Кнопка на Ribbon — Split Column

Split Column by Delimeter - Разделить текстовый столбец по разделителю

В контекстном меню, по щелчку на заголовок столбца.

Разделить столбец по произвольному разделителю

Указать максимальное количество столбцов

Действия над таблицами и столбцами таблиц

Append — добавление одной таблице к другой таблице

Из интерфейса Power Query:

Из интерфейса Excel:

Merge — соединение данных одного запроса с другим запросом по общему ключу (аналог ВПР)

Начало операции из интерфейса Power Query:

Начало операции merge из интерфейса Excel:

Выбор таблицы, из которой будем подтягивать данные, определение ключевых столбцов и типа операции

Соединение данных по составному ключ в Power Query

После нажатия на кнопку OK мы видим новый столбец с кнопкой

Нажимаем на кнопку, раскрываем столбец и выбираем желаемую операцию

Expand — развернуть данные из выбранных столбцов

Aggregate — подсчитать данные в конкретных столбцах

Важно помнить что типы данных у ключевых столбцов (в обеих таблицах) должны быть одинаковыми.

Команда Group by (сгруппировать по полю)

Команду можно вызвать по клику на кнопку на панели Ribbon

Также команду можно вызвать из контекстного меню (если нажать правой кнопкой на заголовке столбца)

Интерфейс команды Group By с комментариями представлен на скриншоте ниже:

Добавление нового столбца в Power Query

if then else условия

Для выбора действия в зависимости от условия в Power Query используется структура с оператором if then else

Пример:

if [столбец1] 0 then [столбец2] else [столбец3]

Условный столбец (Conditional column)

Мастер добавления столбца с условным значением (условного столбца), формирует значение столбца согласно заданным правилам. Мастер добавления условного столбца можно найти в Power Query, на вкладке добавления столбца, как показано на скриншоте ниже.

Пояснения к мастеру конфигурации условного столбца показаны на скриншоте ниже.

Для сведения — задаваемые условия в интерфейсе мастера пишут команду скрипта содержащего операторы if then else. Это значит, что первым будет проверено первое условие в мастере условного столбца. Все множество значений будет проверено по этому условию. В случае, если будут найдены результаты удовлетворяющие первому условию, то для них будет присвоено значение по результатам выполнения первого условия. Для остальных значений из множества, будет проверено следующее условие. И так далее, до тех пор, пока не будут проверенны все условия. Если для элементов множества не будет выполненно ни одно условие, то в условный столбец попадет значение из поля «В противном случае / (otherwise)».

При создании условий важно помнить, операции сравнения включающие type null и другие типы данных, возвращают ошибку в качестве результата. Подробнее об этом можно прочитать в блоге у Максима Зеленского

Изменение типа данных у столбца с текстового на десятичный, в случае если в качестве разделителя десятичной части используется точка вместо запятой
  1. Необходимо щелкнуть правой кнопкой на заголовке столбца
  2. Выбрать пункт «Change type»
  3. И далее выбрать пункт «Using locale»
  4. Выбираем страну, где в качестве разделителя используется точка (например, USA)
Удалить дубликаты в столбцах

Команда «Remove Duplicates» проходит по выбранным столбцам (если выбрана вся таблица, то по всей таблице) и смотрит в них повторяющиеся ячейки (строчки, в случае если выбрана таблица). Если дубликаты найдены функция оставляет первую попавшуюся уникальную строчку и удаляет все последующие повторяющиеся Найти команду можно на Ribbon — Home — Remove Duplicates (Удалить дубликаты в выбранных столбцах)

Либо найти команду можно щелкнув правой кнопкой на заголовке одного или нескольких выбранных столбцов. В случае, если выбраны несколько столбцов, то тогда будут удалены все неуникальные сочетания значений в каждой отдельной строчке в выбранных столбцах.

Удалить дубликаты строк в таблице можно нажав на кнопку в левом верхнем углу таблицы предпросмотра.

Аналогичного результата можно добиться если использовать команду «Group By»

Count rows — Подсчитать количество строчек в текущей таблице

Извлечение шагов в отдельный запрос

Для выполнения необходимо щелкнуть правой кнопкой на конкретном шаге обработки. Выбрать пункт меню «Extract previous steps»

ввести имя нового запроса, который будет создан на основе предыдущих шагов

Функция Сохранить строки (Keep Top Rows)

Функция Сохранить ошибки (Keer Errors)

Функция Заменить ошибки в столбце (Replace Errors)

Функция доступна по нажатию правой кнопкой на заголовке столбца и позволяет заменить ошибки в столбце (например, получившиеся после применения нового типа данных) на выбранное значение. Обратите внимание, что по состоянию на 2019-07-29 функция доступна лишь при выборе одного столбца.

Получение данных из различных источников

Получение данных из файлов

Получение данных из текстовых файлов (csv, tsv, txt и т.д.)

При получении данных из текстового файла в Power Query открывается окно мастера настроек импорта файла.

Извлечение данных из файлов лежащих в папке

Выбираем в качестве типа источника папку. Далее выбираем конкретную папку с файликами, которые предполагается объединить. Файлики должны быть одного типа и с одинаковыми столбцами.

В появившемся окошке предпросмотра данных жмем на кнопочку edit.

Получение данных из интернета

Права доступа, Formula.Firewall

Текст взят из Power bi formula firewall privacy settings — marketing-wiki.ru

При работе в Power BI, при обращении к внешним источникам данных вроде различных API могут возникать ошибки вроде: OLE DB or ODBC error: [information is needed in order to combine data]

или Formula.Firewall: Query is accessing data sources that have privacy levels which cannot be used together. Please rebuild this data combination

Это ошибки, которые возникают из-за встроенного в Power BI Fomrula.Firewall — механизма, который следит, чтобы данные из Power BI передавались только согласно выставленным правилам доступа.

то есть Power Bi пытается защитить нас, чтобы мы случайно не отправили какие-либо данные (вроде токена) на сервер-злоумышленника.

Однако, если мы работаем с API, то нам неминуемо нужно отправлять данные в интернет. Соответственно, чтобы не иметь проблем в этом процессе проще всего в настройках Power BI выключить Formula.Firewall. Это делается в разделе Privacy. Нужно выбрать 3-й пункт — «ignore privacy level settings»

ignore privacy level settings

Символы разрыва строки

При помощи операции найти или для разделения ячейки на отдельные строчки можно воспользоваться символами #(cr)#(lf) либо воспользоваться функцией Lines.FromText

Power Pivot

Что такое Power Pivot в Excel

Power Pivot — это надстройка над Excel, представляющая из себя быструю колоночную базу данных VertiPaq с языком запросов DAX (часто вместо VertiPaq говорят Power Pivot). В отличие от Excel число строк загруженных в Power Pivot ограничено лишь размером доступной оперативной памяти компьютера. Быстродействие Power Pivot во много раз превосходит быстродействие формул в Excel. Также Power Pivot по производительности превосходит и Power Query (при этом часто он потребляет меньше ресурсов). Результаты выполнения запросов доступны пользователям в сводных таблицах и сводных диаграммах MS Excel. Таким образом сводные таблицы выступают аналитическим интерфейсом к данным хранящимся в Power Pivot.

Что такое Power Pivot в Power BI

В Power BI Power Pivot встроен как база данных, к которой присоединяются различные визуализации.

Что такое DAX

Dax (Data Analysis Expressions) — это язык программирования использующийся для запросов в базе данных VertiPaq.

Модель данных

Модель данных — совокупность таблиц, связей между ними и вычисляемых мер в базе данных VertiPaq. Благодаря своей быстроте модель данных позволяет создавать мгновенно пересчитывающиеся меры, которые, в свою очередь, позволяют создавать интерактивные визуализации.

Таблицы

Таблицы — совокупность строк, разделённых на столбцы.

У каждого столбца задан тип данных (который, как правило, наследуется из типов данных заданных для столбцов в Power Query).

У столбцов с числовыми типами данных можно увидеть значок сигмы Слева от них. И такие столбцы по умолчанию будут просуммированы, в случае если добавить их в область значений любой визуализации.

Если же добавить в область значений столбцы с не числовыми типами данных (без значка сигмы), то к ним будет применена операция по умолчанию: count (подсчет количества значений).

Список из таблиц загруженных в модель данных можно найти в дереве fields в правой части окна Power BI.

Каждая таблица имеет название, по которому к данным конкретной таблицы можно обращаться в мерах и вычисляемых столбцах. В случае если в названии таблицы присутствует пробел или не латинские символы, то при обращении к таблице извне её название заключается в одинарные кавычки автоматически:

'название с пробелом'

Однако, если мы заключим в кавычки название таблицы без пробелов, то все будет работать как предполагалось:

'название'

Функции Dax

Функции языка Dax похожи на функции Excel, с той лишь разницей, что в качестве аргументов используют столбцы, целые таблицы или скалярные выражения (простые значения), а не ячейки.

В качестве разделителей аргументов в зависимости от локали используются:

  • «;» (и «,» для десятичных)
  • «,» (и «.» для десятичных)

Меры (Measures)

Вычисляются только в момент использования. Рассчитываются в рамках текущего контекста фильтров. Именно это свойство позволяет строить интерактивные визуализации, которые фильтруются при нажатии на определенные области конкретных визуализаций. Меры хоть и принадлежат конкретной таблице, но могут быть перенесены в любую другую таблицу в рамках документа. Поэтому хорошая практика при использовании мер формулах не включать название таблицы, в которо й мера лежит. То есть вместо 'таблица'[мера] писать просто [мера].

Быстрые меры (Quick Measures)

Функционал быстрых мер позволяет создавать сложные DAX формулы без написания кода. Вместо написания кода нужно сконфигурировать желаемую меру в графическом интерфейсе. Подробнее о быстрых мерах можно прочитать в справке по Power BI

Вычисляемые Столбцы (Calculated Columns)

Рассчитываются однажды во время обновления таблицы в модели данных. Вычисляемые столбцы занимают место в памяти. Вычисляемые столбцы рассчитываются в рамках контекста строки. В отличие от мер, вычисляемые столбцы могут использоваться для фильтрации и сортировки таблиц. Принадлежат конкретной таблице и их лучше указывать в формулах вместе с названием таблицы, даже если Power Pivot позволяет этого не делать.

Подробнее про столбцы и меры читать здесь:

  • Calculated Columns and Measures in DAX — SQLBI

Контекст выполнения функции (Evaluation context)

В Power Pivot существуют два контекста выполнения формулы, которые действуют одновременно:

  • Контекст фильтров (Filter context)
  • Контекст строк (Row context)

Это массивная и сложная тема. На момент написания методички автор так и не разобрался с темой до того уровня, чтобы рассказывать об этом окружающим. Потому рекомендую обратиться к достоверным источникам вроде:

  • Марко Руссо и Альберто Феррари https://www.sqlbi.com/.
  • Справка Microsoft Power BI: Основные сведения о DAX в Power BI Desktop

Связь таблиц в модели данных

Для связи таблиц в модели данных в одной из таблиц в ключевом поле должны быть уникальные значения. Также столбцы должны быть одного типа данных.

Направление связи имеет значение. Вычисляемые столбцы могут использоваться для создания связей между таблицами.

Справка: Создание связей и управление ими в Power BI Desktop — Power BI | Microsoft Docs

Связь таблиц по ключевому столбцу дата и time-intelligence функции

В случае, если в модели данных есть отдельная таблица-календарь (вроде такой), и если таблица с фактами связана с таблицей-календарем по полю дата, то для создания быстрых мер в поле дата нужно использовать столбец с датами из таблицы календаря. Столбец с датами из таблицы с фактами в быстрых мерах работать не будет.

Часто используемые функции DAX

SUM (Столбец) — Cумма чисел по столбцу

COUNTA (Столбец) — Количество значений в столбце

DISTINCTCOUNT (Столбец) — Количество уникальных значений в столбце

SUMX (Таблица, Выражение) — Сумма значений выражения, которое выполняется для каждой строчки таблицы

DIVIDE (Значение числителя, значение знаменателя, альтернативный вариант в случае ошибки деления числителя на знаменатель) — Безопасное деление

IFERROR (Значение, Значение если ошибка) — Если ошибка

IF (Логическое выражение, значение если правда, значение если ложь ) — Если

Узнать стоимость решенияЗапросить видео презентацию

Метрики контекстной рекламы в DAX

CTR (Кликабельность)

= SUM ( Клики ) / SUM ( Показы ) 

CPC (Цена клика)

= SUM ( Расход ) / SUM ( Клики )

Ставка (Максимальная цена клика установленная рекламодателем)

Ставка Средняя

Ставка СреднеВзвешенная на клики

= SUMX ( ставка * клики ) / SUM ( клики )

Ставка СреднеВзвешенная на показы

= SUMX ( ставка * показы ) / SUM (показы)

CR (Коэффициент конверсии фактический)

= SUM ( транзакции ) / SUM ( сессии )

Ключевая фраза: количество

= COUNTA ( ключевая фраза )

Ключевая фраза: количество уникальных

= DISTINCTCOUNT ( ключевая фраза )

Про абсолютные и относительные метрики в выгрузках

Средний показатель отказов рассчитывается по формуле:

= SUM ( отказы ) / SUM ( визиты )

Если в выгрузке нет абсолютного числа ОТКАЗОВ, но есть ПОКАЗАТЕЛЬ ОТКАЗОВ, то для каждой строчки с исходными данными предварительно необходимо рассчитать абсолютное число ОТКАЗОВ. Для этого нужно умножить ПОКАЗАТЕЛЬ ОТКАЗОВ на ЧИСЛО ВИЗИТОВ. После этого у вас появится возможность рассчитывать средний показатель отказов корректно.

Аналогичным образом следует поступить с глубиной просмотра и временем на сайте.

Распространенная ошибка рассчитывать СРЕДНИЙ ПОКАЗАТЕЛЬ ОТКАЗОВ в качестве встроенной меры AVERAGE по столбцу ПОКАЗАТЕЛЬ ОТКАЗОВ (см скрин. http://bit.ly/2JMKSl1).

Так средний показатель отказов рассчитывать некорректно.

Формат отображения чисел в мерах и столбцах

Формат отображения значений мер задается при выбранной мере, на вкладке «Modeling», в блоке «Formating»

Формат отображения значений мер в Power BI

Полезные ресурсы по DAX

  • sqlbi.com/articles/calculated-columns-and-measures-in-dax/
  • powerpivotpro.com/2013/02/when-to-use-measures-vs-calc-columns/
  • Клевый курс на udemy про Power Pivot
  • Книга: The Definitive Guide to DAX: Business intelligence with Microsoft Excel, SQL Server Analysis Services, and Power BI (Business Skills) 1st Edition
  • Daxpatterns.com
  • Канал Curbal на youtube с подробными обучающими видео DAX Fridays

Визуализации в Power BI

Срезы в Power BI — Слайсеры (Slicers)

  • Справка

Срезы с относительными датами (Relative slicers)

  • https://docs.microsoft.com/ru-ru/power-bi/desktop-slicer-filter-date-range

Настройка взаимодействия визуализаций (визуалов)

  • Справка

Настройки Power BI

Фоновые данные — разрешить скачивание в фоне (Background data — allow data preview)

Загрузку данных в фоне часто рекомендуют отключить, во избежание проблем с производительностью. Ссылки по теме:

  1. Параметр Allow Data Preview To Download In The Background в Power Query и Power BI — статья Криса Вебба: перевод , оригинал .
  2. Ветка, в предложения выключить эту настройку по умолчанию uservoice.

Приложения

Горячие клавиши окна редактирования DAX формул

Базовое редактирование

Клавиша   Описание
Ctrl+X   Вырезать строку (Пустое выделение)
Ctrl+C   Скопировать строку (Пустое выделение)
Alt+↑ Alt+↓ Перемещает текущую строку вверх / вниз
Shift+Alt+↑ Shift+Alt+↓ Копирует строку и вставляет её выше / ниже
Ctrl+Shift+K   Удаляет строку
Shift+Enter   Добавить новую строку ниже под курсором
Ctrl+] Ctrl+[ Увеличить / уменьшить отступ строки
Tab Shift+Tab Увеличить / уменьшить отступ строки
Home End Перейти в начало / конец строки
Ctrl+Home Ctrl+End Перейти в начало / конец DAX формулы
Ctrl+K Ctrl+C Ctrl+K Ctrl+U Поставить / убрать однострочный комментарий
Ctrl+/   Поставить или убрать однострочный комментарий
Shift+Alt+A   Поставить или убрать однострочный комментарий

Навигация

Клавиша   Описание
Ctrl+G   Перейти к строке
F8 Shift+F8 Перейти к ближайшей / следующей ошибке или предупреждению

Поиск и замена

Клавиша Описание
Ctrl+D Выделить слово под курсором целиком, при повторном нажатии выделяет аналогичные слова по тексту
Ctrl+K Ctrl+D Перейти к следующему совпадающему выделению### Мультикурсор и выделение

Мультикурсор и выделение

Клавиша   Описание
Ctrl+A   Выделить все
Alt+Клик   Добавить курсор к выделению
Ctrl+Alt+↑ Ctrl+Alt+↓ Добавить мультикурсор выше / ниже
Ctrl+U   Убрать последнее выделение курсора
Ctrl+F2   Выделяет все вхождения слова
Ctrl+Shift+L   Выделяет все вхождения выделенного текста
Shift+Alt+→ Shift+Alt+← Расширить / уменьшить текущее выделение по строке

Вместо заключения

Данное методическое пособие было выложен в открытый доступ 21.05.2018. С тех пор каждый желающий способен внести в него правки или дополнить его собственной актуальной информацией.

Сделать это можно по адресу: https://github.com/power-bi/PowerBI-book-ru

Источник: https://github.com/power-bi/PowerBI-book-ru

Узнать стоимость решенияЗапросить видео презентацию

Понравилась статья? Поделить с друзьями:
  • Надстройки для excel csv
  • Надстройки для excel 365
  • Надстройки для excel 2013 сумма прописью
  • Надстройки для excel 2013 скачать бесплатно
  • Надстройки для excel 2010 что это