Сколько видов преобразований доступны в power query в excel

Время на прочтение
5 мин

Количество просмотров 14K

В нашем менеджерском труде есть много хорошего и не очень. Но ничто не портит нам жизнь так, как многочисленные эксельки, в которых постоянно нужно что-то ВПР-ить, СУММ-ировать, СУММПРОИЗВ-одить и заниматься прочими рутинными операциями, отнимающими кучу времени и сил. Есть инструмент, позволяющий если не убрать, то минимизировать рутину везде, где есть паттерны данных. Итак, вашему вниманию предлагается чуть более глубокое погружение в принципы работы PowerQuery.

Сразу же хочу сориентировать по поводу того, что уже есть на Хабре по данной теме:

• https://habrahabr.ru/post/271019/ — Отличный обзор возможностей PowerQuery для новичков. Даёт представление об инструменте на примерах. Если вы никогда не использовали PowerQuery, то начать, наверное, стоит с этой статьи. Автор введёт в курс дела.
• https://habrahabr.ru/post/311600/ — Погружение в функции языка «M» на примере локализации списка месяцев. Автор кратко коснулся мощнейшей функции List.Accumulate описание которой заслуживает отдельного материала на Хабре. В качестве тизера к такой публикации, могу сказать, что List.Accumulate принимает на вход абсолютно любой тип аргументов.
• https://habrahabr.ru/post/274615/ — Краткий обзор возможностей PowerQuery по получению данных из баз SQL. Для новичков

Что такое Power Query (PQ)

Дабы не повторять уже сказанное в материалах, ссылки на которые указаны выше, буду краток: Power Query — это инструмент для преобразования формы представления любых логически организованных данных. То есть на входе может быть любая каша, но в которой есть хоть какая-то логика. А на выходе — таблица. По мнению некоторых экспертов, PQ является ETL инструментом. То есть служит для Extract – извлечения, Transform – преобразования и Load – выгрузки данных. По опыту, данная работа занимает до 60% рабочего времени, например, менеджера по контекстной рекламе и до 90% времени аналитика. Важная особенность данной работы состоит в том, что её, как правило, нужно повторять изо дня в день, неделю за неделей. Бесконечно переносить данные, копипастить, вычислять. Для особо тяжёлых случаев программисты пишут решение, в котором всё это делается автоматически. Проблема состоит в том, что решения дороги, а программисты почти всегда заняты более насущными вопросами, чем автоматизация рутинных операций менеджера. PQ позволяет решить указанные трудности:

• Автоматически вытащить данные почти откуда угодно
• Преобразовать данные в соответствии с заранее созданной моделью, без необходимости заново повторять одни и те же действия вручную
• Представить полученные данные в том виде (видах), которые необходимы

Сразу же давайте дифференцируем Power Query и очень похожий на него инструмент Power BI. Итак, Power Query служит для преобразования данных, как правило, в удобный нам табличный вид, с которым мы далее работаем в Excel. Power BI предназначен для преобразования данных и перевода их в форму графиков и другие обобщённые представления (например, сводные таблицы). Power BI и Power Query используют один и тот же язык «M» для преобразования данных. То есть код языка «M» может быть почти дословно перенесён копипастом из PQ в Power BI и обратно. Почти, потому что в PQ могут быть специфические конструкции для обращения к книге Excel, или именованным диапазонам ячеек, что, понятное дело, неприменимо для Power BI.

На сегодняшний день Power Query доступен только для MS Excel, работающего под ОС Windows. До Excel 2013 включительно, распространялся в виде подключаемого модуля. Начиная с Excel 2016 стал встроенным.

Методы преобразования данных «кнопками» подробно разобраны в статьях указанных выше, особенно в первой. Далее статья будет несколько сложновата для новичков, поскольку мы разбираем подноготную, а конкретно то, что можно увидеть при нажатии на кнопку «Расширенный редактор» в редакторе запросов.

Кнопка «Расширенный редактор»

Как устроен язык «M»

Важно всегда иметь в виду, что конструкция let …. in … является просто “syntactic sugar”. let по факту представляет из себя запись с множеством пар вида «имя=значение», а in это просто ссылка на некоторое значение в этой записи (причём не обязательно последнее). Сложновато. Но давайте попробуем разобраться. В языке «M» есть следующие типы значений:

1. Примитивные типы (Null, Logical, Number, Text, Date, Time, DateTime, DateTimeZone, Duration): «строка», 14, false, #date(2013,3,8) и т.д.
2. Список (List) – последовательность значений: Источник = {1,2,3, «hi»}
3. Запись (Record) – пара (или набор пар) вида: [ a = 1, b = {1,2,3}, c = true]
4. Таблица (Table) – конструкция, включающая в себя список колонок и список записей: #table( {«Col1», «Col2»}, { {1, 2}, {3, 4} } )
5. Функция (Function) – конструкция вида:

   MyFunction = (x, y, optional z) =>
if z = null then x+y
else (x+y) / z


6. Тип (Type) – для классифицирования других значений. Подробнее об этом типе см. спецификацию языка “M”
7. Бинарный (Binary): #binary( {0x68, 0x65, 0x6C} )

Таким образом, следующая конструкция:

Абсолютна идентична этой:

[X=2,Y=X+3][Y]

Вычисления происходят на базе значений, полученных в результате предыдущих действий. Чем-то это напоминает цепочку формул Excel:

A1=A2+A3
A2=A3+2
A3=5

В случае с PQ обращение идёт не к ячейкам, а к значениям. Выражения, которые входят в запись или список, вычисляются методом «ленивых» вычислений. То есть пока мы прямо не сошлёмся на значение, получаемое в результате выполнения некоторого выражения, оно не будет выполнено.

Коротко о секциях

PQ использует концепцию секций. Секция – создает область видимости. Это чем-то похоже на $scope в Angular. Имеется внутренняя переменная #sections, которая возвращает все доступные секции. Все действия, которые выполняются в документе, относятся к одной единственной секции: Section1. При этом невозможно создать ещё одну секцию, например, Section2. Однако, мы можем обратиться к элементам других секций с помощью переменной #shared. Данная переменная адресует к записи содержащей все элементы, которые мы можем видеть: созданные нами, а также доступные нам типы, константы, функции. Таким образом, нам нет необходимости каждый раз лезть в справочник по языку «M», чтобы вспомнить как называется та или иная функция. Достаточно обратиться к переменной #shared. При клике по пустому полю вокруг названия каждой функции, мы можем видеть её описание внизу экрана.

Значение переменной #shared. Можно посмотреть экспресс-справку по встроенной функции

В заключении хотелось бы напомнить, что любые, даже самые сложные конструкции языка «M» по своей сути состоят из типов, указанных выше. В подавляющем большинстве случаев, это записи и списки, плюс немного встроенных функций для преобразований. Чтобы было проще ориентироваться в многообразии доступного функционала, приведу несколько полезных ссылок, которыми сам пользуюсь регулярно.

Полезные ссылки

• Power Query Formula Language Specification (August 2015).pdf
• Power Query (informally known as «M») Formula reference
• Power Query Training – ресурс с кучей бесплатных примеров и трюков. Есть как бесплатные, так и платные уроки
• Language file Notepad++ для подсветки синтаксиса языка «M»
• Репозиторий гуру Power Query Макса Зеленского на Github с кучей готовых функций на языке «M» — Макс разработал алгоритм, который сам подгружает нужные вам для работы функции. См. Readme.md

Что это? Power Query – это бесплатная надстройка для продуктов «Майкрософт», которая значительно облегчает работу с данными: сбор, подготовку, преобразование. Ее не нужно скачивать и как-то специально настраивать.

Как использовать? Интерфейс PQ интуитивно понятен, разобраться в нём не составит труда. Чтобы понять, на что способна эта надстройка, и получить базовые навыки работы в ней, читайте наш материал.

В статьях о MS Excel в последнее время часто встречаются малопонятные термины, начинающиеся со слова Power. Из контекста этих материалов не всегда получается понять, что подразумевается под Power Query, Power Pivot, Power BI и т. п. Самое главное — неясно, каким образом эти понятия связаны между собой и какую пользу они приносят простому пользователю табличного редактора.

Между тем еще в 2013 году в Microsoft была создана специальная группа разработчиков с целью выпуска бесплатной надстройки для Excel. Разработка получила несколько названий: Power Query, Data Explorer, Get&Transform. Данная надстройка служит для выполнения множества повседневных задач:

• Загрузка данных в таблицу Excel

Экспортировать данные можно из почти 40 сторонних форматов: SQL, Oracle, MS Access, Teradata, целый ряд корпоративных систем ERP (SAP, Microsoft Dynamics, 1C и др.), а также источники из интернета (почти все сайты, сервисы Facebook и Google Analytics).

• Сбор информации из файлов всех основных типов данных

Среди поддерживаемых типов — XLSX, TXT, CSV, JSON, HTML, XML. При этом возможно групповое извлечение данных сразу из нескольких файлов, находящихся в одной папке. Доступна автоматическая загрузка информации из всех листов Excel.

Скачать файл

• Очищение полученных данных от лишних элементов

Надстройка удаляет в частности пустые столбцы и строки, лишние пробелы, непечатаемые символы, различную служебную информацию, а также повторяющиеся значения в ячейках.

• Приведение данных к нужному виду

С помощью PQ можно менять регистр на правильный, приводить цифры к числовому формату, заполнять пробелы, исправлять заголовки таблиц, разделять текстовые фрагменты на столбцы и склеивать их снова в единый текст, выполнять некоторые другие полезные операции.

• Приведение таблицы к нужному виду

Среди возможных операций над таблицами — фильтрация, сортировка и смена порядка столбцов, транспонирование значений, генерация итогов, трансформация кросс-таблиц в обычный плоский формат и обратно.

• Подстановка значений из одной таблицы в другую

Эта операция выполняется по совпадению одного или нескольких параметров. Таким образом, она является полной заменой встроенной в Excel функции ВПР (VLOOKUP) и ее аналогов.

Надстройка представлена в двух вариантах: как отдельный модуль, доступный для скачивания с официального сайта Microsoft (для Excel 2010-13), и как сервисная функция в составе редактора (для Excel 2016). В первом варианте установка PQ добавляет в таблицу новую вкладку. Во втором же случае весь функционал надстройки уже имеется в табличном редакторе по умолчанию — он доступен как группа Get & Transform (Получить и преобразовать) во вкладке Data (Данные).

Оба варианта имеют абсолютно одинаковые возможности.

Power Query обладает отличительной особенностью: все совершенные операции сохраняются как запрос из совокупности шагов, представленный на внутреннем языке программирования M. Каждый шаг может редактироваться и повторяться неограниченное число раз. При этом происходит обновление запроса.

Многие пользователи считают эту надстройку самой полезной в Excel. С ее помощью значительно облегчается выполнение многих рутинных задач. В прежние времена для автоматизации действий писались сложные макросы, теперь же это легко выполняется в PQ. К тому же этот инструмент абсолютно бесплатен, что делает его лидером среди возможных конкурентов. Сегодня он должен иметься в арсенале каждого пользователя Excel, обладающего навыками работы выше среднего.

Подключение к данным в Power Query

Как упоминалось ранее, подключаться могут данные из большого количества различных источников. Это и другие Excel-таблицы, и базы данных популярных форматов, и данные из OData, и даже документы PDF. Также доступна загрузка информации из Power BI с последующим написанием запроса с нуля.

Как получить полный список источников, с которыми может работать Power Query? Excel позволяет увидеть в разделе «Получить данные» («Создать запрос»), находящемся во вкладке «Данные».

Разберем этот процесс на примере переноса значений из обычной таблицы.

Сперва необходимо выделить таблицу и перейти в меню «Из таблицы». В разных версиях редактора это делается по-разному:

• Excel 2010-13 — через вкладку «Power Query».
• Excel 2016 и выше — через меню Данные.

Откроется окно, в котором нужно поставить галочку «Таблица с заголовками».

После этого произойдет преобразование обычной таблицы в «умную». Останется перейти во вкладку «Главная» и нажать «Закрыть и загрузить».

Далее для данного файла полезно посмотреть запросы Power Query. Списки их доступны во вкладке «Данные» в разделе «Запросы и подключения».

Предварительная настройка Power Query

Редактор запросов в Excel открывается следующим образом:

• Вкладка «Данные» — раздел «Получить и преобразовать данные» — пункт «Получить данные» — «Запустить редактор запросов»

Далее в открывшемся окне выполняются следующие действия: «Файл» — «Параметры и настройки» — «Параметры запроса» — «Редактор Power Query». Здесь напротив пункта «Отобразить редактор запросов» должна быть поставлена галочка.

Теперь необходимо перейти в пункт «Конфиденциальность» и включить опцию «Всегда игнорировать уровни конфиденциальности». После нажатия на кнопку ОК нужно перезапустить редактор.

Редактор запросов Power Query

Открыть редактор также можно путем двойного клика по имени запроса на вкладке «Запросы и подключения». Рассмотрим интерфейс более подробно.

Редактор запросов состоит из следующих функциональных блоков:

• Лента для вкладок «Главная», «Преобразование», «Добавить столбец» и «Просмотр».
• Список созданных запросов (может быть свернут).
• Строка для ввода формул.
• Имя открытого запроса.
• История выполненных операций над запросом и данными (доступны редактирование шагов, изменение их последовательности выполнения, добавление новых или удаление существующих шагов).

  

  

  Читайте также

• Область предварительного просмотра, позволяющая просматривать в реальном времени результат изменений на каждом шаге.
• Меню операций с данными (может быть открыто кликом правой клавишей мыши).
• Контекстное меню каждого шага (в случае выбора этого шага правой клавишей мыши).

Преобразование данных в Power Query

Полезно подробнее изучить, каким образом преобразовывать данные посредством Power Query. Пример, рассмотренный ниже, наглядно продемонстрирует достаточно простую работу с надстройкой.

Итак, имеется таблица расходов, разбитых по месяцам, а также разделенных на две категории.

Общеизвестно, что такое форматирование данных не позволит построить сводную таблицу. Для приведения значений к нужной структуре используем функционал PQ. Последовательность действий будет следующей:

• Выделение всей таблицы либо одной ячейки.
• Выбор пункта «Из таблицы» (или « Из таблицы/диапазона») во вкладке «Данные».
• Активация опции «Таблица с заголовками» в открывшемся окне.
• Выделение столбцов с месяцами (например, май и июнь) путем одновременного нажатия Ctrl и левой клавиши мыши по соответствующим названиям столбцов внутри редактора запросов.
• Преобразование таблицы (меню «Преобразование» — «Заполнить» — «Вниз») с заполнением пустых строк значениями верхних ячеек.

Все действия, выполняемые с использованием надстройки, автоматически фиксируются. Они отображены в правой части рабочего пространства («Параметры запроса» — «Примененные шаги»).

Как уже упоминалось, шаги запроса доступны для редактирования. Для этого необходимо выбрать конкретное действие указателем мыши и изменить это действие. Изменение сразу же отобразится в панели предварительного просмотра. Перемещение или добавление шагов также осуществляется мышью.

Все операции с данными PQ выполняет пошагово. То есть, каждое следующее действие опирается на результаты предыдущего. Это нужно учитывать, добавляя новые шаги или изменяя последовательность их выполнения. То есть, следует всегда проверять корректность всех следующих шагов путем клика по самому нижнему.

Помимо рассмотренных простейших операций, надстройка может выполнять и более сложные, среди которых фильтрация, замена и группировка значений, заполнение пустых ячеек, удаление дубликатов. Поддерживаются расширенная работа с текстом и числами, выполнение простых вычислений, различные виды трансформации таблиц, объединение данных и многое другое.

Строка формул и расширенный редактор

В работе с графическим редактором рано или поздно возникают ситуации, когда штатными средствами грамотно преобразовать данные не представляется возможным. Это требует особой конфигурации программы с применением параметров, не поддерживаемых графическим интерфейсом. Для таких случаев существуют специальные формулы Power Query, являющиеся частью встроенного языка M. Подсистема позволяет выполнять скрипты преобразований в фоновом режиме.

Язык преобразования данных M обрабатывает каждое событие, происходящее внутри запроса. Однако для использования расширенного функционала PQ лучше использовать соответственно расширенный редактор.

Он предоставляет полный доступ к скрипту запроса для последующей модификации. Другими словами, если функции пользовательского интерфейса не обеспечивают требуемую точность, следует воспользоваться расширенным редактором и инструментами языка M для гибкой настройки функций и преобразований.

При этом глубоко разбираться в коде необязательно. Большая часть операций выполняется мышью по пунктам меню.

Для ввода формул используется соответствующая строка, которая по умолчанию скрыта. Для ее включения необходимо перейти во вкладку «Просмотр» и активировать пункт «Строка формул».

Ознакомиться с доступными формулами можно в этом же блоке, нажав на кнопку «Расширенный редактор». Откроется окно, в котором отобразится полный текст запроса.

Типы данных Power Query

Типы данных — это неотъемлемая составляющая любого запроса PQ. Поэтому их обязательно нужно определять. Как правило, типы данных задаются после всех выполненных преобразований. Делается это одним из трех способов:

• через вкладку «Главная», далее «Тип данных» («Преобразование»), далее «Определить тип данных»;
• через клик указателем мыши по значку типа данных в названии столбца;
• через вкладку «Преобразование», далее «Дата», далее «Выполнить анализ».

Проверку правильности задания типов данных нужно проводить перед каждым сохранением запроса. При этом рекомендуется вручную удалять автоматически добавляемый шаг «Измененный тип».

Импорт данных из Power Query

Что делать с данными после преобразования в Power Query? Как добавить их в другие программы? Разберем несколько доступных вариантов импорта данных.

Для начала следует определить подходящие способы в процессе сохранения запроса («Главная» — «Закрыть и загрузить в…»). В сохраненном запросе параметры импорта задаются на вкладке «Запросы и подключения» путем клика правой клавишей мыши по названию запроса и выбора «Загрузить в…».

В редакторе Excel предлагается импортировать преобразованные данные одним из нескольких способов:

• Выгрузка на лист

Сперва задаем способ представления данных, затем переходим во вкладку «Таблица», далее вставляем данные на лист. При этом автоматически создается смарт-таблица.

• Сводная таблица (диаграмма)

Здесь после определения способа представления нужно перейти в «Отчет сводной таблицы» («Сводная таблица»). Импорт данных будет выполнен в соответствующем виде.

• Только подключение

Для сохранения запроса следует выбрать пункт «Только создать подключение».

• Добавление данных в модель данных

Активация пункта «Добавить эти данные в модель данных» приводит к добавлению выбранных данных в модель Power Pivot.

Использование Power Query в продуктах и службах «Майкрософт»

Различные продукты от Microsoft могут так или иначе поддерживать Power Query. Таблица, приведенная ниже, демонстрирует наличие либо отсутствие этой настройки в конкретном ПО.

Итак, Power Query обладает внушительным арсеналом средств для автоматизации рутинных действий, связанных с обработкой данных из различных источников. У каждого опытного пользователя MS Excel эта надстройка должна быть подключена, изучить ее возможности под силу практически каждому.

Power Query — это технология подключения к данным для их последующего анализа. Power Query – инструмент бизнес-анализа (BI), который ранее могли использовать только подготовленные ИТ-специалисты. Сегодня Microsoft стремится сделать BI доступным обычному пользователю Excel. Power Query способен подключаться к нескольким источникам данных, объединять их и помещать в одну электронную таблицу. Power Query управляет данными еще до того, как они попадут в Excel. Данные Power Query можно загрузить непосредственно на лист Excel или в модель данных Excel. При загрузке данных на лист Excel они отображаются в виде таблицы, которую можно обновить (она повторно подключается к источнику и извлекает новые данные). Работа с моделью данных описана в Марк Мур. Power Pivot.

Скачать заметку в формате Word или pdf, примеры в архиве. Оригинальные рабочие файлы можно также скачать здесь.

Установка Power Query

Функции Power Query доступны в версиях Excel 2016 и 2019 на вкладке Данные в области Получить и преобразовать данные (рис. 1).

Рис. 1. Функции Power Query доступны в Excel 2016 или 2019 на вкладке Данные

Если вы используете Excel 2010 или 2013 загрузите Power Query с сайта Microsoft (выберите 32- или 64-битный вариант). Не все конфигурации поддерживают Power Query (например, на одном из ПК у меня установлен MS Office для дома и учебы 2013; на нем Power Query не запустился). В более ранних версиях Excel Power Query не работает. Для установки Power Query закройте Excel, загрузите msi-файл, запустите его, следуйте подсказкам. Если установка прошла успешно, вы увидите новую вкладку в Excel (рис. 2).

Рис. 2. Вкладка Power Query в Excel 2010 или 2013; чтобы увеличить изображение кликните на нем правой кнопкой мыши и выберите Открыть картинку в новой вкладке

Подключение к источникам данных

Power Query может подключаться к различным типам источников данных:

• Из Интернета. При нажатии на эту кнопку, появится окно ввода URL-адреса для извлечения данных.
• Из файла. Именно этому варианту посвящена основная часть настоящей заметки.
• Из базы данных. Иногда ИТ-специалисты защищают свои базы данных и не предоставляют к ним доступ. Скажите, что вам нужен доступ только для чтения.
• Из облака Azure, где вы можете хранить собственные данные, или через Azure Marketplace приобрести доступ к наборам данных. Существуют наборы данных, связанные с демографией, статистикой занятости и погодными условиями.
• Из других источников. Например, из Facebook.

Извлечение данных из Интернета

Откройте Excel. Перейдите на вкладку Power Query или Данные (в зависимости от версии Excel). Нажмите на кнопку Из интернета. В появившемся окне введите URL-адрес http://markmoorebooks.com/powerquery-capitals/ После подключения Power Query появится окно навигатора (рис. 3). В левой части окна отображаются таблицы, доступные на веб-странице. Эта конкретная веб-страница на сайте Майка Мура имеет только одну таблицу.

Рис. 3. Окно навигатора

Щелкните по Table 0. В правой части окна появится предварительный просмотр несколько записей из всего массива данных с веб-страницы. Пока данные не загружены в Excel, и вы можете просто их изучить (нет необходимости загружать сотни или тысячи записей в Excel только для того, чтобы узнать, что вы выбрали неверную таблицу. Можно также обновить запрос, нажав пиктограмму маленькой страницы в правом верхнем углу окна навигатора. Это удобно, если вы подключаетесь к таблице, которая часто меняется, например, это данные валютного курса или цены на акции. Если вы выбрали верную таблицу, нажмите Загрузить. Excel подключится к веб-странице и загрузит данные (рис. 4).

Рис. 4. Загруженная таблица

Загруженные данные можно обновить несколькими способами:

• Щелкните правой кнопкой мыши на ячейке таблицы. Выберите в меню Обновить.
• Выберите ячейку в таблице. Пройдите по меню Данные –> Запросы и подключения –> Обновить всё -> Обновить.

Это самый простой способ загрузки данных в Excel с помощью Power Query. Вы подключились к источнику и извлекли необработанные данные. Иногда этого недостаточно. Но даже в этом простом примере есть ошибка. Обратите внимание, что заголовки столбцов рассматриваются как строки данных, а не как строки заголовков. Чтобы исправить это, необходимо сформировать данные.

Запросы книги Excel

Power Query запоминает, как он ранее загружал данные. Каждая загрузка хранится в пакете запроса. Пакет запроса отображается на панели Запросы и подключения. Давайте поправим наш запрос. Наведите курсор мыши на Table 0. Вы увидите информацию о запросе (рис. 5). Кликните Изменить. Откроется редактор запросов.

Рис. 5. Информация о запросе

Редактор запросов

Рассмотрим работу редактора на примере CSV-файла. Перейдите на вкладку Данные, кликните на кнопке Из текстового/CSV файла. Выберите тестовый файл StatesAndCapitals.csv. Нажмите Импорт. В окне импорта кликните Изменить. Откроется окно Редактора запросов. Здесь очень много функций, которые позволяют подготовить данные к импорту.

Рис. 6. Редактор Power Query

Книга может содержать несколько запросов. Если кликнуть на стрелке 1 (см. рис. 6) можно переключаться между запросами. Автофильтр (2) был создан автоматически. Можно нажать кнопки для фильтрации данных. Кнопка 3 дает доступ к тем же функциям, что и на ленте. Если вам нужно изменить порядок столбцов, щелкните заголовок столбца и перетащите в нужное место. Вы можете задать имена столбцов по своему усмотрению. Щелкните правой кнопкой мыши по столбцу и выберите Переименовать.

Обратите внимание, что без Power Query вам нужно было бы импортировать все данные в Excel, а затем применить автофильтр. Что произойдет, если весь набор данных не помещается на листе? Вам нужно будет придумать, как разделить данные на меньшее количество строк. С помощью Power Query можно использовать редактор запросов для просмотра данных, их фильтрации и импорта в Excel только интересующих вас записей. Кроме того, Power Query запоминает все выполненные действия. Вы можете обновить запрос, и все шаги будут выполнены повторно.

Параметры запроса

Справа в окне редактора расположены Параметры запроса. Вы можете переименовать запрос (см. цифру 4 на рис. 6). Сейчас запрос называется StatesAndCapitals. Ниже записываются действия в рамках запроса. Таким образом Power Query запоминает, что вы сделали, и повторно применяет все шаги при нажатии кнопки Обновить. Здесь вы также можете изменить порядок шагов.

Подробнее о функциях ленты Редактора Power Query. На вкладке Главная крайняя слева группа Закрыть представлена одной кнопкой Закрыть и загрузить (рис. 7).

Рис. 7. Кнопка Закрыть и загрузить

Кнопка закрывает Редактор и помещает данные в электронную таблицу. По умолчанию, данные будут загружены на текущий лист и представлены в форме Таблицы. Если вы нажмете на стрелку, то получите доступ к дополнительной опции Закрыть и загрузить в…, позволяющей загрузить результат запроса на другой лист и в другом формате (рис. 8).

Рис. 8. Дополнительные опции кнопки Закрыть и загрузить

Группа Запрос включает 4 кнопки (рис. 9).

Рис. 9. Группа Запрос

Если исходные данные, загруженные в Редактор, постоянно изменяются (например, это котировки акций или база данных), кнопка Обновить предварительный просмотр подсоединится к источнику данных и обновит данные в Редакторе.

Кнопка Свойства (рис. 10) открывает окно, в котором можно переименовать запрос, добавить описание или задать опцию Быстрая загрузка данных (при этом Excel может подвиснуть).

Рис. 10. Свойства запроса

Кнопка Расширенный редактор позволяет редактировать запрос на уровне кода (рис. 11). Power Query использует новый язык программирования под названием M.

Рис. 11. Расширенный редактор

Кнопка Управление позволяет (рис. 12):

• удалить запрос;
• создать идентичный запрос (продублировать), с тем чтобы сохранить текущий запрос, а дубль продолжить редактировать;
• создать запрос, ссылающийся на текущий запрос.

Рис. 12. Кнопка Управление

Группа Управление столбцами.

Рис. 13. Группа Управление столбцами

Опция Выбор столбцов открывает окно, в котором можно выбрать столбцы для импорта в Excel. Опция Перейти к столбцу также открывает новое окно, в котором представлен список всех столбцов, и есть окно поиска. Эти опции удобнее обычных средств, если таблица очень большая, и ее сложно обозреть на экране. Опция Удалить столбцы удаляет выбранный столбец из запроса. А опция Удалить другие столбцы удаляет все остальные столбцы, кроме выбранного.

Для следующего небольшого упражнения должен быть открыт Редактор запросов с данными StatesAndCapitals. Щелкните столбец Column2, чтобы выделить его (рис. 14).

Рис. 14. Выделение столбца в Редакторе запросов

Щелкните кнопку Удалить столбцы. Column2 теперь нет. На самом деле, нам еще понадобится этот столбец. Чтобы вернуть его перейдите в окно Параметры запроса и отмените удаление столбца, щелкнув значок рядом с пунктом Удаленные столбцы (рис. 15). Column2 восстановится. Вы можете рассматривать записанные шаги как пункты множественной отмены.

Рис. 15. Отмена последнего шага Удалить столбцы

Группа Сократить строки позволяет сохранить или удалить заданное число строк, начиная с выбранной (рис. 16). Опция Удалить чередующиеся строки позволяет выполнить систематическую выборку. Например, вы хотите сохранить каждую N-ю запись. Если вы добавили вычисляемые столбцы в Power Query, некоторые из вычислений могут приводить к ошибке. Такие строки можно удалить опцией Удалить ошибки.

Рис. 16. Группа Сократить строки

Следующая группа позволяет отсортировать данные по возрастанию или убыванию на основе выбранного столбца.

Группа Преобразование (рис. 17). Это, наверное, самое мощное средство Power Query. Рассмотрим пример. Если у вас был открыт Редактор запросов, закройте его.

Рис. 17. Группа Преобразование

В качестве источника используем файл Excel, содержащий отчасти некорректные записи. В меню Данные кликните Получить данные –> Из файла –> Из книги. Выберите SalesData.xlsx. Выберите Table1 в окне Навигатора. Предварительный просмотр таблицы появится в правой части окна (рис. 18).

Рис. 18. Окно навигатора с предварительным просмотром данных из Table1

Поскольку вы хотите изменить данные перед загрузкой в Excel, не нажимайте кнопку Загрузить, вместо этого нажмите кнопку Изменить. Откроется Редактор запросов. Структура этого файла не соответствует принятым стандартам базы данных. Столбец Регион содержит собственно регион и через дефис имя продавца. Разделим этот столбец на два. Щелкните на столбце Регион, чтобы выбрать его. Нажмите кнопку Разделить столбец, а затем по разделителю. Откроется окно Разделить столбец по разделителю (рис. 19). Excel сообразил и подставил в первое поле  —Пользовательский—, а во второе знак дефиса. Если этого не произойдет, сделайте установки вручную. Нажмите OK. Столбец разделится на два. Переименуйте новые столбцы.

Рис. 19. Окно разделения столбца по разделителю

Обратите внимание на три варианта в поле Разделение по. Вы можете столкнуться с проблемой, если разделитель используется также внутри данных. Например, North-East-Lisa, или West-Jean-Paul. Расширенные параметры позволяют в качестве разделителя указать специальный символ.

Замените регион Intl на International. Для этого выделите столбец Регион, щелкните на кнопке Замена значений. В открывшемся окне заполните поля (рис. 20). Нажмите Ok.

Рис. 20. Замена значений

Обратите внимание, если вы поместите art в поле Значение для поиска, замена выполнится для фрагментов слов artist, part, rampart и т.д. Воспользуйтесь опцией Ячейки целиком в поле Расширенные параметры (рис. 21). Здесь также можно добавить некоторые специальные символы в поля Найти и Заменить.

Рис. 21. Расширенные параметры окна Замена значений

Кнопка Тип данных. Большую часть времени пользователям Excel не нужно беспокоиться о типах данных. Excel (и Power Query) сами определяют, что перед ними: число, текст или дата. Однако, поскольку вы собираетесь выполнять анализ импортированных данных или включать их в диаграмму, лучше убедиться, что данные соответствуют ожиданиям, сразу при импорте, а не изменять их позже. Изменение типов данных при импорте также поможет выявить неточности. Продолжим работу с текущим запросом.

Щелкните заголовок столбца Дата, чтобы выбрать столбец. Нажмите кнопку Тип данных. Выберите в меню Дата (рис. 22). Первая строка содержит ошибку. Что-то пошло не так с изменением типа данных. Удалите последний шаг преобразований, чтобы увидеть предыдущее значение (его также можно увидеть на рис. 20). База данных содержит ошибку – 6/32/2016.

Рис. 22. Задание типа данных

У вас есть несколько способов исправить ошибку:

• Можно удалить строки, содержащие ошибку (пройдите в Редакторе по меню Сократить строки –> Удалить строки –> Удалить ошибки)
• Можно добавить вычисляемый столбец, который проверяет ошибки и заменяет их датой по умолчанию.
• Можно исправить данные (в исходном файле).

Способ, которым вы решите исправить ошибку, зависит от вас. Задача примера – показать, что внимание в отношении правильных типов данных помогает обнаружить ошибки.

Название опции Использовать первую строку в качестве заголовка говорит само за себя.

Кнопка Группировать по позволяет суммировать данные по мере необходимости. Закройте текущий запрос, нажав Закрыть и загрузить. Начнем работу с новым запросом. Перейдите на новый лист Excel. Пройдите по меню Данные –> Получить данные –> Из файла –> Из книги. Импортируйте файл GroupBy.xlsx. Выберите Table2. Нажмите Изменить, чтобы перейти в Редактор запросов. Предположим, вам нужно отобразить среднее кол-во проданных изделий в разрезе регионов. Нажмите кнопку Группировать по. В открывшемся окне введите значения, как на рис. 23. Нажмите Ok.

Рис. 23. Параметры группировки

Ваш набор данных изменяется, и теперь у вас есть только регионы и среднее кол-во проданных изделий (рис. 24). Для красоты замените регион Intl на International, отсортируйте регионы по алфавиту, назначьте формат для среднего кол-ва – Целое число.

Рис. 24. Среднее кол-во проданных изделий по регионам

Также можно сгруппировать несколько столбцов. Если вы остались в Редакторе запросов, перейдите к области Параметры запроса и щелкните значок x рядом с Сгруппированные строки, чтобы удалить группировку.

Рис. 25. Отмена группировки

Выделите столбец Region. Нажмите кнопку Группировать по. Включите режим Подробнее (рис. 26). Нажмите кнопку Добавление группирования, чтобы добавить еще один столбец. Измените установки, как показано на рис. 26. Нажимать Ok.

Рис. 26. Группировка по двум столбцам

В наборе данных теперь есть среднее количество проданных товаров для каждой комбинации региона и продавца (рис. 27).

Рис. 27. Исходные данные, сгруппированные по регионам и продавцам

Вы можете спросить, зачем всё это нужно? Ведь Excel уже имеет сводные таблицы… Excel предоставляет различные способы выполнить одну и туже работу. Power Query может быть лучше, чем сводная таблица (или формулы) в следующих ситуациях:

• Кол-во строк более 1 млн, что не позволит разместить всю базу данных на одном листе.
• Файл Excel и так подтормаживает. Еще одна сводная таблица еще более замедлит расчеты.
• Вам нужно очистить данные, прежде чем собрать их в сводную таблицу. Поскольку данные в последующем будут обновляться, это может потребовать постоянной их «чистки».

Добавление запроса

Речь о добавлении второго запроса. Чтобы это было возможно, два источника данных должны иметь идентичные структуры: одинаковое количество столбцов, одинаковые типы данных в каждом столбце, одинаковые имена столбцов, одинаковый порядок столбцов.

Рассмотрим, например, файлы JanSales.xlsx и FebSales.xlsx. Они имеют одинаковую структуру, в них просто содержатся данные за разные месяцы. Задача – объединить данные из этих файлов. Создайте запрос для JanSales.xlsx. Оставаясь в Редакторе запросов создайте новый запрос, пройдя по меню Главная –> Новый запрос –> Создать источник –> Файл –> Excel (рис. 28).

Рис. 28. Новый запрос

Выберите FebSales.xlsx. Теперь у вас есть два запроса в книге (рис. 29).

Рис. 29. Два запроса

Нажмите на ленте кнопку Добавить запросы. Выберите таблицу, которая не является текущей (рис. 30). Нажмите Ok. Теперь оба запроса объединены в один – FebSales. Нажмите Закрыть и загрузить. Данные по продажам за два месяца отразятся на одном листе Excel. На их основе можно построить сводную таблицу или дашборд.

Рис. 30. Добавление новой таблицы к текущей

При добавлении запросов источники данных не обязательно должны быть одного типа. Можно объединить файл CSV с файлом Excel, если они имеют одинаковую структуру. Даже если первоначально у них разная структура, вы можете привести их к единой структуре в процессе обработки данных в Редакторе запросов.

Объединение запросов

Эта опция описывает ситуацию, когда у вас есть две таблицы, и у них есть одно общее поле, которое можно использовать для создания связи между таблицами и извлечения записей из обеих таблиц на основе общего значения. Например, у вас есть таблица с клиентами, и другая таблица со счетами клиентов. Каждый клиент может иметь один или несколько счетов-фактур (это один ко многим). Вы можете использовать Power Query для агрегирования счетов по клиентам.

Перейдите на новый лист. Импортируйте Companies.csv. Оставаясь в Редакторе запросов, пройдите по меню Создать источник –> Файл –> Текстовый или CSV-файл. Откройте CompanyInvoice.csv. У вас два запроса в одном файле (рис. 31).

Рис. 31. Клиенты и счета

Каждая компания имеет свой идентификатор и продавца (левая таблица). Справа показано, что каждая компания имеет несколько счетов. Цель – создать запрос, который будет возвращать информацию по компании и сумму всех счетов-фактур. Щелкните на запрос Company, чтобы выбрать его. Щелкните Объединить запросы. Появится окно Слияние (рис. 32). Выберите запрос для слияния – CompanyInvoice и установите Тип соединения. Кликните на поле CompanyID в обеих таблицах (это создает связь между таблицами). Нажмите Ok.

Рис. 32. Окно Слияние

Вы связали исходные файлы. В окне Редактора отображается новый столбец. Вам нужно нажать на новый столбец и сообщить Power Query, какие записи нужно вернуть и что вы хотите выполнить агрегацию. Нажмите на двойную стрелку в NewColumn (рис. 33). Выберите Агрегирование (при этом параметры изменятся). Выберите Сумма Invoice Total. Кликните Ok. Вы создали запрос, который объединяет два CSV-файла и вычисляет общую сумму счетов по клиенту (рис. 34).

Рис. 33. Завершение агрегации двух таблиц

Рис. 34. Агрегированная таблица

Типы соединений

Power Query позволяет определить несколько типов соединений между таблицами (рис. 35):

• Внешнее соединение слева. Запрос вернет все записи из левой таблицы и только совпадающие записи из правой таблицы.
• Внешнее соединение справа. Запрос вернет все записи из правой таблицы и только совпадающие записи из левой таблицы.
• Полное внешнее. Запрос вернет все записи из обеих таблиц.
• Внутреннее. Это наиболее распространенный тип. Запрос вернет записи из обеих таблиц, где общее поле равно.
• Анти-соединение слева. Запрос вернет записи из левой таблицы, в которой нет совпадений в правой таблице.
• Анти-соединение справа. Запрос вернет записи из правой таблицы, где нет совпадения в левой таблице.

Рис. 35. Типы соединений

Вкладка Преобразование

До сих пор вы рассмотрели кнопки Редактора запросов на вкладке Главная. Перейдем на вкладку Преобразование. Часть кнопок совпадает, но есть и целый ряд новых (рис. 36). Группа Таблица. Транспонирование: переключение столбцов и строк. Обратить строки: обратный порядок сортировки записей. Считать строки: подсчитывает количество строк и дает одну запись с количеством строк (это хороший способ увидеть, поместятся ли все записи на листе).

Рис. 36. Вкладка Преобразование; показаны только оригинальные кнопки; для удобства лента представлена в виде двух рядов

Группа Любой столбец. Заменить ошибки: заменяет ошибки в выбранных столбцах указанным значением (рис. 37). Заполнить: заполняет пустые ячейки данными из других строк. Это не перезапишет непустые ячейки. Полезно, когда ради украшательства таблицы не заполняют по всем строкам, а группируют, внося повторяющиеся значения один раз.

Рис. 37. Заменить ошибки

Отменить свертывание столбцов. Давайте сделаем небольшое упражнение. Закройте все открытые окна запросов. Импортируйте файл Unpivot.csv (рис. 38). Вы часто будете получать файлы в таком формате. Отдельный столбец для каждого месяца неудобен для аналитических целей. Сводную таблицу по не сделаешь. Решение – преобразовать данные внутри запроса перед импортом в Excel.

Рис. 38. Таблица в формате неудобном для дальнейшей обработки

Кликните на столбец Jan, затем нажмите Shift и кликните на столбце Dec, чтобы выбрать все столбцы месяцев. Нажмите кнопку Отменить свертывание столбцов на вкладке Преобразования. Запрос отобразит все месяцы в одном столбце и значения в следующем столбце (рис. 39). Можно переименовать столбец Атрибут в Месяц.

Рис. 39. Вид запроса после отмены свертывания столбцов

Столбец сведения: это противоположная операция. Вернитесь к запросу из предыдущего примера (рис. 39), выделите столбец Атрибут, кликните кнопку Столбец сведения, Редактор запросов создаст один столбец для каждого месяца.

Группа Столбец «Текст». Кнопку Формат можно использовать для форматирования текстовых значений в столбце (рис. 40).

Рис. 40. Кнопка Формат

Усечь: удаляет начальные и конечные пробелы из столбца (но не трогает лишние пробелы между словами). Очистить: удаляет все непечатные символы из столбца. У вас когда-нибудь была ситуация, когда вы вставляете данные в Excel, и данные переходят к следующей строке? Это потому, что исходные данные имели непечатные (и невидимые) возвраты каретки.

Извлечь: извлекает значения из столбца и заменяет их усеченными/измененными значениями (рис. 41). Например, если у вас есть столбец с полным названием месяцев – январь, февраль и т.д., – и вы использовали опцию Извлечь –> Первые символы –> 3 символа, то столбец будет преобразован в янв, фев и т.д. (с помощью опции Формат –> Добавить суффикс вы можете снабдить записи точкой на конце – янв., фев.). Опция Длина возвращает число символов в ячейке.

Рис. 41. Кнопка Извлечь

Выполнить анализ: используется для парсинга веб-сайтов, которые возвращают данные в формате XML или JSON (рис. 42).

Рис. 42. Кнопка Выполнить анализ

Группа Столбец «Количество». Команды в этой группе недоступны, пока вы не выберите столбец, содержащий числа. Все функции в этой группе изменят содержимое столбца и применят указанное вычисление (рис. 43). Например, если требуется округлить числа в столбце, щелкните Округление, а затем Округление с увеличением (вверх), Округление с уменьшением или Округление… до заданного числа знаков после запятой.

Рис. 43. Кнопки группы Столбец «Количество»

Вкладка Добавление столбца

На этой вкладке вы также увидите много знакомых кнопок. Но есть и новые (рис. 44).

Рис. 44. Новые кнопки на вкладке Добавление столбца

Настраиваемый столбец: позволяет добавлять столбцы с пользовательским расчет. Например, импортируйте файл Salesdata.xlsx (если вы выполняли примеры выше, то файл уже импортирован; данные сохранены в Table1, так что просто выберите в Редакторе соответствующий запрос и нажмите кнопку Изменить). Перейдите в Редакторе на вкладку Добавление столбца. Кликните на кнопке Настраиваемый столбец. Откроется окно Настраиваемый столбец. Переименуйте новый столбец. Кликните после знака равенства и введите формулу, как показано на рисунке (можно выбрать имя столбца, затем нажать кнопку Вставить, или дважды щелкнуть имя столбца, чтобы вставить его в поле формулы). Нажимать Ok.

Рис. 45. Окно Настраиваемый столбец

Новый столбец Сумма добавляется в запрос данных (рис. 46).

Рис. 46. Настраиваемый столбец Сумма добавляется в запрос

Столбец индекса: в новый столбец вставляет счетчик для каждой строки. Это полезно, если вам нужно запомнить или сохранить исходный порядок сортировки данных (рис. 47).

Рис. 47. Столбец индекса

Трюки в Power Query

Импорт метаданных в Excel. Метаданные – информация о файле, такая, как имя, расширение, время создания, размер и др. Откройте новую книгу Excel. Перейдите на вкладку Данные. Кликните Получить данные –> Из файла –> Из папки (рис. 48).

Рис. 48. Получение метаданных файлов

Выберите папку (рис. 49). Нажимать Ok.

Рис. 49. Выбор папки для импорта метаданных

Power Query возвращает следующие данные:

Рис. 50. Метаданные

Нажмите кнопку Закрыть и загрузить. Данные отразятся в Excel в виде таблицы. Чтобы увидеть, как это работает в проводнике Windows перейдите к выбранной папке. Создайте новый файл (любого типа) и сохраните его в эту папку. Я поместил в ней файл с картинкой. Вернитесь в Excel. Кликните правой кнопкой мыши на таблице и выберите Обновить. Новый файл появится в таблице (рис. 51).

Рис. 51. После обновления таблица содержит новый файл

В Редакторе запросов есть столбец с именем Attributes (он есть на рис. 50, но не на рис. 51). В столбце есть иконка с двумя стрелками. Если вы нажмете на эту стрелку, вы получите всплывающее окно, где вы можете включить дополнительные метаданные обо всех файлах (рис. 52).

Рис. 52. Перечень всех доступных метаданных

Загрузка нескольких файлов одной командой. Воспользуемся папкой MonthlySales, в которой имеется два файла: JanSales.csv и FebSales.csv. Откройте новую книгу Excel. Перейдите на вкладку Данные. Кликните Получить данные –> Из файла –> Из папки. Выберите папку MonthlySales. Нажимать Ok. Пока мы в точности повторили первые шаги процедуры загрузки метаданных. Однако, обратите внимание на значок в первом столбце (рис. 53). Кликните на него, и начнется загрузка содержимого файлов.

Рис. 53. Пиктограмма загрузки содержимого файлов

Откроется окно Объединить файлы (рис. 54). Нажмите Ok. Данные из двух файлов объединены в одном запросе.

Рис. 54. Окно Объединить файлы

Можете удалить столбец Sourse.Name. Нажмите Закрыть и загрузить.

Рис. 55. Запрос, объединяющий все файлы в папке

Когда вы получите файл данных за следующий месяц, просто сохраните его в той же папке и обновите таблицу. Power Query снова прочитает содержимое папки, и новый месяц будет включен в таблицу Excel. Другими словами, при нажатии кнопки Обновить Power Query будет обрабатывать все файлы в папке.

Больше информации о Power Query см. Кен Пульс и Мигель Эскобар. Язык М для Power Query.

Термины «Power Query», «Power Pivot», «Power BI» и прочие «пауэры» все чаще всплывают в статьях и материалах о Microsoft Excel. По моему опыту, далеко не все ясно представляют себе что скрывается за этими понятиями, как они между собой взаимосвязаны и как могут помочь простому пользователю Excel.

Давайте проясним ситуацию.

Power Query

Еще в 2013 году специально созданная группа разработчиков внутри Microsoft выпустила для Excel бесплатную надстройку Power Query (другие названия — Data Explorer, Get&Transform), которая умеет массу полезных для повседневной работы вещей:

• Загружать данные в Excel из почти 40 различных источников, среди которых базы данных (SQL, Oracle, Access, Teradata…), корпоративные ERP-системы (SAP, Microsoft Dynamics, 1C…), интернет-сервисы (Facebook, Google Analytics, почти любые сайты).
• Собирать данные из файлов всех основных типов данных (XLSX, TXT, CSV, JSON, HTML, XML…), как поодиночке, так и сразу оптом — из всех файлов указанной папки. Из книг Excel можно автоматически загружать данные сразу со всех листов.
• Зачищать полученные данные от «мусора»: лишних столбцов или строк, повторов, служебной информации в «шапке», лишних пробелов или непечатаемых символов и т.п.
• Приводить данные в порядок: исправлять регистр, числа-как-текст, заполнять пробелы, добавлять правильную «шапку» таблицы, разбирать «слипшийся» текст на столбцы и склеивать обратно, делить дату на составляющие и т.д.
• Всячески трансформировать таблицы, приводя их в желаемый вид (фильтровать, сортировать, менять порядок столбцов, транспонировать, добавлять итоги, разворачивать кросс-таблицы в плоские и сворачивать обратно).
• Подставлять данные из одной таблицы в другую по совпадению одного или нескольких параметров, т.е. прекрасно заменяет функцию ВПР (VLOOKUP) и ее аналоги.

Power Query встречается в двух вариантах: как отдельная надстройка для Excel 2010-2013, которую можно скачать с официального сайта Microsoft и как часть Excel 2016. В первом случае после установки в Excel появляется отдельная вкладка:

В Excel 2016 весь функционал Power Query уже встроен по умолчанию и находится на вкладке Данные (Data) в виде группы Получить и преобразовать (Get & Transform):

Возможности этих вариантов совершенно идентичны.

Принципиальной особоенностью Power Query является то, что все действия по импорту и трансформации данных запоминаются в виде запроса — последовательности шагов на внутреннем языке программирования Power Query, который лаконично называется «М». Шаги можно всегда отредактировать и воспроизвести повторно любое количество раз (обновить запрос).

Основное окно Power Query обычно выглядит примерно так:

По моему мнению, это самая полезная для широкого круга пользователей надстройка из всех перечисленных в этой статье. Очень много задач, для которых раньше приходилось либо жутко извращаться с формулами, либо писать макросы — теперь легко и красиво делаются в Power Query. Да еще и с последующим автоматическим обновлением результатов. А учитывая бесплатность, по соотношению «цена-качество» Power Query просто вне конкуренции и абсолютный must have для любого средне-продвинутого пользователя Excel в наши дни.

Power Pivot

Power Pivot — это тоже надстройка для Microsoft Excel, но предназначенная немного для других задач. Если Power Query сосредоточена на импорте и обработке, то Power Pivot нужен, в основном, для сложного анализа больших объемов данных. В первом приближении, можно думать о Power Pivot как о прокачанных сводных таблицах.

Общие принципы работы в Power Pivot следующие:

1. Сначала мы загружаем данные в Power Pivot — поддерживается 15 различных  источников: распространенные БД (SQL, Oracle, Access…), файлы Excel, текстовые файлы, веб-каналы данных. Кроме того, можно использовать Power Query как источник данных, что делает анализ почти всеядным.
2. Затем между загруженными таблицами настраиваются связи или, как еще говорят, создается Модель Данных. Это позволит в будущем строить отчеты по любым полям из имеющихся таблиц так, будто это одна таблица. И никаких ВПР опять же.
3. При необходимости, в Модель Данных добавляют дополнительные вычисления с помощью вычисляемых столбцов (аналог столбца с формулами в «умной таблице») и мер (аналог вычисляемого поля в сводной). Всё это пишется на специальном внутреннем языке Power Pivot, который называется DAX (Data Analysis eXpressions).
4. На листе Excel по Модели Данных строятся интересующие нас отчеты в виде сводных таблиц и диаграмм.

Главное окно Power Pivot выглядит примерно так:

А так выглядит Модель Данных, т.е. все загруженные таблицы с созданными связями:

У Power Pivot есть ряд особенностей, делающих её уникальным инструментом для некоторых задач:

• В Power Pivot нет предела по количеству строк (как в Excel). Можно грузить таблицы любого размера и спокойно работать с ними.
• Power Pivot очень хорошо умеет сжимать данные при загрузке их в Модель. 50 Мб исходный текстовый файл может легко превратиться в 3-5 Мб после загрузки.
• Поскольку «под капотом» у Power Pivot, по сути, полноценный движок базы данных, то с большими объемами информации он справляется очень быстро. Нужно проанализировать 10-15 млн. записей и построить сводную? И все это на стареньком ноутбуке? Без проблем!

К сожалению, пока что Power Pivot входит не во все версии Excel. Если у вас Excel 2010, то скачать её можно бесплатно с сайта Microsoft. А вот если у вас Excel 2013-2016, то всё зависит от вашей лицензии, т.к. в некоторых вариантах она включена (Office Pro Plus, например), а в некоторых нет (Office 365 Home, Office 365 Personal и т.д.) Подробнее об этом можно почитать тут.

Power Maps

Эта надстройка впервые появилась в 2013 году и первоначально называлась GeoFlow. Она предназначена для визуализации гео-данных, т.е. числовой информации на географических картах. Исходные данные для отображения берутся все из той же Модели Данных Power Pivot (см. предыдущий пункт).

Демо-версию Power Map (почти не отличающуюся от полной по возможностям, кстати) можно совершенно бесплатно загрузить опять же с сайта Microsoft. Полная же версия включена в некоторые пакеты Microsoft Office 2013-2016 вместе с Power Pivot — в виде кнопки 3D-карта на вкладке Вставка (Insert — 3D-map):

Ключевые особенности Power Map:

• Карты могут быть как плоскими, так и объемными (земной шар).
• Можно использовать несколько разных типов визуализации (гистограммы, пузырьковые диаграммы, тепловые карты, заливку областями).
• Можно добавлять измерение времени, т.е. анимировать процесс и смотреть на него в развитии.
• Карты подгружаются из сервиса Bing Maps, т.е. для просмотра нужен весьма шустрый доступ в интернет. Иногда возникают сложности с правильным распознаванием адресов, т.к. названия в данных не всегда совпадают с Bing Maps.
• В полной (не демо) версии Power Map можно использовать собственные загружаемые карты, например визуализировать посетителей торгового центра или цены на квартиры в жилом доме прямо на строительном плане.
• На основе созданных гео-визуализаций можно прямо в Power Map создавать видеоролики (пример), чтобы поделиться ими потом с теми, у кого надстройка не установлена или включить в презентацию Power Point.

Power View

Эта надстройка появилась впервые в составе Excel 2013 и предназначена для «оживления» ваших данных — построения интерактивных графиков, диаграмм, карт и таблиц. Иногда для этого используют термины дашборд (dashboard) или панель показателей (scorecard). Суть в том, что вы можете вставить в ваш файл Excel специальный лист без ячеек — слайд Power View, куда добавить текст, картинки и массу различного типа визуализаций по вашим данным из Модели Данных Power Pivot.

Выглядеть это будет примерно так:

Нюансы тут такие:

• Исходные данные берутся всё оттуда же — из Модели Данных Power Pivot.
• Для работы с Power View необходимо установить на вашем компьютере Silverlight — майкрософтовский аналог Flash (бесплатный).

На сайте Microsoft, кстати, есть весьма приличный обучающий курс по Power View на русском языке.

Power BI

В отличие от предыдущих, Power BI — это не надстройка для Excel, а отдельный продукт, представляющий собой целый комплекс средств для бизнес- анализа и визуализации. Он состоит из трех ключевых элементов:

1. Power BI Desktop — программа для анализа и визуализации данных, включающая в себя, помимо прочего, весь функционал надстроек Power Query и Power Pivot + улучшенные механизмы визуализации из Power View и Power Map. Скачать и установить её можно совершенно бесплатно с сайта Microsoft.

В Power BI Desktop можно:

• Загружать данные из более чем 70 различных источников (как в Power Query + дополнительные коннекторы).
• Связывать таблицы в модель (как в Power Pivot)
• Добавлять к данным дополнительные вычисления с помощью мер и вычисляемых столбцов на DAX (как в Power Pivot)
• Создавать на основе данных красивейшие интерактивные отчеты с разного типа визуализациями (очень похоже на Power View, но еще лучше и мощнее).
• Публиковать созданные отчеты на сайте Power BI Service (см. следующий пункт) и делиться ими с коллегами. Причем есть возможность давать разные права (чтение, редактирование) разным людям.

2. Онлайн-сервис Power BI — упрощенно говоря, это сайт, где у вас и у каждого пользователя в вашей компании будет своя «песочница» (workspace) куда можно загружать созданные в Power BI Desktop отчеты. Помимо просмотра, позволяет их даже редактировать, воспроизводя онлайн почти весь функционал Power BI Desktop. Также сюда можно заимствовать отдельные визуализации из чужих отчетов, собирая из них свои авторские дашборды.

Выглядит это примерно так:

3. Power BI Mobile — приложение для iOS / Android / Windows для подключения к Power BI Service и удобного просмотра (не редактирования) созданных отчетов и дашбордов прямо на экране телефона или планшета. Скачать его (совершенно бесплатно) можно тут.

На iPhone, например, созданный выше отчет выглядит так:

Причем всё это с сохранением интерактивностии и анимации + заточенность под тач и рисование по экрану пером. Очень удобно. Таким образом, бизнес-аналитика становится доступной всем ключевым лицам компании в любой момент и в любом месте — нужен только доступ в интернет.

Тарифные планы Power BI. Power BI Desktop и Mobile бесплатны изначально, большинство функций Power BI Service — тоже. Так что для персонального использования или применения в пределах небольшой компании за всё вышеперечисленное не нужно платить ни копейки и можно смело оставаться на плане Free. Если вы хотите делиться отчетами с коллегами и администрировать их права доступа, то придется перейти на Pro (10$ в месяц за пользователя). Есть еще Premium — для больших компаний (>500 пользователей), которым требуются для данных отдельные хранилища и серверные мощности.

Ссылки по теме

• Проектная диаграмма Ганта в Excel с помощью Power Query
• Как создать в Excel базу данных с помощью Power Pivot
• Визуализация движения по маршруту на карте в Power Map

Файлы к уроку:

• Для спонсоров Boosty
• Для спонсоров VK

Ссылки:

• Страница курса
• Плейлист YouTube
• Плейлист ВК

Описание

В этом уроке вы узнаете:

• Зачем нужен Power Query
• История Power Query
• Как установить Power Query в Excel
• Зачем нужен Power Query
• Как создать запрос в Power Query

В этом вводном уроке курса Excel Power Query на 1-2-3 мы узнаем, что такое Power Query, зачем он нужен, как его установить и запустить.

Power Query — это встроенный инструмент Excel для получения и преобразования данных (Get and Transform).

Специалистам по Excel приходится каждый день тратить уйму времени на преобразование данных. Мы работаем с разными источниками и данные далеко не всегда приходят в удобном виде.

Например, каждый месяц вы получаете таблицу с ответами на вопросы теста сотрудников компании, где вы работаете в таком виде:

Первый столбец — это дата прохождения теста. 2 следующих столбца — это информация о сотруднике и точке продаж. Далее множество столбцов с ответами на вопросы, а вопрос находится в заголовках столбцов. Ваша задача — получить такую таблицу:

Для каждого сотрудника здесь указано количество ответов, количество верных ответов, результат теста и перечень вопросов с неверными ответами.

В Excel эта задача решается долго и тяжело. Если тесты происходят, например, раз в неделю, то каждую неделю вам придется тратить уйму времени на обработку файлов. Более того, чтобы решить эту задачу стандартными возможностями Excel нужен достаточно высокий уровень владения.

Как вы думаете, сколько времени уйдет на решение этой задачи в Excel Power Query? Всего несколько минут. Более того, вам достаточно решить эту задачу всего 1 раз. А когда придут новые данные достаточно будет всего лишь нажать «Обновить».

Решение

Запуск Power Query

Если у вас Excel от 2016 версии и новее, то Power Query устанавливать не нужно. Он уже встроен в Excel.

Если у вас Excel 2010 или 2013, то Power Query нужно сначала скачать. Перейдите по ссылке https://www.microsoft.com/ru-ru/download/details.aspx?id=39379 и нажмите «Скачать». Потом отметьте галочкой файл для вашей разрядности операционной системы (64 или 32 бит). После скачивания файла запустите установку.

Теперь в главном меню Excel должна появиться еще одна вкладка. Если вкладка не появилась, то перейдите в меню Файл — Параметры — Настройки — Управление — Надстройки СОМ. В открывшемся окне отметьте галочкой пункт Power Query.

Добавить кнопки Power Query на панель быстрого доступа

Я рекомендую добавить кнопки для работы с Power Query на панель быстрого доступа. Это ускоряет работу. Я настоятельно рекомендую добавить 3 команды:

• Изменить запрос
• Запросы и подключения
• Запустить редактор запросов

Если вы не знаете как добавлять кнопки в панель быстрого доступа, то посмотрите видео-версию урока на YouTube.

Нажмите «Настройка панели быстрого доступа». В появившемся окне справа снизу найдите кнопку «Экспорт/импорт». Нажмите ее и укажите путь к скачанному файлу.

Предварительные настройки Power Query

Откройте редактор запросов любым удобным способом:

• При помощи созданной кнопки в панели быстрого доступа
• Вкладка Данные — Группа Получить и преобразовать данные — Получить данные — Запустить редактор запросов

В окне Редактора запросов нажмите Файл — Параметры и настройки — Параметры запроса. В пункте Загрузка данных сделайте настройки как на картинке:

Теперь перейдите в пункт Редактор Power Query и поставьте галочку «Отобразить редактор запросов».

Далее переходим в пункт Конфиденциальность и выбираем «Всегда игнорировать уровни конфиденциальности».

Жмем ОК. Настройки вступят в силу при следующем запуске редактора запросов.

Создаем первый запрос Power Query

Создадим первый запрос к веб-странице с таблицей состава индекса Dow Jones. Выполняем следующие действия:

1. Запускаем редактор запросов
2. Вкладка Главная — Создать источник — Другие источники — Интернет
3. Вводим адрес https://finance.yahoo.com/quote/%5EDJI/components?ltr=1
4. Нажимаем Подключение
5. Слева указываем нужную таблицу и жмем ОК

Перед вам появится следующее окно редактора запросов Power Query:

Сверху мы видим меню в привычном ленточном интерфейсе как и во всех продуктах Microsoft Office. Слева список запросов, справа примененные шаги к запросу. Теперь продолжим работать с нашим запросом.

Удалим шаг Изменить тип. Для этого в списке шагов справа нажмем на крестик слева от названия шага. Укажем тип данных для каждого столбца.

По умолчанию Power Query определил тип данных каждого столбца как текстовый. Об этом говорит пиктограмма с символами ABC слева от названий столбцов.

Попробуйте нажать на пиктограмму ABC столбца Last Price и указать тип данных десятичное число. В столбце во всех строках отобразятся ошибки. Это произошло из-за того, что в нашем регионе целая и дробная части разделяются запятыми, а в таблице с этого сайта точкой. В таком случае нужно указать тип с использованием локали.

Нажмите правой кнопкой мыши на название столбца Last Price — Тип изменения — Используя локаль. Укажите тип данных целое число и языковой стандарт Английский США. Теперь все получилось. То же самое проделайте для других числовых столбцов.

Теперь перейдите на вкладку Главная, щелкните на нижнюю часть кнопки Закрыть и загрузить, в списке выберете Закрыть и загрузить в. Отметьте пункт Таблица и укажите место, куда эту таблицу поместить, потом нажмите ОК. Наш первый запрос готов!

Power Query разное

Номер урока	Урок	Описание
1	Power Query. Знакомство с Power Query	В этом уроке мы познакомимся в Power Query. Зачем нужен Power Query Как установить Power Query Как его Настроить Как изменить запрос
2	Power Query. Подключение XML	В этом уроке мы научимся подключаться к файлам в формате XML и импортировать эти данные в Excel.
3	Power Query. Уникальные значения двух столбцов	В этом уроке мы получим уникальные значения из двух столбцов таблицы.
4	Power Query. Импорт таблиц PDF	Импорт таблиц из файла PDF, импорт таблиц из множества PDF файлов с объединением в один датасет.
5	Power Query. Собрать разбитую строку	В этом практическом уроке мы научимся соединять разбитую строку. Этот пример взят из реальной практики одного из спонсоров канала.
6	Power Query. Пивот со счетом	В этом уроке мы создадим пивот, в котором будут пронумерованы столбцы.
7	Power Query. Минимальное значение в диапазоне	В этом уроке мы найдем минимальное значение в диапазоне строк.
8	Power Query. Нарастающий итог 2	В этом уроке мы изучим еще один способ сделать нарастающий итог в Power Query.
9	Power Query. Нарастающий итог 3	В этом уроке мы разберем еще один способ выполнить нарастающий итог в Power Query.
10	Power Query. Прирост населения Китая	В этом уроке мы сравним прирост населения Китая с приростом населения мира в целом за последние 200 лет.
11	Power Query. Повторяющиеся значения в строке	В этом уроке разберем как определить есть ли в строке повторения.
12	Power Query. Таблица навигации по функциям М	В этом уроке вы узнаете как создать таблицу навигации по всем функциям языка Power Query.
13	Power Query. Удалить запросы и модель данных из книги	Разберем как быстро удалить все запросы и модель данных из текущей книги.
14	Power Query. Открыть еще 1 Excel и еще 3 трюка	В этом видео я покажу как открыть еще 1 файл Excel, если у вас уже запущен Power Query.
15	Power Query. Подключиться к ZIP архиву	Пользовательская функция для подключения к zip файлу. Подключимся к txt файлу, который находится в zip архиве.
16	Power Query. Импорт Word	Импортируем таблицу из документа Word. Для спонсоров разберем импорт таблицы с объединенными ячейками.
17	Power Query. Фильтрация списком	В этом уроке мы хотим отфильтровать таблицу при помощи списка, например, хотим получить продажи определенных товаров.
18	Power Query. Пользовательская функция Switch	В этом уроке мы создадим пользовательскую функцию Switch.
19	Power Query. Информация о формате, Чтение zip	В этом уроке мы узнаем как получить информацию о формате ячеек при помощи Power Query.
20	Power Query. Импорт данных из gz	В этом уроке мы разберем как импортировать файл в формате gz.
21	Power Query. Удалить лишние пробелы, Text.Split	В этом уроке мы научимся удалять лишние пробелы в текстовом столбце таблицы.
22	Power Query. Параметры в SQL-запросе	Вы хотите, чтобы в ваш SQL-запрос подставлялось значение из параметра, источником которого является ячейка с листа Excel.
23	Power Query. Параметры в SQL-запросе 2	Ваш запрос очень большой и количество параметров в нем большое. Как организовать все так, чтобы было удобно работать.
24	Power Query. Добавить столбец в каждую таблицу табличного столбца	В этом уроке вы узнаете как трансформировать табличный столбец, например, вы сможете добавить столбец индекса внутрь каждой таблицы табличного столбца.
25	Power Query. Интервальный просмотр 1 (ВПР 1)	Объединить 2 таблицы с интервальным просмотром = 1.
26	Power Query. Относительный путь к файлу и папке	Если ваш источник находится в той же папке, что и отчет, то вы можете указать относительный путь. В таком случае подключение не будет ломаться, если вы запустите файл на другом компьютере.
27	Power Query. Нарастающий итог в каждой категории	Применим функцию нарастающего итога не ко всей таблице, а к определенному окну.
28	Power Query. ВПР без Merge или Join	Вам нужно подставить данные из столбца другой таблицы. Как это сделать без объединения таблиц.

Есть одна вещь, которая волнует всех — как сэкономить больше времени и работать с умом.

Что ж, я уже давал много приемов и трюков Excel, которые значительно облегчат работу. Но сегодня речь пойдет о POWER QUERY. Да-да, вы все правильно поняли.

POWER QUERY — это то, что может изменить вашу жизнь. Сегодня в этой статье я поделюсь с вами некоторыми удивительными приемами Power Query, которые вы можете начать использовать прямо сейчас.

Эти советы не только помогут вам сэкономить время, но и вдохновят вас использовать POWER QUERY для управления данными. По крайней мере, я на это надеюсь.

Прежде чем мы перейдем к приемам, нужно прояснить пару моментов.

 Почему я должен использовать Power Query?

Делюсь с вами некоторыми серьезными причинами, так как хочу, чтобы вы в дальнейшем изучали Power Query.

1. Самый простой способ преобразовать ваши данные

Одной из основных причин использования Power Query — легкость преобразования данных. Обычно вы используете формулы и сводные таблицы, но с Power Query все основные задачи формирования данных могут быть выполнены в кратчайшие сроки.

2. Power Query в реальном времени

Это вторая важная причина, по которой Power Query выполняется в реальном времени, как разовая настройка.

Напишите запрос один раз, и вы можете обновлять его каждый раз, когда происходит изменение данных, также вы можете определить время автоматического обновления (Совет № 26).

3. Нужно просто несколько кликов

Как я уже сказал, обычно вы используете формулы и сводные таблицы для преобразования данных, но с POWER QUERY вы можете многое сделать, просто щелкнув мышью.

Нет необходимости писать формулы или коды.

Как установить Power Query — Шаги

Прежде чем вы начнете использовать эти приемы, в вашем Excel должен быть установлен Power Query.

И если вы один из тех пользователей Excel, у которых нет надстройки с Power Query, используйте эти шаги для ее установки.

Для Excel 2016 или Office 365:

Если вы используете версию Excel 365 или Excel 2016, она уже находится на вкладке «Данные» — «Скачать & преобразовать».

Для версий 2013 и 2010:

Прежде всего, загрузите надстройку отсюда (официальный сайт Microsoft).Как только вы загрузите файл, откройте его и следуйте инструкциям. После этого автоматически откроется вкладка «Power Query» на ленте Excel.
Если вкладка «POWER QUERY» не появляется, вам не о чем беспокоиться.

Вы можете добавить ее, используя опцию Надстройки COM.

• Перейдите на вкладку «Файл» ➜ «Параметры» ➜ «Надстройки».
• В опциях «Надстройки» выберите «Надстройки COM» и нажмите Перейти.
• После этого отметьте галочкой «Microsoft Power Query for Excel».
• В конце нажмите ОК.

Все! Теперь у вас есть новая вкладка на ленте с названием «Power Query».

Откройте Power Query и загрузите в него данные

У вас есть разные способы добавить данные в редактор Power Query. Что ж, если у вас есть данные на рабочем листе, вы можете вставить их оттуда.

• Перейдите на вкладку «Данные» ➜ «Скачать & преобразовать» ➜ Из таблицы.
• Нажмите OK, чтобы преобразовать этот диапазон в таблицу Excel.
• И сразу после этого вы получите эту таблицу в редакторе Power Query, как показано ниже.

Лучшие 25 приемов Power Query для экономии времени в повседневной работе

Теперь пришло время изучить все эти советы по Power Query. Так что давайте начнем.

1. Заменить значения

У нас есть список с некоторыми значениями, и нам нужно заменить определенное значение или некоторые значения чем-то другим.

С помощью Power Query мы можем создать запрос и заменить эти конкретные значения очень быстро. В приведенном ниже списке я хочу заменить имя «Алена» на «Алёна».

Давайте сделаем:

• Прежде всего, загрузите список в редактор Power Query.
• После этого перейдите на вкладку «Преобразование» и нажмите «Замена значений».

• Теперь в поле «Значение для поиска» введите «Алена», а в поле «Заменить на» введите «Алёна» и после этого нажмите ОК.

• После того, как вы нажмете OK, все значения будут заменены новыми. Теперь можно нажать «Закрыть и загрузить», чтобы загрузить данные в таблицу.

А вот и лучшая часть: Вы только что создали запрос в режиме реального времени. При повторном обновлении запроса он заменит все вновь введенные значения.

2. Сортировка — по возрастанию и по убыванию

Как и при обычной сортировке, вы можете сортировать данные, используя Power Query. Я использую тот же список имен, который мы использовали выше. Вот, что нужно сделать.

• Прежде всего, загрузите данные в редактор
• В редакторе Power Query у вас есть две кнопки сортировки (по возрастанию и по убыванию).
• Нажмите на любую из этих кнопок, чтобы отсортировать.

• В конце нажмите «Закрыть и загрузить», чтобы загрузить данные в таблицу.

Вы, наверное, удивлены: «Зачем мне использовать Power Query, если я могу использовать обычную сортировку на листе?»

Как я уже писал, Power Query — работает в реальном времени. Вы можете создать запрос автообновления (Совет № 26), который будет обновляться через определенное время и автоматически сортировать ваши данные.

3. Удалить столбцы

Очень часто бывает, что вы получаете откуда-то данные, и вам нужно удалить некоторые столбцы из них. Дело в том, что вы должны удалять эти столбцы каждый раз, когда добавляете новые данные.

Но с Power Query вы можете создать запрос.

Вот шаги:

• Прежде всего, откройте данные в редакторе
• После этого выберите столбец или несколько столбцов

• Теперь щелкните правой кнопкой мыши и выберите «Удалить».

• В конце нажмите «Закрыть и загрузить», чтобы загрузить данные.

Совет. Также имеется опция «Удалить другие столбцы», в которой можно удалить все невыбранные столбцы.

4. Разделить столбец

Точно так же как опция как «Текст по столбцам» есть в запросе: «Разделить столбец». Сейчас я расскажу, как это работает.

В приведенном ниже списке у вас есть имя и фамилия с дефисом между ними.

Теперь вам нужно разделить их на две колонки. Используйте эти шаги:

• Прежде всего, откройте список в редакторе
• После этого выберите столбец и перейдите на вкладку «Преобразование» ➜ «Разделить столбец» ➜ «по разделителю».

• Выберите «Пользовательский» из выпадающего списка и введите «-» в него.
• Теперь у вас есть три варианта, как разбить столбец.

1. Самый левый разделитель
2. Самый правый разделитель
3. По каждому вхождению разделителя

Поскольку у нас есть только один разделитель в ячейке, все три будут работать одинаково, но если у вас более одного разделителя, вы можете выбрать нужный.

• В конце нажмите OK и нажмите «Закрыть и загрузить», чтобы загрузить данные.

5. Переименовать столбец

Вы можете просто переименовать столбец, щелкнув правой кнопкой мыши, а затем нажмите «Переименовать».

Совет: допустим, у вас есть запрос на переименование столбца, а кто-то другой переименовал его по ошибке. Вы можете восстановить это имя одним щелчком мыши.

6. Дубликат столбца

В Power Query есть простой способ создать дубликат столбца.

Все, что вам нужно сделать, это щелкнуть правой кнопкой мыши столбец, для которого вам нужен дубликат, а затем нажать «Создать дубликат столбца».

7. Объединить столбец

Обычно для объединения столбцов и ячеек мы используем формулы в Excel, но с Power Query это можно сделать намного проще.

Помните, мы разделили список сотрудников (Совет № 4). Теперь, давайте объединим его, используя пробел.

Следуй этим шагам:

• Как только вы добавите данные в редактор, выберите оба столбца.
• После этого щелкните по ним правой кнопкой мыши и выберите «Объединить столбцы».

• Теперь в окне слияния столбцов выберите разделитель из выпадающего списка (здесь мы используем пробел) и добавьте имя для нового объединенного столбца.

• Нажмите OK и загрузите данные в таблицу.

Совет: вы также можете использовать собственный разделитель для объединения двух столбцов.

8. Транспонировать столбец или строку

В Power Query транспонирование — это проще простого. Да, всего один клик.

• Как только вы загрузите данные в редактор, вам просто нужно выбрать столбец (столбцы) или строку (и).
• Перейдите на вкладку «Преобразование» ➜ Таблица ➜ «Транспонировать».

И все.

9. Заменить / удалить ошибки

Это крутая вещь. Обычно для замены или удаления ошибок в Excel вы можете использовать опцию поиска и замены или код VBA. Но в Power Query все намного проще.

Посмотрите на столбец ниже, где у вас есть некоторые ошибки, вы можете заменить их.

Когда вы щелкнете правой кнопкой мыши по столбцу, у вас будет два варианта, как с ними справиться.

• Заменить ошибки
• Удалить ошибки

10. Изменить тип данных

Посмотрите, это обычное дело: У вас есть данные в столбце, но они не в нужном формате. Поэтому каждый раз нужно менять его формат.

В приведенном выше примере у нас есть столбец дат, но мы видим просто числа. Чтобы преобразовать их в дату, вы можете использовать Power Query. Это очень просто.

• Прежде всего, откройте данные в редакторе
• После этого выберите столбец и перейдите на вкладку Преобразование.
• Теперь из типа данных выберите «Дата».

Вот, что получилось.

Совет: в большинстве случаев Power Query автоматически определяет тип данных, но если это не так, вы можете изменить его, как в приведенном выше примере.

11. Добавить столбец из примеров

Вот в чем дело: в Power Query есть возможность добавить образец столбца, который на самом деле не является образцом, связанным с текущим столбцом. Позволь мне привести пример:

В приведенном выше примере мы преобразовали числа в даты, и теперь предположим, что вам нужно добавить столбец, в котором необходимо указать название дня недели для этих дат.

Вместо использования формулы или любого другого параметра, в Power Query мы можем использовать параметр «Добавить столбец из примеров».

Вот как это сделать:

• После того, как вы отправите свои данные в редактор, выберите столбец.
• Потом щелкните по нему правой кнопкой мыши и выберите «Добавить столбец из примеров».

• Здесь вы получите пустой столбец. Нажмите на первую ячейку столбца, чтобы получить список значений, которые вы можете вставить.

• Выберите «Название дня недели с Дата» и нажмите «ОК».

Все! Столбец заполнен.

12. Отменить таблицу

Я написал полное пошаговое руководство, чтобы отменить вывод данных в виде таблицы с помощью Power Query:

• Прежде всего, выберите данные кросс-таблицы и перейдите на вкладку «Данные».

• На вкладке данных перейдите к Скачать & Преобразовать → Из таблицы.
• Когда вы щелкнете по нему, он преобразует ваши данные кросс-таблицы в таблицу Excel (если это уже не так).
• Данные мгновенно загрузятся в редактор Power Query.

• Отсюда нам нужно выбрать все столбцы, которые мы хотим отключить.
• Для этого выберите столбец Янв, нажмите и удерживайте клавишу Shift и выберите столбец Дек.
• После этого щелкните по нему правой кнопкой мыши и выберите «Отменить свертывание столбцов».

• Теперь все значения 12-ти столбцов разделены на два столбца. В одном — месяц, в другом — сумма.

• Последнее, что вам нужно сделать, это переименовать столбцы. Для этого щелкните правой кнопкой мыши по столбцу и переименуйте их.
• В конце нажмите «Закрыть и загрузить».

Теперь ваши данные кросс-таблицы преобразуются в простые данные, и вы можете использовать их для создания сводных таблиц и всего прочего для дальнейшего анализа и составления отчетов о продажах.

13. Изменить регистр

Как в функциях, которые вы используете в Excel, в Power Query есть пакет опций для изменения регистра текста.

• нижний регистр
• ВЕРХНИЙ РЕГИСТР
• Каждое Слово С Прописной

Вы можете сделать это, щелкнув правой кнопкой мыши по столбцу и выбрать любой из трех указанных выше вариантов. Или перейдите на вкладку «Преобразование» ➜ «Столбец Текст» ➜ «Формат».

14. Усечь и Очистить

Чтобы очистить данные или удалить ненужные пробелы, вы можете использовать опции Усечь и Очистить в Power Query.

Шаги просты:

• Щелкните правой кнопкой мыши по столбцу или выберите все столбцы, если у вас несколько столбцов.
• Перейдите к опции преобразования и выберите любую из опций:

1. Усечь: для удаления лишних пробелов из ячейки.
2. Очистить: для удаления непечатаемых символов из ячейки.

15. Добавить префикс / суффикс

Итак, у вас есть список значений, и в этот список вы хотите добавить префикс / суффикс в каждую ячейку. В Excel вы можете использовать функцию СЦЕПИТЬ, но в Power Query есть более простой способ.

• Прежде всего, выберите столбец, в который нужно добавить префикс / суффикс.
• Затем перейдите на вкладку «Преобразование» ➜ Столбец Текст ➜ Формат ➜ Добавить префикс / Добавить суффикс.

• Как только вы нажмете одну из опций, откроется диалоговое окно для ввода текста.

• После ввода текста нажмите ОК.

Опция работает одинаково для чисел, текста и дат.

16. Извлечь значения

Если вы разбираетесь в формулах, то вы согласитесь со мной, что для извлечения текста или числа из ячейки необходимо комбинировать несколько функций. Power Query решает много подобных задач. У вас есть семь способов извлечь значения из ячейки. И да, одним щелчком мыши.

Просто посмотрите на варианты, которые у вас есть.

Эти опции закрыли все основные вещи задачи, которые вы привыкли решать с помощью формул.

17. Только дата или время

Часто бывает, что у вас есть дата и время в одной ячейке, но вам нужна только одна из них.

Для этого в Power Query вам нужен всего лишь один клик, вот шаги.

• Выберите столбец, где у вас есть дата и время вместе.
• Если вам нужна Дата: щелкните правой кнопкой мыши ➜ Преобразование ➜ Только дата;
• Если хотите Время: щелкните правой кнопкой мыши ➜ Преобразование ➜ Только время.

18. Объедините дату и время

Теперь у вас есть отдельно дата и время. Значит, пора узнать, как их объединить.

Это довольно просто.

• Прежде всего, загрузите ваши данные в редактор.

• После этого выберите оба столбца (Дата и время) и перейдите на вкладку преобразования.

• Теперь из группы Столбец «Дата и время» перейдите к «Дата» и нажмите «Объединить дату и время».

Теперь у вас есть новый столбец с объединенным данными.

19. Округление чисел

У нас есть функции для округления чисел в Excel, но также есть и Power Query.

Вот варианты:

1. Округление с увеличением.
2. Округление с уменьшением.
3. Округление: Вы можете выбрать, до какого знака после запятой округлить.

Шаги:

• Прежде всего, откройте ваши данные в редакторе.
• Выберите столбец правой кнопкой мыши ➜ Преобразование ➜ Округление и выберите любой из трех вариантов.

Примечание. Когда вы выбираете опцию «Округление», вам нужно ввести количество десятичных знаков для округления.

20. Расчеты

В Power Query есть варианты, которые вы можете использовать для выполнения расчетов. Посмотрите на приведенный ниже список.

• Стандартный
• Статистика
• Научный
• Тригонометрические
• Округление
• Информация

Вы можете найти все эти опции на вкладке Преобразование.

Для выполнения любого из этих расчетов вам нужно выбрать столбец и выбрать опцию.

21. Группировка

Как и сводные таблицы, Power Query — отличный вариант для группировки. Вы можете найти эту опцию на вкладке Преобразование.

Допустим, у вас большой набор данных и вы хотите создать сводную таблицу. Вот что вам нужно сделать:

• На вкладке «Преобразование» нажмите «Группировать по», откроется диалоговое окно.

• Теперь в этом диалоговом окне выберите столбец, который вы хотите сгруппировать.

После этого добавьте имя, выберите операцию и столбец, в котором у вас есть значения.

• В конце нажмите ОК.

Примечание. В параметре «Группировать по» также есть несколько расширенных опций, которые можно использовать для создания многоуровневой групповой таблицы.

22. Удалить знак отрицания

Есть много методов удаления отрицательного знака, и один из них — это Power Query.

Щелкните правой кнопкой мыши по столбцу и перейдите в Преобразование, а затем нажмите на Абсолютное значение.

23. Добавить настраиваемый столбец

Хотя в Power Query есть много опций, вы также можете создать пользовательский столбец, используя формулу расчета. Выполните следующие шаги, чтобы его создать:

• Прежде всего, перейдите на вкладку Добавление столбца ➜ Настраиваемый столбец.

• Здесь у вас появится диалоговое окно для создания формулы для использования в столбце (сейчас я хочу умножить количество на цену). Ведите формулу в поле формулы.

Совет. Когда вы вводите формулу, в диалоговом окне появится сообщение, если в формуле есть какая-то ошибка.

24. Автообновление запроса

Из всех советов и приемов, которые я упомянул здесь, этот является наиболее важным. Когда вы создаете запрос, вы можете сделать его автоматическим обновляемым (вы можете установить таймер).

Вот шаги:

• На вкладке «Данные» нажмите «Существующие подключения»
• Теперь щелкните правой кнопкой мыши по нужному запросу, далее Изменить свойства подключения.
• Введите минуты в открывшемся диалоговом окне.

• В конце нажмите ОК.

25. Создайте сводную таблицу из нескольких рабочих книг.

Иногда мы получаем или собираем данные из разных книг. И в этом случае создание сводной таблицы потребует дополнительных усилий для объединения этих нескольких рабочих книг в одну.

Но вы можете сделать это радостью с помощью Power query. Выполните эти три простых шага, чтобы создать сводную таблицу из разных рабочих книг.

У меня есть четыре книги с данными о продажах для разных отделений.

Убедитесь, что все эти файлы в одной папке.

Шаг 1 — Объедините файлы с помощью Power Query

Прежде всего, нам нужно объединить все файлы в одну таблицу с Power Query.

• Перейдите на вкладку «Данные» ➜ «Скачать & Преобразовать» ➜ «Создать запрос» ➜ «Из файла» ➜ «Из папки».

• Теперь в окне выбора папки нажмите «Обзор» и выберите папку, в которой находятся все файлы.

• Нажмите ОК.
• Вы увидите окно «Объединить файлы».

• В этом окне выберите лист с вашими данными во всех книгах. Важно: Убедитесь, что во всех книгах указано одинаковое имя листа!

• После того, как вы нажмете OK, Power Query отправит все данные из рабочих книг в редактор.

Шаг 2 — Подготовка данных для сводной таблицы

Теперь нам нужно внести небольшие изменения в наши данные, чтобы подготовить их к сводной таблице. Если вы посмотрите на данные, у нас появился дополнительный столбец с именем исходного файла.

• Щелкните правой кнопкой мыши по этому столбцу и выберите «Разделить столбец» ➜ «По разделителю».

• В окне разделителя выберите «Пользовательский», добавьте «.» в качестве разделителя и выберите «Самый левый разделитель».

• Нажмите ОК.
• После этого удалите второй столбец.

• Теперь переименуйте первый столбец.

• Теперь ваши данные готовы. Нажмите на закрыть и загрузить.

Шаг 3 — Вставьте сводную таблицу

На данный момент у нас есть новая рабочая таблица в рабочей книге с объединенными данными из всех четырех файлов. Теперь пришло время создать из них сводную таблицу.

• Выберите таблицу и перейдите на вкладку «Вставка» и нажмите кнопку «Сводная таблица».

• Откроется окно создания сводной таблицы. Нажмите OK, и вы получите новую сводную таблицу в своей книге.

Поздравляю! Вы успешно создали новую сводную таблицу из разных файлов.

Заключение

Вы можете не пользоваться POWER QUERY. Но… Многие вещи, которые мы делаем с формулами и функциями или кодами VBA, могут быть автоматизированы с помощью Power Query.

Я надеюсь, что приведенные выше советы вдохновляют вас использовать его все больше и больше.

Не забудьте поделиться своими мнениями со мной в разделе комментариев. И, пожалуйста, не забудьте поделиться этой информацией со своими друзьями, я уверен, что они это оценят.

• Введение
  • Предисловие
  • Отказ от ответственности
  • Лицензия на использование
  • Добавление информации и внесение изменений в методическое пособие
• Редактор запросов (Query Editor, он же Power Query)
  • Power Query в Power BI
  • Power Query в Excel 2010, 2013
  • Power Query в Excel 2016, 2019, 365
  • Зачем нужен Power Query
  • Что такое запрос (Query)
  • Действия над запросами (по правому щелчку мыши на них)
    • Duplicate (Дублировать)
    • Reference (Сослаться)
  • Шаг (Step)
  • Параметры в Power Query
  • Получение данных в Power Query
  • Типы данных в Power Query
    • Примитивные типы данных Power Query
    • Структурированные типы данных в Power Query
  • Задание типов данных для столбцов в Power Query
  • Автоматическое определение типов данных для столбцов
  • Создание дубликата столбца
  • Переименование столбцов
  • Remove Other Columns — удаление прочих столбцов
  • Split Column by Delimeter — Разделить текстовый столбец по разделителю
  • Действия над таблицами и столбцами таблиц
    • Append — добавление одной таблице к другой таблице
    • Merge — соединение данных одного запроса с другим запросом по общему ключу (аналог ВПР)
    • Соединение данных по составному ключ в Power Query
    • Команда Group by (сгруппировать по полю)
    • Добавление нового столбца в Power Query
      • if then else условия
      • Условный столбец (Conditional column)
      • Изменение типа данных у столбца с текстового на десятичный, в случае если в качестве разделителя десятичной части используется точка вместо запятой
      • Удалить дубликаты в столбцах
      • Count rows — Подсчитать количество строчек в текущей таблице
      • Извлечение шагов в отдельный запрос
      • Функция Сохранить строки (Keep Top Rows)
      • Функция Сохранить ошибки (Keer Errors)
      • Функция Заменить ошибки в столбце (Replace Errors)
  • Получение данных из различных источников
    • Получение данных из файлов
      • Получение данных из текстовых файлов (csv, tsv, txt и т.д.)
      • Извлечение данных из файлов лежащих в папке
    • Получение данных из интернета
      • Права доступа, Formula.Firewall
    • Символы разрыва строки
• Power Pivot
  • Что такое Power Pivot в Excel
  • Что такое Power Pivot в Power BI
  • Что такое DAX
  • Модель данных
  • Таблицы
  • Функции Dax
  • Меры (Measures)
  • Быстрые меры (Quick Measures)
  • Вычисляемые Столбцы (Calculated Columns)
  • Контекст выполнения функции (Evaluation context)
  • Связь таблиц в модели данных
  • Связь таблиц по ключевому столбцу дата и time-intelligence функции
  • Часто используемые функции DAX
  • Метрики контекстной рекламы в DAX
  • Про абсолютные и относительные метрики в выгрузках
  • Формат отображения чисел в мерах и столбцах
  • Полезные ресурсы по DAX
• Визуализации в Power BI
  • Срезы в Power BI — Слайсеры (Slicers)
    • Срезы с относительными датами (Relative slicers)
  • Настройка взаимодействия визуализаций (визуалов)
• Настройки Power BI
  • Фоновые данные — разрешить скачивание в фоне (Background data — allow data preview)
• Приложения
  • Горячие клавиши окна редактирования DAX формул
    • Базовое редактирование
    • Навигация
    • Поиск и замена
    • Мультикурсор и выделение
• Вместо заключения

Введение

Предисловие

Первая версия данного методического пособия была создана Максимом Уваровым в рамках образовательного проекта NeedForData.ru. С 21.05.2018 учебное пособие опубликовано на GitHub под лицензией GPL 3.0 и с этого момента соавтором пособия может стать любой желающий.

Цель данного пособия: помочь начинающим пользователям Power BI, а также надстроек над Excel Power Query и Power Pivot, осваивать эти замечательные инструменты. Предполагается, что методическое пособие когда-нибудь станет более легковесной и человечной альтернативой текущей официальной справки по Power BI, расположенной по адресу: https://docs.microsoft.com/ru-ru/power-bi/

В данном методическом пособии поддерживаются расставление ссылок на подробные разборы описываемых тем в официальной справке Power BI или на других тематических ресурсах.

Отказ от ответственности

Авторы данного методического пособия не имеют отношения к корпорации Microsoft и ее продуктам Power BI, Excel, Power Query, Power Pivot. Авторы публикуют в данном методическом пособии собственноручно созданные учебные материалы, на публикацию которых они имеют все необходимые права.

Лицензия на использование

Данное методическое пособие может бесплатно использоваться для обучения. Методическое пособие предлагается к использованию в режиме AS-IS (как есть), под лицензией GPL 3.0. Полный текст лицензии опубликован по ссылке.

Согласно лицензии, если вы используете материалы данного учебного пособия в своей документации или своих учебных пособиях, то вы обязательно должны (включая, но не ограничиваясь):

1. Поставить ссылки на первоисточник
2. Обеспечить свободный доступ к вашим материалам

Добавление информации и внесение изменений в методическое пособие

Любой желающий может предложить исправления текущего методического пособия на Github. Для этого нужно:

1. Сделать Fork проекта
2. Внести необходимые изменения на языке разметки в markdown
3. Создать Pull-request в основной репозиторий

Позже члены редколлегии методического пособия смогут рассмотреть ваши предложения.

Редактор запросов (Query Editor, он же Power Query)

Power Query в Power BI

В программе Power BI Desktop Power Query встроенный модуль. В справке и интерфейсе этот модуль называется Query Editor или редактор запросов. Power Query это основной инструмент данных в Power BI desktop. Как показано на скриншоте ниже все четыре выделенные кнопки относятся к редактору запросов Power Query.

Power Query в Excel 2010, 2013

Также, Power Query это надстройка над MS Excel 2010 — 2013. Она устанавливается дополнительно. Скачать надстройку можно по ссылке. На панели Ribbon в Excel 2010 и 2013 Power Query посвящена отдельная вкладка.

Power Query в Excel 2016, 2019, 365

В Excel 2016 и последующих версиях Power Query встроена. Найти ее можно на вкладке Data (Данные), блок «Get and Transform». Скриншоты, как Power Query выглядит в различных версиях офиса приведены ниже:

В зависимости от версии подписки Excel функционал Power Query может различаться.

Зачем нужен Power Query

Power Query нужен для удобного преобразования данных (ETL-процесса).

Согласно википедии — ETL (от англ. Extract, Transform, Load) — процесс в управлении хранилищами данных, который включает в себя:

• извлечение данных из внешних источников;
• их трансформация и очистка, чтобы они соответствовали потребностям бизнес-модели;
• и загрузка их в хранилище данных.

Power Query отлично подходит для задач:

• подключения к разнообразным источникам (различным типам файлов, api, базам данных и т.п.);
• для удобного и гибкого преобразования данных в необходимый формат;
• Для создания повторяемых последовательностей обработки данных.

Что такое запрос (Query)

Запрос (Query) это программа на языке M, задающая последовательность обработки данных.

В своем теле запрос может обращаться к неограниченному количеству источников данных (включая другие запросы). Результат выполнения запроса может иметь любой из поддерживаемых структурированнных или примитивных типов данных, например:

• таблица — table
• значение — value,
• список — list,
• запись — record и т.д.

Список из всех запросов в Excel можно увидеть в разных местах.

В списке из запросов книги (Queries Pane) интерфейсе Excel 2016:

В интерфейсе самого Power Query:

У каждого запроса есть свое имя.

Имя запроса можно увидеть в нескольких местах. Там же его можно изменить:

В интерфейсе Excel 2016.

В интерфейсе Power Query.

По имени запроса можно обращаться к результатам этого запроса из других запросов.

В случае, если имя запроса содержит пробелы (например, состоит из нескольких слов), то при обращении к этому запросу из других запросов он начинается с # и заключается в кавычки:

Действия над запросами (по правому щелчку мыши на них)

Duplicate (Дублировать)

Команда Duplicate позволяет создать новый запрос и продублировать в нем все шаги исходного запроса (т.е. при дублировании появляется новый запрос с #"Имя (2)", в котором содержатся все шаги из исходного запроса). Новый запрос, созданный при использовании команды Duplicate, никак не связан с оригинальным запросом.

Reference (Сослаться)

Создать новый запрос, в первом шаге которого обратиться по имени к оригинальному запросу.

Шаг (Step)

Отдельный этап обработки данных в рамках конкретного Запроса.

Запрос состоит из шагов и включает как минимум один шаг.

На каждое примененное действие в интерфейсе создается новый шаг.

Список шагов конкретного запроса можно посмотреть в правой части экрана в панели настроек Запроса.

Каждый шаг это отдельная переменная, расположенная на отдельной строчке кода в скрипте запроса на языке программирования M.

Чтобы посмотреть формулу конкретного шага необходимо включить отображение строки формул на вкладке view и выбрать интересующий шаг в панели «Applied Steps».

Очередность шагов можно менять через интерфейс, используя контекстное меню.

А также перетаскивая шаги в списке.

Параметры в Power Query

• Статья о параметрах Power Query

Получение данных в Power Query

Чтобы начать работать с Power Query, необходимо настроить получение данных из какого-либо источника. Сделать это можно из интерфейса Power Query в Power BI по нажатию на кнопку Get Data.

В Excel 2010-2013 сделать это можно нажав на кнопки с указанием различных источников на панели Ribbon.

А также из интерфейса Power Query в Excel.

Типы данных в Power Query

В Power Query существуют примитивные и структурированные типы данных. Примитивные типы данных содержат в себе лишь одно значение, в то время как структурированные типы данных могут содержать в себе как одно так и множество значений. В зависимости от заданного типа данных

Примитивные типы данных Power Query

• Decimal number — десятичное число Number.Type или type number
• Time — время Time.Type или type time
• Date — дата Date.Type или type date
• Date / Time — дата / время DateTime.Type или type datetime
• Date / Time / Timezone — дата / время / часовая зона DateTimeZone.Type или type datetimezone
• Duration — длительность Duration.Type или type duration
• Fixed Decimal number — десятичное округленное до 4 знака Currency.Type
• Whole number — целое число Int64.Type
• Text — текст Text.Type или type text
• True/False — истина / ложь
• Binary — двоичный код (например, изображение в формате bmp)
• Percentage — проценты Percentage.Type

Структурированные типы данных в Power Query

• Table — таблица #table({"Заголовок1", "Заголовок2"}, { {"Строка1Столбец1", "Строка1Столбец2"}, {"Строка2Столбец1", "Строка2Столбец2"} })
• List — список {1,2,4} - список из элементов Чисел со значениями 1, 2, 4
• Record — запись [field1 = "текст в кавычках", field2 = "текст в кавычках2"]

Задание типов данных для столбцов в Power Query

Присвоенные отдельным столбцам типы данных определяют операции, которые применимы к ним. Если выбрать столбец, то примененные к нему типы данных можно увидеть в следующих местах:

• Типы данных столбцов таблицы обозначаются иконками в области заголовков:

• При выбранном столбце, его тип данных в Power BI и Excel на вкладке «Home»

• При выбранном столбце, его тип данных в Power BI и Excel на вкладке «Transform»

Автоматическое определение типов данных для столбцов

В Power Query есть функция «автоматически определять типы данных». При помощи данной функции Power Query будет подбирать тип данных к столбцу на основ первой тысячи строчек конкретного столбца.

Создание дубликата столбца

Команда на Ribbon:

Команда в контекстном меню:

Переименование столбцов

Чтобы переименовать столбец нужно дважды щелкнуть на его названии:

Remove Other Columns — удаление прочих столбцов

Для повышения личной эффективности (за счет лучшего фокуса на конкретных цифрах), сохранения оперативной памяти и поддержки быстродействия моделей следует оставлять в модели данных только необходимые данные (только необходимые столбцы и строчки).

Для этих целей отлично работает команда «remove other columns» (удалить прочие столбцы).

Split Column by Delimeter — Разделить текстовый столбец по разделителю

Команду «разделить столбец по разделителю» можно найти в нескольких местах:

Кнопка на Ribbon — Split Column

В контекстном меню, по щелчку на заголовок столбца.

Разделить столбец по произвольному разделителю

Указать максимальное количество столбцов

Действия над таблицами и столбцами таблиц

Append — добавление одной таблице к другой таблице

Из интерфейса Power Query:

Из интерфейса Excel:

Merge — соединение данных одного запроса с другим запросом по общему ключу (аналог ВПР)

Начало операции из интерфейса Power Query:

Начало операции merge из интерфейса Excel:

Выбор таблицы, из которой будем подтягивать данные, определение ключевых столбцов и типа операции

Соединение данных по составному ключ в Power Query

После нажатия на кнопку OK мы видим новый столбец с кнопкой

Нажимаем на кнопку, раскрываем столбец и выбираем желаемую операцию

Expand — развернуть данные из выбранных столбцов

Aggregate — подсчитать данные в конкретных столбцах

Важно помнить что типы данных у ключевых столбцов (в обеих таблицах) должны быть одинаковыми.

Команда Group by (сгруппировать по полю)

Команду можно вызвать по клику на кнопку на панели Ribbon

Также команду можно вызвать из контекстного меню (если нажать правой кнопкой на заголовке столбца)

Интерфейс команды Group By с комментариями представлен на скриншоте ниже:

Добавление нового столбца в Power Query

if then else условия

Для выбора действия в зависимости от условия в Power Query используется структура с оператором if then else

Пример:

if [столбец1] 0 then [столбец2] else [столбец3]

Условный столбец (Conditional column)

Мастер добавления столбца с условным значением (условного столбца), формирует значение столбца согласно заданным правилам. Мастер добавления условного столбца можно найти в Power Query, на вкладке добавления столбца, как показано на скриншоте ниже.

Пояснения к мастеру конфигурации условного столбца показаны на скриншоте ниже.

Для сведения — задаваемые условия в интерфейсе мастера пишут команду скрипта содержащего операторы if then else. Это значит, что первым будет проверено первое условие в мастере условного столбца. Все множество значений будет проверено по этому условию. В случае, если будут найдены результаты удовлетворяющие первому условию, то для них будет присвоено значение по результатам выполнения первого условия. Для остальных значений из множества, будет проверено следующее условие. И так далее, до тех пор, пока не будут проверенны все условия. Если для элементов множества не будет выполненно ни одно условие, то в условный столбец попадет значение из поля «В противном случае / (otherwise)».

При создании условий важно помнить, операции сравнения включающие type null и другие типы данных, возвращают ошибку в качестве результата. Подробнее об этом можно прочитать в блоге у Максима Зеленского

Изменение типа данных у столбца с текстового на десятичный, в случае если в качестве разделителя десятичной части используется точка вместо запятой

1. Необходимо щелкнуть правой кнопкой на заголовке столбца
2. Выбрать пункт «Change type»
3. И далее выбрать пункт «Using locale»
4. Выбираем страну, где в качестве разделителя используется точка (например, USA)

Удалить дубликаты в столбцах

Команда «Remove Duplicates» проходит по выбранным столбцам (если выбрана вся таблица, то по всей таблице) и смотрит в них повторяющиеся ячейки (строчки, в случае если выбрана таблица). Если дубликаты найдены функция оставляет первую попавшуюся уникальную строчку и удаляет все последующие повторяющиеся Найти команду можно на Ribbon — Home — Remove Duplicates (Удалить дубликаты в выбранных столбцах)

Либо найти команду можно щелкнув правой кнопкой на заголовке одного или нескольких выбранных столбцов. В случае, если выбраны несколько столбцов, то тогда будут удалены все неуникальные сочетания значений в каждой отдельной строчке в выбранных столбцах.

Удалить дубликаты строк в таблице можно нажав на кнопку в левом верхнем углу таблицы предпросмотра.

Аналогичного результата можно добиться если использовать команду «Group By»

Count rows — Подсчитать количество строчек в текущей таблице

Извлечение шагов в отдельный запрос

Для выполнения необходимо щелкнуть правой кнопкой на конкретном шаге обработки. Выбрать пункт меню «Extract previous steps»

ввести имя нового запроса, который будет создан на основе предыдущих шагов

Функция Сохранить строки (Keep Top Rows)

Функция Сохранить ошибки (Keer Errors)

Функция Заменить ошибки в столбце (Replace Errors)

Функция доступна по нажатию правой кнопкой на заголовке столбца и позволяет заменить ошибки в столбце (например, получившиеся после применения нового типа данных) на выбранное значение. Обратите внимание, что по состоянию на 2019-07-29 функция доступна лишь при выборе одного столбца.

Получение данных из различных источников

Получение данных из файлов

Получение данных из текстовых файлов (csv, tsv, txt и т.д.)

При получении данных из текстового файла в Power Query открывается окно мастера настроек импорта файла.

Извлечение данных из файлов лежащих в папке

Выбираем в качестве типа источника папку. Далее выбираем конкретную папку с файликами, которые предполагается объединить. Файлики должны быть одного типа и с одинаковыми столбцами.

В появившемся окошке предпросмотра данных жмем на кнопочку edit.

Получение данных из интернета

Права доступа, Formula.Firewall

Текст взят из Power bi formula firewall privacy settings — marketing-wiki.ru

При работе в Power BI, при обращении к внешним источникам данных вроде различных API могут возникать ошибки вроде: OLE DB or ODBC error: [information is needed in order to combine data]

или Formula.Firewall: Query is accessing data sources that have privacy levels which cannot be used together. Please rebuild this data combination

Это ошибки, которые возникают из-за встроенного в Power BI Fomrula.Firewall — механизма, который следит, чтобы данные из Power BI передавались только согласно выставленным правилам доступа.

то есть Power Bi пытается защитить нас, чтобы мы случайно не отправили какие-либо данные (вроде токена) на сервер-злоумышленника.

Однако, если мы работаем с API, то нам неминуемо нужно отправлять данные в интернет. Соответственно, чтобы не иметь проблем в этом процессе проще всего в настройках Power BI выключить Formula.Firewall. Это делается в разделе Privacy. Нужно выбрать 3-й пункт — «ignore privacy level settings»

Символы разрыва строки

При помощи операции найти или для разделения ячейки на отдельные строчки можно воспользоваться символами #(cr)#(lf) либо воспользоваться функцией Lines.FromText

Power Pivot

Что такое Power Pivot в Excel

Power Pivot — это надстройка над Excel, представляющая из себя быструю колоночную базу данных VertiPaq с языком запросов DAX (часто вместо VertiPaq говорят Power Pivot). В отличие от Excel число строк загруженных в Power Pivot ограничено лишь размером доступной оперативной памяти компьютера. Быстродействие Power Pivot во много раз превосходит быстродействие формул в Excel. Также Power Pivot по производительности превосходит и Power Query (при этом часто он потребляет меньше ресурсов). Результаты выполнения запросов доступны пользователям в сводных таблицах и сводных диаграммах MS Excel. Таким образом сводные таблицы выступают аналитическим интерфейсом к данным хранящимся в Power Pivot.

Что такое Power Pivot в Power BI

В Power BI Power Pivot встроен как база данных, к которой присоединяются различные визуализации.

Что такое DAX

Dax (Data Analysis Expressions) — это язык программирования использующийся для запросов в базе данных VertiPaq.

Модель данных

Модель данных — совокупность таблиц, связей между ними и вычисляемых мер в базе данных VertiPaq. Благодаря своей быстроте модель данных позволяет создавать мгновенно пересчитывающиеся меры, которые, в свою очередь, позволяют создавать интерактивные визуализации.

Таблицы

Таблицы — совокупность строк, разделённых на столбцы.

У каждого столбца задан тип данных (который, как правило, наследуется из типов данных заданных для столбцов в Power Query).

У столбцов с числовыми типами данных можно увидеть значок сигмы Слева от них. И такие столбцы по умолчанию будут просуммированы, в случае если добавить их в область значений любой визуализации.

Если же добавить в область значений столбцы с не числовыми типами данных (без значка сигмы), то к ним будет применена операция по умолчанию: count (подсчет количества значений).

Список из таблиц загруженных в модель данных можно найти в дереве fields в правой части окна Power BI.

Каждая таблица имеет название, по которому к данным конкретной таблицы можно обращаться в мерах и вычисляемых столбцах. В случае если в названии таблицы присутствует пробел или не латинские символы, то при обращении к таблице извне её название заключается в одинарные кавычки автоматически:

'название с пробелом'

Однако, если мы заключим в кавычки название таблицы без пробелов, то все будет работать как предполагалось:

'название'

Функции Dax

Функции языка Dax похожи на функции Excel, с той лишь разницей, что в качестве аргументов используют столбцы, целые таблицы или скалярные выражения (простые значения), а не ячейки.

В качестве разделителей аргументов в зависимости от локали используются:

• «;» (и «,» для десятичных)
• «,» (и «.» для десятичных)

Меры (Measures)

Вычисляются только в момент использования. Рассчитываются в рамках текущего контекста фильтров. Именно это свойство позволяет строить интерактивные визуализации, которые фильтруются при нажатии на определенные области конкретных визуализаций. Меры хоть и принадлежат конкретной таблице, но могут быть перенесены в любую другую таблицу в рамках документа. Поэтому хорошая практика при использовании мер формулах не включать название таблицы, в которо й мера лежит. То есть вместо 'таблица'[мера] писать просто [мера].

Быстрые меры (Quick Measures)

Функционал быстрых мер позволяет создавать сложные DAX формулы без написания кода. Вместо написания кода нужно сконфигурировать желаемую меру в графическом интерфейсе. Подробнее о быстрых мерах можно прочитать в справке по Power BI

Вычисляемые Столбцы (Calculated Columns)

Рассчитываются однажды во время обновления таблицы в модели данных. Вычисляемые столбцы занимают место в памяти. Вычисляемые столбцы рассчитываются в рамках контекста строки. В отличие от мер, вычисляемые столбцы могут использоваться для фильтрации и сортировки таблиц. Принадлежат конкретной таблице и их лучше указывать в формулах вместе с названием таблицы, даже если Power Pivot позволяет этого не делать.

Подробнее про столбцы и меры читать здесь:

• Calculated Columns and Measures in DAX — SQLBI

Контекст выполнения функции (Evaluation context)

В Power Pivot существуют два контекста выполнения формулы, которые действуют одновременно:

• Контекст фильтров (Filter context)
• Контекст строк (Row context)

Это массивная и сложная тема. На момент написания методички автор так и не разобрался с темой до того уровня, чтобы рассказывать об этом окружающим. Потому рекомендую обратиться к достоверным источникам вроде:

• Марко Руссо и Альберто Феррари https://www.sqlbi.com/.
• Справка Microsoft Power BI: Основные сведения о DAX в Power BI Desktop

Связь таблиц в модели данных

Для связи таблиц в модели данных в одной из таблиц в ключевом поле должны быть уникальные значения. Также столбцы должны быть одного типа данных.

Направление связи имеет значение. Вычисляемые столбцы могут использоваться для создания связей между таблицами.

Справка: Создание связей и управление ими в Power BI Desktop — Power BI | Microsoft Docs

Связь таблиц по ключевому столбцу дата и time-intelligence функции

В случае, если в модели данных есть отдельная таблица-календарь (вроде такой), и если таблица с фактами связана с таблицей-календарем по полю дата, то для создания быстрых мер в поле дата нужно использовать столбец с датами из таблицы календаря. Столбец с датами из таблицы с фактами в быстрых мерах работать не будет.

Часто используемые функции DAX

SUM (Столбец) — Cумма чисел по столбцу

COUNTA (Столбец) — Количество значений в столбце

DISTINCTCOUNT (Столбец) — Количество уникальных значений в столбце

SUMX (Таблица, Выражение) — Сумма значений выражения, которое выполняется для каждой строчки таблицы

DIVIDE (Значение числителя, значение знаменателя, альтернативный вариант в случае ошибки деления числителя на знаменатель) — Безопасное деление

IFERROR (Значение, Значение если ошибка) — Если ошибка

IF (Логическое выражение, значение если правда, значение если ложь ) — Если

Метрики контекстной рекламы в DAX

CTR (Кликабельность)

= SUM ( Клики ) / SUM ( Показы ) 

CPC (Цена клика)

= SUM ( Расход ) / SUM ( Клики )

Ставка (Максимальная цена клика установленная рекламодателем)

Ставка Средняя

Ставка СреднеВзвешенная на клики

= SUMX ( ставка * клики ) / SUM ( клики )

Ставка СреднеВзвешенная на показы

= SUMX ( ставка * показы ) / SUM (показы)

CR (Коэффициент конверсии фактический)

= SUM ( транзакции ) / SUM ( сессии )

Ключевая фраза: количество

= COUNTA ( ключевая фраза )

Ключевая фраза: количество уникальных

= DISTINCTCOUNT ( ключевая фраза )

Про абсолютные и относительные метрики в выгрузках

Средний показатель отказов рассчитывается по формуле:

= SUM ( отказы ) / SUM ( визиты )

Если в выгрузке нет абсолютного числа ОТКАЗОВ, но есть ПОКАЗАТЕЛЬ ОТКАЗОВ, то для каждой строчки с исходными данными предварительно необходимо рассчитать абсолютное число ОТКАЗОВ. Для этого нужно умножить ПОКАЗАТЕЛЬ ОТКАЗОВ на ЧИСЛО ВИЗИТОВ. После этого у вас появится возможность рассчитывать средний показатель отказов корректно.

Аналогичным образом следует поступить с глубиной просмотра и временем на сайте.

Распространенная ошибка рассчитывать СРЕДНИЙ ПОКАЗАТЕЛЬ ОТКАЗОВ в качестве встроенной меры AVERAGE по столбцу ПОКАЗАТЕЛЬ ОТКАЗОВ (см скрин. http://bit.ly/2JMKSl1).

Так средний показатель отказов рассчитывать некорректно.

Формат отображения чисел в мерах и столбцах

Формат отображения значений мер задается при выбранной мере, на вкладке «Modeling», в блоке «Formating»

Полезные ресурсы по DAX

• sqlbi.com/articles/calculated-columns-and-measures-in-dax/
• powerpivotpro.com/2013/02/when-to-use-measures-vs-calc-columns/
• Клевый курс на udemy про Power Pivot
• Книга: The Definitive Guide to DAX: Business intelligence with Microsoft Excel, SQL Server Analysis Services, and Power BI (Business Skills) 1st Edition
• Daxpatterns.com
• Канал Curbal на youtube с подробными обучающими видео DAX Fridays

Визуализации в Power BI

Срезы в Power BI — Слайсеры (Slicers)

• Справка

Срезы с относительными датами (Relative slicers)

• https://docs.microsoft.com/ru-ru/power-bi/desktop-slicer-filter-date-range

Настройка взаимодействия визуализаций (визуалов)

• Справка

Настройки Power BI

Фоновые данные — разрешить скачивание в фоне (Background data — allow data preview)

Загрузку данных в фоне часто рекомендуют отключить, во избежание проблем с производительностью. Ссылки по теме:

1. Параметр Allow Data Preview To Download In The Background в Power Query и Power BI — статья Криса Вебба: перевод , оригинал .
2. Ветка, в предложения выключить эту настройку по умолчанию uservoice.

Приложения

Горячие клавиши окна редактирования DAX формул

Базовое редактирование

Клавиша		Описание
Ctrl+X		Вырезать строку (Пустое выделение)
Ctrl+C		Скопировать строку (Пустое выделение)
Alt+↑	Alt+↓	Перемещает текущую строку вверх / вниз
Shift+Alt+↑	Shift+Alt+↓	Копирует строку и вставляет её выше / ниже
Ctrl+Shift+K		Удаляет строку
Shift+Enter		Добавить новую строку ниже под курсором
Ctrl+]	Ctrl+[	Увеличить / уменьшить отступ строки
Tab	Shift+Tab	Увеличить / уменьшить отступ строки
Home	End	Перейти в начало / конец строки
Ctrl+Home	Ctrl+End	Перейти в начало / конец DAX формулы
Ctrl+K Ctrl+C	Ctrl+K Ctrl+U	Поставить / убрать однострочный комментарий
Ctrl+/		Поставить или убрать однострочный комментарий
Shift+Alt+A		Поставить или убрать однострочный комментарий

Навигация

Клавиша		Описание
Ctrl+G		Перейти к строке
F8	Shift+F8	Перейти к ближайшей / следующей ошибке или предупреждению

Поиск и замена

Клавиша	Описание
Ctrl+D	Выделить слово под курсором целиком, при повторном нажатии выделяет аналогичные слова по тексту
Ctrl+K Ctrl+D	Перейти к следующему совпадающему выделению### Мультикурсор и выделение

Мультикурсор и выделение

Клавиша		Описание
Ctrl+A		Выделить все
Alt+Клик		Добавить курсор к выделению
Ctrl+Alt+↑	Ctrl+Alt+↓	Добавить мультикурсор выше / ниже
Ctrl+U		Убрать последнее выделение курсора
Ctrl+F2		Выделяет все вхождения слова
Ctrl+Shift+L		Выделяет все вхождения выделенного текста
Shift+Alt+→	Shift+Alt+←	Расширить / уменьшить текущее выделение по строке

Вместо заключения

Данное методическое пособие было выложен в открытый доступ 21.05.2018. С тех пор каждый желающий способен внести в него правки или дополнить его собственной актуальной информацией.

Сделать это можно по адресу: https://github.com/power-bi/PowerBI-book-ru

Источник: https://github.com/power-bi/PowerBI-book-ru