Is builder actions group for microsoft excel

Это первая статья из цикла, в котором будут рассмотрены базовые знания по разработке на IS-Builder. Этот  курс не заменяет курс по разработке и справочные материалы, но позволяет начать самостоятельное изучение системы и модификации системы с помощью IS-Builder.

ISBL,  IS-BUILDER LANGUAGE — встроенный в IS-Builder высокоуровневый язык программирования, предназначенный для описания алгоритмов работы прикладных задач.

Для успешного программирования на ISBL и решения прикладных задач важно понимание архитектуры системы DIRECTUM и программной модели платформы IS-Builder.

DIRECTUM – клиент-серверное приложение, поэтому программные компоненты делятся на клиентские и серверные. В состав серверных программных компонент системы DIRECTUM в минимальном случае входит база данных под управлением СУБД Microsoft SQL Server, сервер сеансов и служба Workflow.

В зависимости от того, где заданы вычисления, они выполняются либо на сервере, либо на клиенте. Это задает свои особенности, например, в вычислениях на сервере нельзя выводить информационные сообщения. Подробнее об этом будет рассказано в следующих статьях при описании разработки конкретных компонент.

Платформа IS-Builder предлагает инструменты быстрого и удобного создания всех компонентов корпоративной системы электронного документооборота. Среди них справочники, карточки электронных документов, сценарии, типовые маршруты, их отдельные блоки и т.д. Для этого используются компоненты разработчика (располагаются в папке Компоненты/Утилиты разработчика):

 

 Компоненты для разработки справочников

Справочник — список определенных объектов (записей) с заданным набором реквизитов. Например, в системе определен справочник Работники, в котором хранятся данные о работниках. В качестве реквизитов (полей) записей заданы: Фамилия, Имя, Отчество, Дата рождения, Должность, Подразделение и т.д.

Для разработки и модификации справочников используется компонента Типы справочников, которая позволяет:

• задавать реквизиты справочника (реквизиту соответствует поле в таблице в БД);
• разрабатывать карточки записей в специальном редакторе;
• задавать вычисления на реквизитах и кнопках;
• разрабатывать интегрированные отчеты, т.е. отчеты, связанные с записью (записями) конкретного справочника.

Для создания и модификации реквизитов справочников, генерации полей в БД используется компонента Реквизиты справочников.

Компоненты для разработки карточек электронных документов

Электронный документ состоит из двух частей: из карточки и из текста. В карточке документа хранятся значения основных реквизитов документа, таких как наименование, дата, номер, автор и т.п. В тексте хранится содержимое документа. Для разработки и модификации карточек документов используется компонента Типы карточек электронных документов. Компонента имеет возможности аналогичные компоненте для разработки справочников, кроме разработке интегрированных отчетов. Для создания и модификации реквизитов карточек документов, генерации полей в БД используется компонента Реквизиты электронных документов.

Компоненты для разработки сценариев и отчетов

Сценарии предназначены для задания произвольных вычислений на ISBL. Например, стандартный сценарий Экспорт записей справочников – используется для экспорта записей выбранного справочник в xml-файл. Для создания и модификации сценариев используется компонента Сценарии.

Отчеты предназначены для вывода информации, чаще всего хранящейся в базе данных, в виде документа в заданном формате. Перед формированием отчета пользователь может задать условия выбора информации. В дальнейшем в зависимости от назначения отчета этот документ можно распечатать для передачи руководству, отправки контрагенту и т.д. Например, отчет Реестр договоров. При запуске отчета пользователь может заполнить Дату регистрации с, Дату регистрации по, Категорию договора и т.д., в итоге отчет будет содержать информацию о всех договорах, содержащихся в справочнике Договоры, дата регистрации которых попадает в заданный период и удовлетворяет заданным параметрам. Для разработки и модификации отчетов используется компонента Разработка отчетов.

Отчеты и сценарии группируются по модулям.  Модуль — относительно самостоятельная часть системы, выполняющая определенный набор связанных функций.

Компоненты для разработки функций

Для разработки функций используется компонента Функции ISBL. В системе уже есть множество разработанных функций, которые решают типовые задачи.

Компоненты для настройки типовых маршрутов

Типовые маршруты (ТМ) предназначены для задания взаимодействия между сотрудниками с возможностью многократного использования. Например, ТМ Согласование договорных документов. В этом маршруте задан порядок согласования (руководитель подразделения, специалисты юридического отдела, визирующие), подписания и регистрации договора. Типовые маршруты разрабатываются и модифицируются в компоненте Типовые маршруты.

В маршрутах могут использоваться роли (Регистратор договоров, Секретарь генерального директора  и т.д.), они задаются в компоненте Роли.

Для расчета сроков задач с учетом рабочего времени (например, на регистрацию договора выделяется 2 раб. дня) используется компонента Календари.

Для разработки блоков типовых маршрутов, которые можно будет многократно использоваться в различных маршрутах, используется компоненты Блоки типовых маршрутов.

Компонента для настройки мастеров действий

Мастера действий предназначены для поэтапного выполнения определенной типовой задачи, например, оформление заявления на отпуск, создание совещания. Для настройки используется компонента Мастера действий.

Компонента для работы с константами

Константы хранят информацию, которая не изменяется или изменяется достаточно редко: сервер входящей почты, код национальной валюты, время ожидания повторной отправки и т.д. Для создания констант и их значений используется компонента Константы.

Компоненты для экспорта/импорта разработки

Для экспорта/импорта разработки используются компоненты Экспорт разработки и Импорт разработки. Эти утилиты потребуются, если нужно перенести разработку из одной системы в другую – например, из тестовой базы в рабочую.

Прочие компоненты

Компонента Выполнить внешний сценарий предназначена для выполнения сценариев на языке ISBL, которые хранятся в виде текстовых файлов вне системы DIRECTUM. Используется для выполнения разовых сценариев.

Компонента Поиск в текстах разработки позволяет выполнить поиск произвольной строки в компонентах разработчика: событиях справочников, функциях, сценариях, расчетах и шаблонах отчетов, и т.д. Используется если нужно найти, где используется определенная строка, например, функция.

Более подробно разработка различных компонент с использованием описанных инструментов будет рассмотрена в следующих статьях.

Блокировка элементов разработки

С целью защиты элементов разработки от одновременного изменения несколькими разработчиками начиная с версии DIRECTUM 5.1 имеется возможность ставить на элементы разработки блокировку. Для внесения изменений в элемент разработки его необходимо заблокировать. Данная информация отображается в карточке элемента разработки:

Механизм блокировок доступен для следующих компонент: Отчеты, Сценарии, Функции ISBL, Блоки типовых маршрутов, Типы справочников, Типы карточек документов, Типовые маршруты, Мастера действий.

По умолчанию механизм блокировки элементов разработки выключен. Включение и выключение механизма задается в новой установке системы DevelopmentComponentLocksEnabled. Для контроля изменений в разработке при экспорте или импорте появился флажок Снимать мои блокировки.

You can manage your queries either in the Queries pane of the Power Query Editor or on the Queries tab of the Queries & Connections pane in Excel. This is especially helpful if you have many queries and you want to quickly locate a query. Once you find a query, there are a number of additional actions you can do, such as duplicate, reference, merge, append, share, and delete a query.

When you create a query, connection information is created behind the scenes. The role of the query is to shape the data. The role of the connection information is to  maintain data source information and to refresh the data according to refresh settings, such as the frequency.

Not all queries may be loaded to a worksheet. This can occur when you import data from an external data source, shape the data in Power Query Editor, select Home > Load To, and then use the Import Data dialog box to put the query either in a Data Model or an Office Data Connection (ODC) file.

The following is a summary of the commands you can use listed in the order they are displayed on their respective context menus of the Queries tab of the Queries & Connection pane in Excel or the Queries pane in the Power Query Editor. Some commands are only available on one pane. Many of these commands are also available on the context Query tab in the ribbon. All queries in the workbook are displayed and sorted by the date and time when they were last modified starting with the most recent.

1. Do one of the following:

   In Excel    Select Data > Queries & Connections > Queries tab.

   In the Power Query Editor    Select Data > Get Data > Launch Power Query Editor, and view the Queries pane on the left.

2. Select a query management command:

   Edit    Edits the query in the Power Query Editor. Only available on the Queries tab of the Queries & Connections pane.

   Delete     Removes a query.

   Rename Changes the query name. 

   Refresh    Brings in up-to-date data from external data sources. Only available on the Queries tab of the Queries & Connections pane. For more information, see Refresh an external data connection in Excel.

   Load To    Displays the Import Data dialog box so you can select how you want to view the data, where you want to put it, and add it to a Data Model. Only available on the Queries tab of the Queries & Connections pane.

   Duplicate    Creates a copy of the selected query with the same name as the original query appended by (2). You can rename the query to identify it more easily. Subsequent changes to the original query won’t affect the new query.

   Reference    Creates a new query that uses the steps of a previous query without having to duplicate the query. The new query follows a similar naming convention as the Duplicate command. You can rename the new query to identify it more easily. Subsequent changes to the original query will affect the new query if the output is changed.

   Merge    Merge columns in a query with matching columns in other queries. For more information about merging see Merge queries. Only available on the Queries tab of the Queries & Connections pane.

   Append    Append columns in a query with matching columns in other queries. For more information about appending see Append queries. Only available on the Queries tab of the Queries & Connections pane.

   Move To Group    Moves the query to a group in the list or if there are no groups, select New Group to create one. Give it a meaningful name, such as Budget or Marketing. Use groups to organize many queries into categories. You can even create groups within groups.

   Move Up    Moves the query up in the list of queries.

   Move Down    Moves the query down in the list of queries.

   Create Function    displays the Create Function dialog box. Only available on the Queries pane in the Power Query Editor. For more information, see Power Query M function reference.

   Convert to Parameter Converts the query to a parameter and displays it in Preview Data. If the current display is a parameter, then the command toggles to Convert To Query.  Only available on the Queries pane in the Power Query Editor. For more information, see Create a parameter query (Power Query).

   Advanced Editor    Opens the Advanced Editor window. For more information, see Create Power Query formulas in Excel. Only available on the Queries pane in the Power Query Editor.

   Export Connection File    Saves the query as an ODC connection file. The ODC file contains the query definition, the data source connection information, and all the transformation steps. This is useful when you want to share queries with other users and workbooks. Alternatively, you can use the Properties command on the Query context tab of the Power Query ribbon. For more information, see Create, edit, and manage connections to external data.  Only available on the Queries tab of the Queries & Connections pane.

   Show the Peek    Displays the query flyout with a data preview and other useful information.  Only available on the Queries tab of the Queries & Connections pane.

   Properties    Use this command to manage a query and its data source connection information. On the Queries tab of the Queries & Connections pane, opens the Query Properties dialog box. On the Queries pane in the Power Query Editor, opens the Query Settings dialog box. 

You can enable or disable the display of the query flyout when you hover over a query name on the Query tab in the Queries & Connections pane. This option only controls the display of the flyout by hovering. You can still display the query flyout by right clicking on the query name, and then selecting Show the Peek.

1. Select Data > Get Data > Query Options.

2. On the left under GLOBAL, select General.

3. On the right, under Query Preview clear the check box next to Show the peek on hover. The default action is to display the flyout when you hover.

Excel for the Web incorporates Power Query (also called Get & Transform) technology to provide greater capability when working with imported data sources. You can view your queries and related details in the Queries task pane.

Note: Watch for further announcements about improvements to Excel for the Web and Power Query integration.

You can view your queries and related details in the Queries pane.

1. Make sure you’re in Editing view (select Viewing > Editing).

2. Select Data > Queries.

Result

Excel displays the Queries task pane and all queries in the current workbook along with query details, such as row count, last refresh date, location, and load status. If a query is loaded to the Data Model and not to the grid, Excel displays «Connection Only».

You can perform various grouping tasks to better organize your queries.

1. Make sure you’re in Editing view (select Viewing > Editing).

2. Select Data > Queries.

3. Do one or more of the following:

   Create a group

   1. At the top right of the Queries pane, select More Options … > New group.

   2. Enter a name, optionally a description, and then select Save.

   Move a query or group into another group

   1. Next to a query or group name, select More Options … > Move to group.

   2. Select the group to which you want to move, and then select Save.

   Move a group to the top level

   • Next to a group name, select More Options … > Move to top level.

   Expand or collapse groups

   • To expand or collapse all groups, at the top right of the Queries pane, select More Options … > Expand all or Collapse all.

   • To expand or collapse a specific group, select the arrow next to the group name.

   Refresh all queries in a group

   • Next to a group name, select More Options … > Refresh.

     Note    Refresh only works for supported data sources. For more information, see Power Query data sources in Excel versions.

   Ungroup queries within a group

   • Next to a group name, select More Options … > Ungroup.

     Note    This action deletes the group, but not the queries in this group.

   Rename a group

   1. Next to a group name, select More Options … > Rename.

   2. Enter the new name, and then press RETURN.

   Delete a group

   • Next to a group name, select More Options … > Delete group.

   Edit group properties

   1. Next to a group name, select More Options … > Properties.

   2. Rename the group or change its description, and then select Save.

   Tip    You can see the group description by hovering over it.

See Also

Power Query for Excel Help

Edit Query Settings properties

Using the Queries pane (docs.com)

Термины «Power Query», «Power Pivot», «Power BI» и прочие «пауэры» все чаще всплывают в статьях и материалах о Microsoft Excel. По моему опыту, далеко не все ясно представляют себе что скрывается за этими понятиями, как они между собой взаимосвязаны и как могут помочь простому пользователю Excel.

Давайте проясним ситуацию.

Power Query

Еще в 2013 году специально созданная группа разработчиков внутри Microsoft выпустила для Excel бесплатную надстройку Power Query (другие названия — Data Explorer, Get&Transform), которая умеет массу полезных для повседневной работы вещей:

• Загружать данные в Excel из почти 40 различных источников, среди которых базы данных (SQL, Oracle, Access, Teradata…), корпоративные ERP-системы (SAP, Microsoft Dynamics, 1C…), интернет-сервисы (Facebook, Google Analytics, почти любые сайты).
• Собирать данные из файлов всех основных типов данных (XLSX, TXT, CSV, JSON, HTML, XML…), как поодиночке, так и сразу оптом — из всех файлов указанной папки. Из книг Excel можно автоматически загружать данные сразу со всех листов.
• Зачищать полученные данные от «мусора»: лишних столбцов или строк, повторов, служебной информации в «шапке», лишних пробелов или непечатаемых символов и т.п.
• Приводить данные в порядок: исправлять регистр, числа-как-текст, заполнять пробелы, добавлять правильную «шапку» таблицы, разбирать «слипшийся» текст на столбцы и склеивать обратно, делить дату на составляющие и т.д.
• Всячески трансформировать таблицы, приводя их в желаемый вид (фильтровать, сортировать, менять порядок столбцов, транспонировать, добавлять итоги, разворачивать кросс-таблицы в плоские и сворачивать обратно).
• Подставлять данные из одной таблицы в другую по совпадению одного или нескольких параметров, т.е. прекрасно заменяет функцию ВПР (VLOOKUP) и ее аналоги.

Power Query встречается в двух вариантах: как отдельная надстройка для Excel 2010-2013, которую можно скачать с официального сайта Microsoft и как часть Excel 2016. В первом случае после установки в Excel появляется отдельная вкладка:

В Excel 2016 весь функционал Power Query уже встроен по умолчанию и находится на вкладке Данные (Data) в виде группы Получить и преобразовать (Get & Transform):

Возможности этих вариантов совершенно идентичны.

Принципиальной особоенностью Power Query является то, что все действия по импорту и трансформации данных запоминаются в виде запроса — последовательности шагов на внутреннем языке программирования Power Query, который лаконично называется «М». Шаги можно всегда отредактировать и воспроизвести повторно любое количество раз (обновить запрос).

Основное окно Power Query обычно выглядит примерно так:

По моему мнению, это самая полезная для широкого круга пользователей надстройка из всех перечисленных в этой статье. Очень много задач, для которых раньше приходилось либо жутко извращаться с формулами, либо писать макросы — теперь легко и красиво делаются в Power Query. Да еще и с последующим автоматическим обновлением результатов. А учитывая бесплатность, по соотношению «цена-качество» Power Query просто вне конкуренции и абсолютный must have для любого средне-продвинутого пользователя Excel в наши дни.

Power Pivot

Power Pivot — это тоже надстройка для Microsoft Excel, но предназначенная немного для других задач. Если Power Query сосредоточена на импорте и обработке, то Power Pivot нужен, в основном, для сложного анализа больших объемов данных. В первом приближении, можно думать о Power Pivot как о прокачанных сводных таблицах.

Общие принципы работы в Power Pivot следующие:

1. Сначала мы загружаем данные в Power Pivot — поддерживается 15 различных  источников: распространенные БД (SQL, Oracle, Access…), файлы Excel, текстовые файлы, веб-каналы данных. Кроме того, можно использовать Power Query как источник данных, что делает анализ почти всеядным.
2. Затем между загруженными таблицами настраиваются связи или, как еще говорят, создается Модель Данных. Это позволит в будущем строить отчеты по любым полям из имеющихся таблиц так, будто это одна таблица. И никаких ВПР опять же.
3. При необходимости, в Модель Данных добавляют дополнительные вычисления с помощью вычисляемых столбцов (аналог столбца с формулами в «умной таблице») и мер (аналог вычисляемого поля в сводной). Всё это пишется на специальном внутреннем языке Power Pivot, который называется DAX (Data Analysis eXpressions).
4. На листе Excel по Модели Данных строятся интересующие нас отчеты в виде сводных таблиц и диаграмм.

Главное окно Power Pivot выглядит примерно так:

А так выглядит Модель Данных, т.е. все загруженные таблицы с созданными связями:

У Power Pivot есть ряд особенностей, делающих её уникальным инструментом для некоторых задач:

• В Power Pivot нет предела по количеству строк (как в Excel). Можно грузить таблицы любого размера и спокойно работать с ними.
• Power Pivot очень хорошо умеет сжимать данные при загрузке их в Модель. 50 Мб исходный текстовый файл может легко превратиться в 3-5 Мб после загрузки.
• Поскольку «под капотом» у Power Pivot, по сути, полноценный движок базы данных, то с большими объемами информации он справляется очень быстро. Нужно проанализировать 10-15 млн. записей и построить сводную? И все это на стареньком ноутбуке? Без проблем!

К сожалению, пока что Power Pivot входит не во все версии Excel. Если у вас Excel 2010, то скачать её можно бесплатно с сайта Microsoft. А вот если у вас Excel 2013-2016, то всё зависит от вашей лицензии, т.к. в некоторых вариантах она включена (Office Pro Plus, например), а в некоторых нет (Office 365 Home, Office 365 Personal и т.д.) Подробнее об этом можно почитать тут.

Power Maps

Эта надстройка впервые появилась в 2013 году и первоначально называлась GeoFlow. Она предназначена для визуализации гео-данных, т.е. числовой информации на географических картах. Исходные данные для отображения берутся все из той же Модели Данных Power Pivot (см. предыдущий пункт).

Демо-версию Power Map (почти не отличающуюся от полной по возможностям, кстати) можно совершенно бесплатно загрузить опять же с сайта Microsoft. Полная же версия включена в некоторые пакеты Microsoft Office 2013-2016 вместе с Power Pivot — в виде кнопки 3D-карта на вкладке Вставка (Insert — 3D-map):

Ключевые особенности Power Map:

• Карты могут быть как плоскими, так и объемными (земной шар).
• Можно использовать несколько разных типов визуализации (гистограммы, пузырьковые диаграммы, тепловые карты, заливку областями).
• Можно добавлять измерение времени, т.е. анимировать процесс и смотреть на него в развитии.
• Карты подгружаются из сервиса Bing Maps, т.е. для просмотра нужен весьма шустрый доступ в интернет. Иногда возникают сложности с правильным распознаванием адресов, т.к. названия в данных не всегда совпадают с Bing Maps.
• В полной (не демо) версии Power Map можно использовать собственные загружаемые карты, например визуализировать посетителей торгового центра или цены на квартиры в жилом доме прямо на строительном плане.
• На основе созданных гео-визуализаций можно прямо в Power Map создавать видеоролики (пример), чтобы поделиться ими потом с теми, у кого надстройка не установлена или включить в презентацию Power Point.

Power View

Эта надстройка появилась впервые в составе Excel 2013 и предназначена для «оживления» ваших данных — построения интерактивных графиков, диаграмм, карт и таблиц. Иногда для этого используют термины дашборд (dashboard) или панель показателей (scorecard). Суть в том, что вы можете вставить в ваш файл Excel специальный лист без ячеек — слайд Power View, куда добавить текст, картинки и массу различного типа визуализаций по вашим данным из Модели Данных Power Pivot.

Выглядеть это будет примерно так:

Нюансы тут такие:

• Исходные данные берутся всё оттуда же — из Модели Данных Power Pivot.
• Для работы с Power View необходимо установить на вашем компьютере Silverlight — майкрософтовский аналог Flash (бесплатный).

На сайте Microsoft, кстати, есть весьма приличный обучающий курс по Power View на русском языке.

Power BI

В отличие от предыдущих, Power BI — это не надстройка для Excel, а отдельный продукт, представляющий собой целый комплекс средств для бизнес- анализа и визуализации. Он состоит из трех ключевых элементов:

1. Power BI Desktop — программа для анализа и визуализации данных, включающая в себя, помимо прочего, весь функционал надстроек Power Query и Power Pivot + улучшенные механизмы визуализации из Power View и Power Map. Скачать и установить её можно совершенно бесплатно с сайта Microsoft.

В Power BI Desktop можно:

• Загружать данные из более чем 70 различных источников (как в Power Query + дополнительные коннекторы).
• Связывать таблицы в модель (как в Power Pivot)
• Добавлять к данным дополнительные вычисления с помощью мер и вычисляемых столбцов на DAX (как в Power Pivot)
• Создавать на основе данных красивейшие интерактивные отчеты с разного типа визуализациями (очень похоже на Power View, но еще лучше и мощнее).
• Публиковать созданные отчеты на сайте Power BI Service (см. следующий пункт) и делиться ими с коллегами. Причем есть возможность давать разные права (чтение, редактирование) разным людям.

2. Онлайн-сервис Power BI — упрощенно говоря, это сайт, где у вас и у каждого пользователя в вашей компании будет своя «песочница» (workspace) куда можно загружать созданные в Power BI Desktop отчеты. Помимо просмотра, позволяет их даже редактировать, воспроизводя онлайн почти весь функционал Power BI Desktop. Также сюда можно заимствовать отдельные визуализации из чужих отчетов, собирая из них свои авторские дашборды.

Выглядит это примерно так:

3. Power BI Mobile — приложение для iOS / Android / Windows для подключения к Power BI Service и удобного просмотра (не редактирования) созданных отчетов и дашбордов прямо на экране телефона или планшета. Скачать его (совершенно бесплатно) можно тут.

На iPhone, например, созданный выше отчет выглядит так:

Причем всё это с сохранением интерактивностии и анимации + заточенность под тач и рисование по экрану пером. Очень удобно. Таким образом, бизнес-аналитика становится доступной всем ключевым лицам компании в любой момент и в любом месте — нужен только доступ в интернет.

Тарифные планы Power BI. Power BI Desktop и Mobile бесплатны изначально, большинство функций Power BI Service — тоже. Так что для персонального использования или применения в пределах небольшой компании за всё вышеперечисленное не нужно платить ни копейки и можно смело оставаться на плане Free. Если вы хотите делиться отчетами с коллегами и администрировать их права доступа, то придется перейти на Pro (10$ в месяц за пользователя). Есть еще Premium — для больших компаний (>500 пользователей), которым требуются для данных отдельные хранилища и серверные мощности.

Ссылки по теме

• Проектная диаграмма Ганта в Excel с помощью Power Query
• Как создать в Excel базу данных с помощью Power Pivot
• Визуализация движения по маршруту на карте в Power Map

Что это? Power Query – это бесплатная надстройка для продуктов «Майкрософт», которая значительно облегчает работу с данными: сбор, подготовку, преобразование. Ее не нужно скачивать и как-то специально настраивать.

Как использовать? Интерфейс PQ интуитивно понятен, разобраться в нём не составит труда. Чтобы понять, на что способна эта надстройка, и получить базовые навыки работы в ней, читайте наш материал.

В статьях о MS Excel в последнее время часто встречаются малопонятные термины, начинающиеся со слова Power. Из контекста этих материалов не всегда получается понять, что подразумевается под Power Query, Power Pivot, Power BI и т. п. Самое главное — неясно, каким образом эти понятия связаны между собой и какую пользу они приносят простому пользователю табличного редактора.

Между тем еще в 2013 году в Microsoft была создана специальная группа разработчиков с целью выпуска бесплатной надстройки для Excel. Разработка получила несколько названий: Power Query, Data Explorer, Get&Transform. Данная надстройка служит для выполнения множества повседневных задач:

• Загрузка данных в таблицу Excel

Экспортировать данные можно из почти 40 сторонних форматов: SQL, Oracle, MS Access, Teradata, целый ряд корпоративных систем ERP (SAP, Microsoft Dynamics, 1C и др.), а также источники из интернета (почти все сайты, сервисы Facebook и Google Analytics).

• Сбор информации из файлов всех основных типов данных

Среди поддерживаемых типов — XLSX, TXT, CSV, JSON, HTML, XML. При этом возможно групповое извлечение данных сразу из нескольких файлов, находящихся в одной папке. Доступна автоматическая загрузка информации из всех листов Excel.

Скачать файл

• Очищение полученных данных от лишних элементов

Надстройка удаляет в частности пустые столбцы и строки, лишние пробелы, непечатаемые символы, различную служебную информацию, а также повторяющиеся значения в ячейках.

• Приведение данных к нужному виду

С помощью PQ можно менять регистр на правильный, приводить цифры к числовому формату, заполнять пробелы, исправлять заголовки таблиц, разделять текстовые фрагменты на столбцы и склеивать их снова в единый текст, выполнять некоторые другие полезные операции.

• Приведение таблицы к нужному виду

Среди возможных операций над таблицами — фильтрация, сортировка и смена порядка столбцов, транспонирование значений, генерация итогов, трансформация кросс-таблиц в обычный плоский формат и обратно.

• Подстановка значений из одной таблицы в другую

Эта операция выполняется по совпадению одного или нескольких параметров. Таким образом, она является полной заменой встроенной в Excel функции ВПР (VLOOKUP) и ее аналогов.

Надстройка представлена в двух вариантах: как отдельный модуль, доступный для скачивания с официального сайта Microsoft (для Excel 2010-13), и как сервисная функция в составе редактора (для Excel 2016). В первом варианте установка PQ добавляет в таблицу новую вкладку. Во втором же случае весь функционал надстройки уже имеется в табличном редакторе по умолчанию — он доступен как группа Get & Transform (Получить и преобразовать) во вкладке Data (Данные).

Оба варианта имеют абсолютно одинаковые возможности.

Power Query обладает отличительной особенностью: все совершенные операции сохраняются как запрос из совокупности шагов, представленный на внутреннем языке программирования M. Каждый шаг может редактироваться и повторяться неограниченное число раз. При этом происходит обновление запроса.

Многие пользователи считают эту надстройку самой полезной в Excel. С ее помощью значительно облегчается выполнение многих рутинных задач. В прежние времена для автоматизации действий писались сложные макросы, теперь же это легко выполняется в PQ. К тому же этот инструмент абсолютно бесплатен, что делает его лидером среди возможных конкурентов. Сегодня он должен иметься в арсенале каждого пользователя Excel, обладающего навыками работы выше среднего.

Подключение к данным в Power Query

Как упоминалось ранее, подключаться могут данные из большого количества различных источников. Это и другие Excel-таблицы, и базы данных популярных форматов, и данные из OData, и даже документы PDF. Также доступна загрузка информации из Power BI с последующим написанием запроса с нуля.

Как получить полный список источников, с которыми может работать Power Query? Excel позволяет увидеть в разделе «Получить данные» («Создать запрос»), находящемся во вкладке «Данные».

Разберем этот процесс на примере переноса значений из обычной таблицы.

Сперва необходимо выделить таблицу и перейти в меню «Из таблицы». В разных версиях редактора это делается по-разному:

• Excel 2010-13 — через вкладку «Power Query».
• Excel 2016 и выше — через меню Данные.

Откроется окно, в котором нужно поставить галочку «Таблица с заголовками».

После этого произойдет преобразование обычной таблицы в «умную». Останется перейти во вкладку «Главная» и нажать «Закрыть и загрузить».

Далее для данного файла полезно посмотреть запросы Power Query. Списки их доступны во вкладке «Данные» в разделе «Запросы и подключения».

Предварительная настройка Power Query

Редактор запросов в Excel открывается следующим образом:

• Вкладка «Данные» — раздел «Получить и преобразовать данные» — пункт «Получить данные» — «Запустить редактор запросов»

Далее в открывшемся окне выполняются следующие действия: «Файл» — «Параметры и настройки» — «Параметры запроса» — «Редактор Power Query». Здесь напротив пункта «Отобразить редактор запросов» должна быть поставлена галочка.

Теперь необходимо перейти в пункт «Конфиденциальность» и включить опцию «Всегда игнорировать уровни конфиденциальности». После нажатия на кнопку ОК нужно перезапустить редактор.

Редактор запросов Power Query

Открыть редактор также можно путем двойного клика по имени запроса на вкладке «Запросы и подключения». Рассмотрим интерфейс более подробно.

Редактор запросов состоит из следующих функциональных блоков:

• Лента для вкладок «Главная», «Преобразование», «Добавить столбец» и «Просмотр».
• Список созданных запросов (может быть свернут).
• Строка для ввода формул.
• Имя открытого запроса.
• История выполненных операций над запросом и данными (доступны редактирование шагов, изменение их последовательности выполнения, добавление новых или удаление существующих шагов).

  

  

  Читайте также

• Область предварительного просмотра, позволяющая просматривать в реальном времени результат изменений на каждом шаге.
• Меню операций с данными (может быть открыто кликом правой клавишей мыши).
• Контекстное меню каждого шага (в случае выбора этого шага правой клавишей мыши).

Преобразование данных в Power Query

Полезно подробнее изучить, каким образом преобразовывать данные посредством Power Query. Пример, рассмотренный ниже, наглядно продемонстрирует достаточно простую работу с надстройкой.

Итак, имеется таблица расходов, разбитых по месяцам, а также разделенных на две категории.

Общеизвестно, что такое форматирование данных не позволит построить сводную таблицу. Для приведения значений к нужной структуре используем функционал PQ. Последовательность действий будет следующей:

• Выделение всей таблицы либо одной ячейки.
• Выбор пункта «Из таблицы» (или « Из таблицы/диапазона») во вкладке «Данные».
• Активация опции «Таблица с заголовками» в открывшемся окне.
• Выделение столбцов с месяцами (например, май и июнь) путем одновременного нажатия Ctrl и левой клавиши мыши по соответствующим названиям столбцов внутри редактора запросов.
• Преобразование таблицы (меню «Преобразование» — «Заполнить» — «Вниз») с заполнением пустых строк значениями верхних ячеек.

Все действия, выполняемые с использованием надстройки, автоматически фиксируются. Они отображены в правой части рабочего пространства («Параметры запроса» — «Примененные шаги»).

Как уже упоминалось, шаги запроса доступны для редактирования. Для этого необходимо выбрать конкретное действие указателем мыши и изменить это действие. Изменение сразу же отобразится в панели предварительного просмотра. Перемещение или добавление шагов также осуществляется мышью.

Все операции с данными PQ выполняет пошагово. То есть, каждое следующее действие опирается на результаты предыдущего. Это нужно учитывать, добавляя новые шаги или изменяя последовательность их выполнения. То есть, следует всегда проверять корректность всех следующих шагов путем клика по самому нижнему.

Помимо рассмотренных простейших операций, надстройка может выполнять и более сложные, среди которых фильтрация, замена и группировка значений, заполнение пустых ячеек, удаление дубликатов. Поддерживаются расширенная работа с текстом и числами, выполнение простых вычислений, различные виды трансформации таблиц, объединение данных и многое другое.

Строка формул и расширенный редактор

В работе с графическим редактором рано или поздно возникают ситуации, когда штатными средствами грамотно преобразовать данные не представляется возможным. Это требует особой конфигурации программы с применением параметров, не поддерживаемых графическим интерфейсом. Для таких случаев существуют специальные формулы Power Query, являющиеся частью встроенного языка M. Подсистема позволяет выполнять скрипты преобразований в фоновом режиме.

Язык преобразования данных M обрабатывает каждое событие, происходящее внутри запроса. Однако для использования расширенного функционала PQ лучше использовать соответственно расширенный редактор.

Он предоставляет полный доступ к скрипту запроса для последующей модификации. Другими словами, если функции пользовательского интерфейса не обеспечивают требуемую точность, следует воспользоваться расширенным редактором и инструментами языка M для гибкой настройки функций и преобразований.

При этом глубоко разбираться в коде необязательно. Большая часть операций выполняется мышью по пунктам меню.

Для ввода формул используется соответствующая строка, которая по умолчанию скрыта. Для ее включения необходимо перейти во вкладку «Просмотр» и активировать пункт «Строка формул».

Ознакомиться с доступными формулами можно в этом же блоке, нажав на кнопку «Расширенный редактор». Откроется окно, в котором отобразится полный текст запроса.

Типы данных Power Query

Типы данных — это неотъемлемая составляющая любого запроса PQ. Поэтому их обязательно нужно определять. Как правило, типы данных задаются после всех выполненных преобразований. Делается это одним из трех способов:

• через вкладку «Главная», далее «Тип данных» («Преобразование»), далее «Определить тип данных»;
• через клик указателем мыши по значку типа данных в названии столбца;
• через вкладку «Преобразование», далее «Дата», далее «Выполнить анализ».

Проверку правильности задания типов данных нужно проводить перед каждым сохранением запроса. При этом рекомендуется вручную удалять автоматически добавляемый шаг «Измененный тип».

Импорт данных из Power Query

Что делать с данными после преобразования в Power Query? Как добавить их в другие программы? Разберем несколько доступных вариантов импорта данных.

Для начала следует определить подходящие способы в процессе сохранения запроса («Главная» — «Закрыть и загрузить в…»). В сохраненном запросе параметры импорта задаются на вкладке «Запросы и подключения» путем клика правой клавишей мыши по названию запроса и выбора «Загрузить в…».

В редакторе Excel предлагается импортировать преобразованные данные одним из нескольких способов:

• Выгрузка на лист

Сперва задаем способ представления данных, затем переходим во вкладку «Таблица», далее вставляем данные на лист. При этом автоматически создается смарт-таблица.

• Сводная таблица (диаграмма)

Здесь после определения способа представления нужно перейти в «Отчет сводной таблицы» («Сводная таблица»). Импорт данных будет выполнен в соответствующем виде.

• Только подключение

Для сохранения запроса следует выбрать пункт «Только создать подключение».

• Добавление данных в модель данных

Активация пункта «Добавить эти данные в модель данных» приводит к добавлению выбранных данных в модель Power Pivot.

Использование Power Query в продуктах и службах «Майкрософт»

Различные продукты от Microsoft могут так или иначе поддерживать Power Query. Таблица, приведенная ниже, демонстрирует наличие либо отсутствие этой настройки в конкретном ПО.

Итак, Power Query обладает внушительным арсеналом средств для автоматизации рутинных действий, связанных с обработкой данных из различных источников. У каждого опытного пользователя MS Excel эта надстройка должна быть подключена, изучить ее возможности под силу практически каждому.

Какие задачи можно выполнить, если совместить VBA и Power Query.

Номер урока	Урок	Описание
1	Power Query + VBA №1. Обновить запросы выборочно, обновить все запросы кроме одного	В этом уроке мы научимся выборочно обновлять запросы в книге Excel с помощью VBA.
2	Power Query + VBA №2. Путь к файлу папке при помощи VBA	В этом уроке вы узнаете как задать путь к файлу-источнику для Power Query при помощи VBA.
3	Power Query + VBA №3. Обработать и сохранить много файлов	В этом уроке вы узнаете как по очереди обработать и сохранить каждый нужный вам файл. Это еще один распространенный способ применения VBA в связке с Power Query.
4	Power Query + VBA №4. Обработать множество ссылок по одной	В этом уроке вы узнаете как обработать большое количество web-страниц по одной, чтобы избежать ошибок и разрывов.

Хитрости »

7 Март 2017              82528 просмотров

---

Power Query – специальная надстройка для для Excel 2010 и выше. Начиная с версии Excel 2016 эта надстройка встроена в Excel и все команды расположены на вкладке Данные(Data) -группа Скачать и преобразовать(Get & Transform)

Для 2010 и 2013 после подключения надстройки появится новая вкладка — POWER QUERY
Скачать Power Query для 2010 и 2013 можно по ссылке: http://go.microsoft.com/fwlink/?LinkID=313430
После скачивания необходимо закрыть Excel и запустить скачанный файл. После следующего запуска Excel на панели должна появится новая вкладка — POWER QUERY
Что же дает эта надстройка и почему её надо устанавливать? Если в общих чертах: Power Query является очень мощным инструментом и позволяет получить данные из множества различных источников: Excel, CSV, XML, бд Access и SQL, интернет-страницы, OneDrive, сервисы Google и многие другие:

список доступных подключений может быть изменен на усмотрение Microsoft. Как правило он расширяется

При этом если данные в файлах не устраивают по своей структуре, то все это можно изменить и подстроить под себя в удобном визуальном редакторе при помощи только кнопок меню. Визуальный редактор содержит множество инструментов по преобразованию данных и я кратко пробегусь по некоторым из них на примере данных из файла. Сначала необходимо подключится к таблицам. В GIF-ке подключение к паре таблиц для примера:

А далее с помощью редактора мы можем:

Конечно, напрашивается вопрос: что будет, если данные в том же файле Excel изменятся? Например, добавятся строки? А все просто — надо будет лишь обновить запрос — он обновит подключение и данные будут опять обработаны и преобразованы с учетом изменений.

Напоследок еще несколько доводов в пользу Power Query:

• она абсолютна бесплатна
• раньше, чтобы создать полноценную сводную таблицу из нескольких файлов или листов необходимо было писать код на VBA. С помощью PowerQuery это может сделать каждый без всяких кодов(пошаговая видеоинструкция как это сделать приведена в статье План-фактный анализ в Excel при помощи Power Query)
• можно легко и просто получить данные из файлов XML, текстовых файлов и CSV, а потом объединить всю информацию в одну таблицу и…Полагаю сами додумаете — главное собрать данные, а что с ними делать мы всегда придумаем исходя из задачи
• можно получать данные из интернета — и это опять же без написания кодов Visual Basic for Applications(VBA). Тот же курс доллара PowerQuery способна «вытащить» на основании ссылки на сайт и обновлять это автоматически, да еще и «привязать» к расчетам в других таблицах
• можно легко и быстро получить обновляемую информацию даже из файлов Google sheets, что до этого момента даже из VBA было занятием не из простых
• есть встроенные возможности получения данных из аккаунта Facebook. Мне лично этого никогда не требовалось, но краем правого уха подмечал, что кому-то это очень было нужно

В общем, полагаю, мотив понятен — с помощью PowerQuery каждый пользователь не имея никаких навыков программирования может достаточно легко получить данные практически из любого источника и сразу же на месте привести к их нужному виду.

---

Статья помогла? Поделись ссылкой с друзьями!

    Видеоуроки

---

Поиск по меткам



Access
apple watch
Multex
Power Query и Power BI
VBA управление кодами
Бесплатные надстройки
Дата и время
Записки
ИП
Надстройки
Печать
Политика Конфиденциальности
Почта
Программы
Работа с приложениями
Разработка приложений
Росстат
Тренинги и вебинары
Финансовые
Форматирование
Функции Excel
акции MulTEx
ссылки
статистика

What is Power Query?

Power Query is a business intelligence tool available in Excel that allows you to import data from many different sources and then clean, transform and reshape your data as needed.

It allows you to set up a query once and then reuse it with a simple refresh. It’s also pretty powerful. Power Query can import and clean millions of rows into the data model for analysis after. The user interface is intuitive and well laid out so it’s really easy to pick up. It’s an incredibly short learning curve when compared to other Excel tools like formulas or VBA.

The best part about it, is you don’t need to learn or use any code to do any of it. The power query editor records all your transformations step by step and converts them into the M code for you, similar to how the Macro recorder with VBA.

If you want to edit or write your own M code, you certainly can, but you definitely don’t need to.

Get the data used in this post to follow along.

What Can Power Query Do?

Imagine you get a sales report in a text file from your system on a monthly basis that looks like this.

Every month you need to go to the folder where the file is uploaded and open the file and copy the contents into Excel.

You then use the text to column feature to split out the data into new columns.

The system only outputs the sales person’s ID, so you need to add a new column to the data and use a VLOOKUP to get the salesperson associated with each ID. Then you need to summarize the sales by salesperson and calculate the commission to pay out.

You also need to link the product ID to the product category but only the first 4 digits of the product code relate to the product category. You create another column using the LEFT function to get the first 4 digits of the product code, then use a VLOOKUP on this to get the product category. Now you can summarize the data by category.

Maybe it only takes an hour a month to do, but it’s pretty mindless work that’s not enjoyable and takes away from time you can actually spend analyzing the data and producing meaningful insight.

With Power Query, this can all be automated down to a click of the refresh button on a monthly basis. All you need to do is build the query once and reuse it, saving an hour of work each and every month!

Where is Power Query?

Power Query is available as an add-in to download and install for Excel 2010 and 2013 and will appear as a new tab in the ribbon labelled Power Query. In 2016 it was renamed to Get & Transform and appears in the Data tab without the need to install any add-in.

Importing Your Data with Power Query

Importing your data with Power Query is simple. Excel provides many common data connections that are accessible from the Data tab and can be found from the Get Data command.

• Get data from a single file such as an Excel workbook, Text or CSV file, XML and JSON files. You can also import multiple files from within a given folder.
• Get data from various databases such as SQL Server, Microsoft Access, Analysis Services, SQL Server Analysis Server, Oracle, IBM DB2, MySQL, PostgreSQL, Sybase, Teradata and SAP HANA databases.
• Get data from Microsoft Azure
• Get data from online services like Sharepoint, Microsoft Exchange, Dynamics 365, Facebook and Salesforce.
• Get data from other sources like a table or range inside the current workbook, from the web, a Microsoft Query, Hadoop, OData feed, ODBC and OLEDB.
• We can merge two queries together similar to joining two queries in SQL.
• We can append a query to another query similar to a union of two queries in SQL.

Note: The available data connection options will depend on your version of Excel.

There are a couple of the more common query types available in the top level of the ribbon commands found in the Get & Transform section of the Data tab. From here we can easily access the From Text/CSV, From Web and From Table/Range queries. These are just duplicated outside of the Get Data command for convenience of use, since you’ll likely be using these more frequently.

Depending on which type of data connection you choose, Excel will guide you through the connection set up and there might be several options to select during the process.

At the end of the setup process, you will come to the data preview window. You can view a preview of the data here to make sure it’s what you’re expecting. You can then load the data as is by pressing the Load button, or you can proceed to the query editor to apply any data transformation steps by pressing the Edit button.

A Simple Example of Importing Data in an Excel File

Let’s take a look at importing some data from an Excel workbook in action. We’re going to import an Excel file called Office Supply Sales Data.xlsx. It contains sales data on one sheet called Sales Data and customer data on another sheet called Customer Data. Both sheets of data start in cell A1 and the first row of the data contains column headers.

Go to the Data tab and select the Get Data command in the Get & Transform Data section. Then go to From File and choose From Workbook.

This will open a file picker menu where you can navigate to the file you want to import. Select the file and press the Import button.

After selecting the file you want to import, the data preview Navigator window will open. This will give you a list of all the objects available to import from the workbook. Check the box to Select multiple items since we will be importing data from two different sheets. Now we can check both the Customer Data and Sales Data.

When you click on either of the objects in the workbook, you can see a preview of the data for it on the right hand side of the navigator window. This is great for a sense check to make sure you’ve got the correct file.

When you’re satisfied that you’ve got everything you need from the workbook, you can either press the Edit or Load buttons. The edit button will take you to the query editor where you can transform your data before loading it. Pressing the load button will load the data into tables in new sheets in the workbook.

In this simple example, we will bypass the editor and go straight to loading the data into Excel. Press the small arrow next to the Load button to access the Load To options. This will give you a few more loading options.

We will choose to load the data into a table in a new sheet, but there are several other options. You can also load the data directly into a pivot table or pivot chart, or you can avoid loading the data and just create a connection to the data.

Now the tables are loaded into new sheets in Excel and we also have two queries which can quickly be refreshed if the data in the original workbook is ever updated.

The Query Editor

After going through the guide to connecting your data and selecting the Edit option, you will be presented with the query editor. This is where any data transformation steps will be created or edited. There are 6 main area in the editor to become familiar with.

1. The Ribbon – The user interface for the editor is quite similar to Excel and uses a visual ribbon style command center. It organizes data transformation commands and other power query options into 5 main tabs.
2. Query List – This area lists all the queries in the current workbook. You can navigate to any query from this area to begin editing it.
3. Data Preview – This area is where you will see a preview of the data with all the transformation steps currently applied. You can also access a lot of the transformation commands here either from the filter icons in the column headings or with a right click on the column heading.
4. Formula Bar – This is where you can see and edit the M code of the current transformation step. Each transformation you make on your data is recorded and appears as a step in the applied steps area.
5. Properties – This is where you can name your query. When you close and load the query to an Excel table, power query will create a table with the same name as its source query if the table name isn’t already taken. The query name is also how the M code will reference this query if we need to query it in another query.
6. Applied Steps – This area is a chronological list of all the transformation steps that have been applied to the data. You can move through the steps here and view the changes in the data preview area. You can also delete, modify or reorder any steps in the query here.

The Query List

The Query List has other abilities other than just listing out all the current workbook’s queries.

One of the primary functions of the query list is navigation. There’s no need to exit the query editor to switch which query you’re working on. You can left click on any query to switch. The query you’re currently on will be highlighted in a light green colour.

When you do eventually exit the editor with the close and load button, changes in all the queries you edited will be saved.

You can hide the query list to create more room for the data preview. Left click on the small arrow in the upper right corner to toggle the list between hidden and visible.

If you right click on any query in the list, there are a variety of options available.

• Copy and Paste – Copy and paste a query to make another copy of it.
• Delete – Delete the query. If you accidentally delete a query, there’s no undo button, but you can exit the query editor without saving via close and load to restore your query.
• Rename – Rename your query. This is the same as renaming it from the properties section on the left hand side of the editor.
• Duplicate – Make another copy of the query. This is the same as copy and paste but turns the process into one step.
• Move To Group – Place your queries into a folder like structure to keep them organised when the list gets large.
• Move Up and Move Down – Rearrange the order your queries appear in the list or within the folder groups to add to your organisational efforts. This can also be done by dragging and dropping the query to a new location.
• Create Function – Turn your query into a query function. They allow you to pass a parameter to the query and return results based on the parameter passed.
• Convert To Parameter – Allows you to convert parameters to queries or queries to parameters.
• Advanced Editor – Open the advanced editor to edit the M code for the query.
• Properties – Allows you to change the query name, add a description text and enable Fast Data Load option for the query.

If you right click any empty area in the query list, you can create a new query.

The Data Preview

The main job of the data preview area is to apply transformation steps to your data and show a preview of these steps you’re applying.

In the data preview area, you can select columns with a few different methods. A column will be highlighted in a light green colour when it’s selected.

• Select a single column with a left click on the column heading.
• Select multiple adjacent columns with a left click on the first column heading, then hold Shift and left click on the last column heading.
• Select multiple non-adjacent columns by holding Ctrl then left click on any column headings you want to select.

You can then apply any relevant data transformation steps on selected columns from the ribbon or certain steps can be accessed with a right click on the column heading. Commands that are not available to your selected column or columns will appear grayed out in the ribbon.

Each column has a data type icon on the left hand of the column heading. You can left click on it to change the data type of the column.

You can choose from decimal numbers, currency, whole numbers, percentages, date and time, dates, times, timezone, duration, text, Boolean, and binary.

Using the Locale option allows you to set the data type format using the convention from different locations. For example, if you wanted to display the date in the American m/d/yyyy format instead of the usual dd/mm/yyyy then you could select United States as the locale.

There’s a small table icon in the top left hand corner of the data preview, you can right click or left click this to access various actions that affect the whole table.

Renaming any column heading is really easy. Double left click on any column heading then type your new name and press Enter when you’re done.

You can change around the order of any of the columns with a left click and drag action. The green border between two columns will become the new location of the dragged column when you release the left click.

Each column also has a filter toggle on right hand side. Left click on this to sort and filter your data. This filter menu is very similar to the filters found in a regular spreadsheet and will work the same way.

The list of items shown is based on a sample of the data so may not contain all available items in the data. You can load more by clicking on the Load more text in blue.

Many transformations found in the ribbon menu are also accessible from the data preview area using a right click on the column heading. Some of the action you select from this right click menu will replace the current column. If you want to create a new column based, use a command from the Add Column tab instead.

The Applied Steps

Any transformation you make to your data will appear as a step in the Applied Steps area. It also allows you to navigate through your query. Left click on any step and the data preview will update to show all transformations up to and including that step.

You can insert new steps into the query at any point by selecting the previous step and then creating the transformation in the data preview. Power Query will then ask if you want to insert this new step. Careful though, as this may break the following steps that refer to something you changed.

You can delete any steps that were applied using the X on the left hand side of the step name in the Applied Steps area. Caution is needed though, as if any of the following steps depend on the step you’re trying delete, you will break your query. This is where Delete Until End from the right click menu can be handy.

A lot of transformation steps available in power query will have various user input parameters and other setting associated with them. If you apply a filter on the product column to show all items not starting with Pen, you might later decide you need to change this filter step to show all items not equal to Pen. You can make these edits from the Applied Step area.

Some of the steps will have a small gear icon on the right hand side. This allows you to edit the inputs and settings of that step.

You can rearrange the order the steps are performed in your query. Just left click on any step and drag it to a new location. A green line between steps will indicate the new location. This is another one you’ll need to be careful with as a lot of steps will depend on previous steps, and changing ordering can create errors because of this.

Right click on any step to access a menu of options.

• Edit Settings – This allows you to edit the settings of the step similar to using the gear icon on the right hand side of the step.
• Rename – This allows you to rename the steps label. Instead of the displaying the generic name like “Filtered Rows“, you could have this display something like “Filtered Product Rows on Pens” so you can easily identify what the step is doing.
• Delete – This deletes the current step similar to the X on the left hand side of the step.
• Delete Until End – This allows you to delete the current step plus all steps up until the end. Since steps can depend on previous steps, deleting all steps after a step is a good way to avoid any errors.
• Insert Step After – This allows you to insert a new step after the current step.
• Move Up and Move Down – This allows you to rearrange the query steps similar to the dragging and dropping method.
• Extract Previous – This can be a really useful option. It allows you to create a new copy of the query up to the selected step.

The Formula Bar

When you click on different steps of the transformation process in the Applied Steps area, the formula bar updates to show the M code that was created for that step. If the M code generated is longer than the formula bar, you can expand the formula bar using the arrow toggle on the right hand side.

You can edit the M code for a step directly from the formula bar without the need to open the advanced editor. In this example, we’ve changed our filter from “Pen” to “Chair” by typing in the formula bar and then pressing Enter or using the check mark on the left to confirm the change. Press Esc or use the X on the
left to discard any changes.

The File Tab

The File tab contains various options for saving any changes made to your queries as well as power query options and settings.

• Close & Load – This will save your queries and load your current query into an Excel table in the workbook.
• Close & Load To – This will open the Import Data menu with various data loading options to choose from.
• Discard & Close – This will discard any changes you made to the queries during your session in the editor and close the editor.

Note, you will still need to save the workbook in the regular way to keep any changes to queries if you close the workbook.

Close & Load and Close & Load To commands are also available from the Home tab.

Data Loading Options

When you use the Close & Load To option to exit the editor, this will open the Import Data menu.

You can choose to load the query to a table, pivot table, pivot chart or only create a connection for the query. The connection only option will mean there is no data output to the workbook, but you can still use this query in other queries. This is a good option if the query is an intermediate step in a data transformation process.

You’ll also be able to select the location to load to in your workbook if you selected either a table, pivot table or pivot chart in the previous section. You can choose a cell in an existing worksheet or load it to a new sheet that Excel will create for you automatically.

The other option you get is the Add this data to the Data Model. This will allow you to use the data output in Power Pivot and use other Data Model functionality like building relationships between tables. The Data Model Excel’s new efficient way of storing and using large amounts of data.

The Queries & Connections Window

When you’re working outside of the power query editor, you can see and interact with all the queries in the workbook through the Queries & Connections window. To open this, go to the Data tab in the regular Excel ribbon, then press the Queries & Connections command button found in the Queries & Connections section.

When opened it will be docked to the right hand side of the workbook. You can undock it by left clicking on the title and dragging it. You can drag it to the left hand side and dock it there or leave it floating. You can also resize the window by left clicking and dragging the edges.

This is very similar to the query list in the editor and you can perform a lot of the same actions with a right click on any query.

One option worth noting that’s not in the query list right click menu, is the Load To option. This will allow you to change the loading option for any query, so you can change any Connection only queries to load to an Excel table in the workbook.

Another thing worth noting is when you hover over a query with the mouse cursor, Excel will generate a Peek Data Preview. This will show you some basic information about the query.

• Data Preview – This is a live preview of the data similar to when first setting up a query.
• Columns – This will give you a list of all the columns contained in the final results of the query along with a count of how many columns there are. Clicking on any of them will highlight the column in the data preview.
• Last Refreshed – This will tell you when the data was last refreshed.
• Load Status – This displays whether the data is loaded to a table, pivot table, pivot chart or is a connection only.
• Data Sources – This will show you the source of the data along with a count of the number of files if you’re it’s a from folder query.
• View in Worksheet – Clicking on this will take you to the output table if the query is loaded to a table, pivot table or pivot chart.

You can also access this Peek view by right clicking on the query and selecting Show the peek.

There are also some useful messages displayed in the Queries & Connections window for each query. It will show you if the query is a connection only, if there were any errors when the query last ran, or how many rows loaded.

The Home Tab

The Home tab contains all the actions, transformations, and settings that will affect the whole table.

1. Close – You can access the Close & Load and Close & Load To options from here. These are also available in the File tab menu.
2. Query – You can refresh the data preview for the current query or all query connections. You can also open the properties settings and the advanced editor for the current query and there are options under the Manage button to delete, duplicate or reference the current query.
3. Manage Columns – You can navigate to specific columns and choose to keep or remove columns.
4. Reduce Rows – You can manage the rows of data from this section. There are lots of options to either keep certain rows or remove certain rows. Keep or remove the top N rows, the bottom N rows, a particular range of rows, alternating rows, duplicate rows or rows with errors. One option only available for removing rows is to remove blank rows.
5. Sort – You can sort any column in either ascending or descending order.
6. Transform – This section contains a mix of useful transformation options.
   • Split Columns – This allows you to split the data in a column based on a delimiter or character length.
   • Group By – This allows you to group and summarize your data similar to a Group By in SQL.
   • Data Type – This allows you to change the data type of any column.
   • Use First Row as Headers – This allows you to promote the first row of data to column headings or demote the column headings to a row of data.
   • Replace Values – This allows you to find and replace any value from a column.
7. Combine – This sections contains all the commands for joining your query to with other queries. You can merge, append queries or combine files when working with a from folder query.
8. Parameters – Power Query allows you to create parameters for your queries. For example when setting up a from folder query, you may want the folder path to be a parameter as so you can easily change the location. You can create and manage existing parameters from this section.
9. Data Sources – This section contains the data source settings including permissions management for any data sources that require passwords to access.
10. New Query – You can create new queries from new data sources or previously used data sources from this section.

The Difference Between the Transform and Add Column Tabs

The bulk of all transformations available in power query can be accessed through either the Transform tab or the Add Column tab.

You might think there is a lot of duplication between these two tabs. For example, both tabs contain a From Text section with a lot of the same commands. It’s not really the case, there is a subtle difference!

When you use a command from the Add Column tab that is found in both tabs, it will create a new column with the transformed data and the original column will stay intact. Whereas using the equivalent command from the Transform tab will change the original column and no new column is created.

This is a critical point to be aware of!

The Transform Tab

The Transform tab sections.

1. Table – This section contains commands that will transform the entire table. You can group and aggregate your query, promote rows to headers, demote headers to rows, transpose your data, reverse row order, and count rows.
2. Any Column – This section contains commands that will work on any column of data regardless of data type. You can change the data type, automatically detect and change the data type, rename the column heading, find and replace values, fill values down (or up) a column to replace any blanks or nulls with the value above it (or below it), pivot or unpivot columns, move columns to a new location or convert a column to a list.
3. Text Column – This section contains commands for text data. You can split columns with a delimiter, format the case, trim and clean, merge two or more columns together, extract text, and parse XML or JSON objects.
4. Number Column – This section contains commands for numerical data. You can perform various aggregations like sums and averages, perform standard algebra operations or trigonometry and round numbers up or down.
5. Date & Time Column – This section contains commands for date and time data. You can extract information from your dates, times and duration data.
6. Structured Column – This section contains commands for working with nested data structures such as when your column contains tables.

The Add Column Tab

The Add Column tab contains a lot of commands similar to the Transform tab, but the key difference is they will create a new column with the transformation.

1. General – This section allows you to add new columns based on formulas or custom functions. You can also add index colummns or duplicate a column from here.
2. From Text – Very similar to the From Text section in the Transform tab, but these commands will create a new column with the transformation.
3. From Number – Very similar to the From Number section in the Transform tab, but these commands will create a new column with the transformation.
4. From Date & Time – Very similar to the From Date & Time section in the Transform tab, but these commands will create a new column with the transformation.

The View Tab

The View tab is quite sparse in comparison to the other tabs. There are no transformation commands to be found in it. Most Power Query users will rarely need to use this area, but there are still a few things worth knowing about.

1. Layout – This section allows you to either show or hide the Query Setting pane (which contain the properties and applied steps) and the Formula Bar.
2. Data Preview – This section allows you to show or hide whitespace characters or turn the font into a monospace font in the data preview area. This is handy when dealing with data delimited by a certain number of characters.
3. Columns – This allows you to go to and select a certain column in the data preview. This command is also available in the Home tab.
4. Parameters – This allows you to enable parameterization in data sources and transformation steps.
5. Advanced – This will open the advanced query editor which shows the M code for the query. This is also available from the Home tab.
6. Dependencies – This will open a diagram view of the query dependencies in the workbook.

In particular, the Query Dependencies view is a useful resource that allows you to see a visual representation of the data transformation process flow.

Conclusions

Power Query can seem overwhelming at first to someone new to it all, but the UI is very well laid out and easy to catch on to. While it might be new to a user, a lot of the concepts should be familiar to an Excel user already.

Getting familiar with all the parts of the editor and the layout of the ribbon tabs is an essential first step in exploring Power Query and incorporating it into your everyday work.

While there is a lot to learn about Power Query, it is worth putting in the time to learn. There is massive potential to save time in repetitive data cleaning and formatting tasks with it. It’s one of the most powerful and useful tools that has been added to Excel since pivot tables.

Want even more power query goodness? Then check out these Amazing Power Query Tips to help you get the most out of it!