Power quick excel 2016

Версия 4.2 Дата выхода 04.04.2020

Появилась возможность автоматического формирования ссылки на ячейку из другого файла через функцию ДВССЫЛ (ранее в ссылку нельзя было включить имя файла)
Добавлена формула по вычислению количества уникальных значений в диапазоне
Добавлена формула по вычислению номеров строк с дубликатами значений указанного диапазона
Добавлена формула по сведению информации из указанного столбца указанных листов с определением строки по условию
Добавлена команда по автоматическому заполнению ячеек указанных файлов значениями (расширен блок Координатное заполнение)
Оптимизированы многие команды и интерфейс, исправлены ошибки

Версия 4.1 Дата выхода 06.03.2020
Добавлена команда по автоматическому созданию структуры вложенных папок в указанном месте на основе таблицы с именами папок
Оптимизированы многие команды, исправлены ошибки

Версия 4.0 Дата выхода 18.01.2020
Экспресс-сортировка строк
Кнопка на ленте по быстрому удалению гиперссылок
Добавлено вычисление экспресс-отклонения двух чисел «горячими клавишами»
Усовершенствован интерфейс, оптимизированы многие команды, исправлены ошибки

Версия 3.9 Дата выхода 01.12.2019
Добавлен модуль по быстрому формированию ссылки на ячейку через функцию ИНДЕКС
Добавлено формирование формулы по вычислению позиции N-повтора элемента в диапазоне
Добавлена возможность заполнения ячеек разных листов ссылками через координатные таблицы (ранее заполнение было только значениями)
Добавлена возможность автоматической окраски ярлычков листов в соответствии с фоном выделенного диапазона ячеек с именами листов
Добавлена возможность выделить листы, ярлычки которых одинакового цвета
Усовершенствованы быстрые команды PowerQuick (бывш. SubEx) по автоматическому подбору параметра и умножения диапазона на число (расширена область применения, добавлены подробные инструкции по командам)
Добавлена возможность показа всех скрытых листов/строк/столбцов с возможностью возврата к исходному виду
Оптимизирован интерфейс, исправлены ошибки, оптимизированы прочие команды

Версия 3.8 Дата выхода 09.09.2019
Добавлен продвинутый буфер обмена – постоянное хранение в системе и вывод на лист таблиц с личной справочной информацией
В блок быстрых финансов добавлена функция для инвесторов по вычислению среднегодовой процентной ставки по инвестициям за период
В блок графики добавлен быстрая вставка рамок для выделения объектов на листе
Оптимизирован интерфейс, исправлены многие ошибки

Версия 3.7 Дата выхода 14.07.2019 подробнее про обновление в ВК
Доработан блок быстрых финансовых расчетов – добавлен быстрый ввод формул дисконтирования, чистого денежного дохода (ЧДД), внутренней нормы доходности (ВНД), срока окупаемости инвестиций
Добавлен мастер анализа чувствительности показателей проекта к 1 или 2 переменным (экспресс-применение Таблиц данных)
Формирование формул по преобразованию числа в число прописью в различных вариациях
Автоматическая замена ссылок на другие листы на текущие значения в выделенном диапазоне
Быстрое сохранение выделенного диапазона в качестве скриншрота в форматах .jpeg, .png

Версия 3.6 Дата выхода 06.06.2019
подробнее про обновление в ВК
Добавлена команда по автоматическому размещению указанных
файлов в указанных папках
Добавлен блок быстрых финансовых расчетов – добавлены кредитный и депозитный калькуляторы
Добавлен блок по массовому добавлению ограничений на изменение диапазонов файла, в т.ч. с указанием допустимых сетевых имен пользователей
Добавлена кнопка моментального изменения формата текущего файла (xlsx,xlsm,xlsb)
Переработан буфер обмена с постоянным хранением информации – теперь можно загружать и сохранять в системе не только константы, но и списки
Добавлен блок по быстрому переходу/выделению столбца вниз до конца форматированной области (в не зависимости от содержания ячеек)
Оптимизирована (ускорена) команда по автоматическому переименованию группы файлов
Добавлен блок экспресс-условного форматирования для выпадающих списков Да/Нет, 1/0, +/-
А также… добавлен видеоурок по формированию иерархической суммы, оптимизированы многие другие команды и исправлены ошибки.

Версия 3.5 Дата выхода 25.03.2019 подробнее про обновление в ВК
Добавлены команды по работе с pdf-файлами:
– сохранение текущего листа в формате PDF
– отправка по почте текущего листа в формате PDF
– сохранение выделенного фрагмента в формате PDF (на выбор книжная или альбомная ориентация)
– отправка по почте выделенного фрагмента в формате PDF (на выбор книжная или альбомная ориентация)
Цветокарта теперь подсвечивает отдельным цветом выпадающие списки
Быстрая формула адаптивной суммы – специальная формула, суммирующая все вышестоящие ячейки (для корректного добавления новых строк в диапазон суммирования)
Добавлен блок команд по разделению ячейки по указанному неуникальному символу, то есть если данных символов в ячейке более одного
Добавлена команда Координатное заполнение – быстрое заполнение ячеек с указанным адресом на указанных листах указанными значениями
Добавлены формулы по динамическому транспонированию (преобразование строки в столбец и наоборот) с возможностью «протягивания», без формул массивов
Добавлено меню Система, в котором:
– добавлена кнопка по моментальной установке/снятию общего доступа к файлу
– добавлен вывод основной и расширенной информации о системе
Добавлен блок команд по обновлению связей: добавлена команда по обновлению исходящих связей, т.е. массовому открытию, обновлению и сохранению указанных файлов
Добавлены команды по быстрому внесению изменений в заполненные выпадающие списки любых уровней при внесении изменений в исходные справочники
Кнопка отмены заданных ранее областей печати
Добавлена команда отмены функций округления
Добавлены команды по выделению всей отформатированной области в столбце и переходу к последней отформатированной ячейке в столбце (в стандартном Excel переход может осуществляться только к заполненной ячейке, но не к отформатированной)
Исправлена ошибка при сохранении в системе новой ставки НДС 20%, а также прочие прочие ошибки, оптимизированы многие другие команды

Версия 3.4 Дата выхода 20.01.2019
Добавлена кнопка по быстрому сохранению выбранных листов в формате pdf
Усовершенствованы команды по работе с файлами и папками:
– добавлена команда по “вытаскиванию” всех файлов из выбранных папок (с учетом всех вложенных папок любого уровня вложенности)
– добавлены команды по выводу на лист Excel списка имен указанных папок
– добавлены команды по массовому переименованию папок
– добавлен видеоурок по управлению файлами и папками
Добавлены команды по автоматическому удалению из книги имен диапазонов, содержащих ошибки, а также ссылающихся на другие книги
Доработаны команды по формированию текстовых формул: добавлена возможность делить ячейку по заданному символу, производя его поиск с конца строки
Исправлены многие ошибки, улучшены некоторые другие команды

Версия 3.3 Дата выхода 14.12.2018
Добавлена возможность ручной настройки ставки НДС для вычислений
Добавлена кнопка по быстрому переименованию текущего файла
Добавлена функция по формированию динамического списка уникальных значений диапазона
Добавлена формула по формированию динамического списка непустых ячеек диапазона
Добавлена кнопка по быстрому созданию точной копии диапазона (без сдвига ссылок)
Проведена оптимизация меню, улучшены некоторые команды, исправлены ошибки

Версия 3.2 Дата выхода 27.10.2018
Добавлен модуль по решению систем линейных алгебраических уравнений
Добавлен умный преобразователь степеней в размерностях (тыс м куб -> тыс м3 и тд.)
Добавлен мастер разработки форм VBA
Добавлена функция по “псевдообъединению” ячеек, т.е. присвоение специального формата, внешне напоминающего объединенные ячейки
Меню фильтрации теперь со сплит-кнопкой, сразу фильтрующей столбец по выделенному значению
Добавлены команды по применению цветокарты к диапазону, т.е. заливка ячеек в зависимости от типа данных, в том числе цветокарта на предмет блокировки/разблокировки ячеек
Добавлен обучающий ролик по первичным настройкам программы
Улучшено меню направления текста и усовершенствованы некоторые другие команды
Исправлена ошибка запуска некоторых команд в 64-битном MS Office

Версия 3.1 Дата выхода 23.09.2018
Добавлена команда по быстрому включению координатного (перекрестного) выделения ячеек
Добавлена кнопка быстрого включения предварительного просмотра перед печатью
Добавлены команды по быстрой установке областей печати с различными параметрами размера бумаги и ориентации листа
Добавлена команда по формированию сводной таблицы с текстом в области значений (+снят видеоурок)
Добавлены кнопки по автоподбору высоты строки/ширины столбца по содержимому для всего листа
Добавлена команда по переводу последнего символа ячейки в надстрочный стиль (для быстрого преобразования числа в степень м2 -> м2)
Добавлена пользовательская функция для анализа ячеек на содержание жирного шрифта (для последующей фильтрации по жирному шрифту)

Версия 3.0.1 Дата выхода 02.09.2018
Полное обновление интерфейса
Добавление команды по автоматическому формированию иерархии сумм в вертикальном столбце
Добавлен вывод количества отступов в ячейке
Добавлена отправка выделенного фрагмента по почте
Добавлено сохранение выделенного фрагмента в качестве отдельного файла
Улучшена команда скрыть/отобразить строки/столбцы по критерию
Добавлено удаление скрытых столбцов
Добавлена команда по проведению факторного анализа
Добавлен вывод имени листа в определенную ячейку на указанных листах
Добавлена команда по замене функции ДВССЫЛ на прямые ссылки
Добавлена динамическая автозамена текста (через формулу)
Добавлен блок по работе с диаграммами: быстрое добавление заголовка, подписей осей, рядов и категорий
В быстрые формулы добавлена функция ЧАСТОТА() для быстрого формирования гистограммы распределения
Добавлено быстрая активация режима отображения областей печати сразу с нужными параметрами
Доработана команда по проверке связанных выпадающих списков на предмет корректного обновления – теперь работает для списков на основе Умных таблиц.

Версия 2.3 Дата выхода 01.06.2018
Оптимизация интерфейса, обновление иконок, изменение порядка покупки лицензии
Добавлена функция по сохранению выделенного фрагмента как отдельного файла Excel
Добавлены команды по экспресс-отправке по почте активного листа книги как отдельного файла, а также отправке выделенного фрагмента таблицы в качестве отдельного файла
Увеличение количества цветов в экспресс-окраске ярлычков листов
Добавлена команда по поиску причины неравенства ячеек (с видеоуроком)
Добавлен видеоурок по мастеру-ВПР
Добавлена команда по переводу формул в текст и наоборот
Улучшена команда сборки строк с разных листов
Добавлена команда разборки строк по разным листам книги
Добавлена команда быстрого сцепления текста с указанным разделителем
Добавлена команда экспресс-ввода произвольного текста для тестирования форм
Добавлена функция поиска наиболее поздней записи в базе транзакций
Добавлены команды по быстрой автозамене текста в диапазоне
Доработан “менеджер книг” – добавлена возможность получать информацию о защите листов в закрытых книгах Excel, а также массово менять защиту сразу во всех книгах
Добавлена команда по отмене автофильтра сразу на всех листах книги
Добавлены команды скрытия строк/столбцов по определенному критерию
Добавлены команды по сглаживанию/отмене сглаживания графиков на диаграммах
Добавлена команда по выводу кодировки цвета заливки ячеек
Оптимизирована обратная связь с разработчиками
Исправлены многочисленные ошибки, ускорены многие команды

Версия 2.2.0 Дата выхода 27.03.2018
Добавлена схема “горячих клавиш”
Добавлена возможность автоматической проверки обновлений надстройки через Интернет
Добавлены ссылки на обучающие видеоролики
Добавлена возможность быстрого умножения/деления диапазона на 10,100, а также ставку НДС
Добавлен экспресс-ВПР на основе “умной таблицы”
Введен блок настройки вида Excel – быстрое изменение типа ссылок, отображение нулей, изменение разделителя десятичных разрядов
Переработан интерфейс
Исправлены ошибки

Версия 2.1.3 Дата выхода 07.03.2018
Улучшены команды по работе с автофильтром
Переработан блок команд по поиску дубликатов, сравнению списков, добавлена команда экспресс-анализа списка на предмет дубликатов, формула анализа уникальных значений в диапазоне
Добавлено ускоренная установка условного форматирования (на основе списка критериев)
Добавлены быстрые формулы СЧЕТЕСЛИМН, СУММПРОИЗВ
Оптимизирован интерфейс

Версия 2.1.1 Дата выхода 21.01.2018
Добавлены кнопки с видеоинструкциями к командам

Существенно переработаны команды по управлению автофильтром: добавлена возможность фильтрации по выделенному списку значений, фильтрация столбца по выделенному значению (с добавлением горячих клавиш)

Добавлена возможность скрыть листы по выделенному списку

Версия 2.1 Дата выхода 14.01.2018
Существенная переработка и оптимизация интерфейса

Переработка и оптимизация блока по работе с текстом

Добавление команды автофильтр по списку критериев

Доработка системы “горячих клавиш”

Исправлены ошибки

Версия 2.0.5 Дата выхода 26.11.2017
Исправлена ошибка при сравнении 2 списков

Добавлены “горячие клавиши” на экспресс-сравнение 2 списков, подбор параметра, сцепления ячеек

Появилась возможность быстро применять условное форматирования для отклонений по модулю

Версия 2.0.4 Дата выхода 19.11.2017
Добавлена группа команд по работе с выпадающими списками

Добавлен блок по созданию выпадающих списков из “умных таблиц”

Усовершенствован блок по работе с именованными диапазонами

Добавлена команда преобразования сводов в списки “анти-сводная таблица”

Добавлена команда удаления скрытых/отфильтрованных строк

Исправлены ошибки

Многие функции получили экспресс-доступ

Ускорена работа многих команд

Версия 2.0.3 Дата выхода 08.10.2017
Добавлено изменение регистра ячеек

Добавлены функции по анализу и изменению кириллицы-латиницы

Добавлена выгрузка примечаний из ячеек

Исправлены различные ошибки

Что это? Power Query – это бесплатная надстройка для продуктов «Майкрософт», которая значительно облегчает работу с данными: сбор, подготовку, преобразование. Ее не нужно скачивать и как-то специально настраивать.

Как использовать? Интерфейс PQ интуитивно понятен, разобраться в нём не составит труда. Чтобы понять, на что способна эта надстройка, и получить базовые навыки работы в ней, читайте наш материал.

В статьях о MS Excel в последнее время часто встречаются малопонятные термины, начинающиеся со слова Power. Из контекста этих материалов не всегда получается понять, что подразумевается под Power Query, Power Pivot, Power BI и т. п. Самое главное — неясно, каким образом эти понятия связаны между собой и какую пользу они приносят простому пользователю табличного редактора.

Между тем еще в 2013 году в Microsoft была создана специальная группа разработчиков с целью выпуска бесплатной надстройки для Excel. Разработка получила несколько названий: Power Query, Data Explorer, Get&Transform. Данная надстройка служит для выполнения множества повседневных задач:

• Загрузка данных в таблицу Excel

Экспортировать данные можно из почти 40 сторонних форматов: SQL, Oracle, MS Access, Teradata, целый ряд корпоративных систем ERP (SAP, Microsoft Dynamics, 1C и др.), а также источники из интернета (почти все сайты, сервисы Facebook и Google Analytics).

• Сбор информации из файлов всех основных типов данных

Среди поддерживаемых типов — XLSX, TXT, CSV, JSON, HTML, XML. При этом возможно групповое извлечение данных сразу из нескольких файлов, находящихся в одной папке. Доступна автоматическая загрузка информации из всех листов Excel.

Скачать файл

• Очищение полученных данных от лишних элементов

Надстройка удаляет в частности пустые столбцы и строки, лишние пробелы, непечатаемые символы, различную служебную информацию, а также повторяющиеся значения в ячейках.

• Приведение данных к нужному виду

С помощью PQ можно менять регистр на правильный, приводить цифры к числовому формату, заполнять пробелы, исправлять заголовки таблиц, разделять текстовые фрагменты на столбцы и склеивать их снова в единый текст, выполнять некоторые другие полезные операции.

• Приведение таблицы к нужному виду

Среди возможных операций над таблицами — фильтрация, сортировка и смена порядка столбцов, транспонирование значений, генерация итогов, трансформация кросс-таблиц в обычный плоский формат и обратно.

• Подстановка значений из одной таблицы в другую

Эта операция выполняется по совпадению одного или нескольких параметров. Таким образом, она является полной заменой встроенной в Excel функции ВПР (VLOOKUP) и ее аналогов.

Надстройка представлена в двух вариантах: как отдельный модуль, доступный для скачивания с официального сайта Microsoft (для Excel 2010-13), и как сервисная функция в составе редактора (для Excel 2016). В первом варианте установка PQ добавляет в таблицу новую вкладку. Во втором же случае весь функционал надстройки уже имеется в табличном редакторе по умолчанию — он доступен как группа Get & Transform (Получить и преобразовать) во вкладке Data (Данные).

Оба варианта имеют абсолютно одинаковые возможности.

Power Query обладает отличительной особенностью: все совершенные операции сохраняются как запрос из совокупности шагов, представленный на внутреннем языке программирования M. Каждый шаг может редактироваться и повторяться неограниченное число раз. При этом происходит обновление запроса.

Многие пользователи считают эту надстройку самой полезной в Excel. С ее помощью значительно облегчается выполнение многих рутинных задач. В прежние времена для автоматизации действий писались сложные макросы, теперь же это легко выполняется в PQ. К тому же этот инструмент абсолютно бесплатен, что делает его лидером среди возможных конкурентов. Сегодня он должен иметься в арсенале каждого пользователя Excel, обладающего навыками работы выше среднего.

Подключение к данным в Power Query

Как упоминалось ранее, подключаться могут данные из большого количества различных источников. Это и другие Excel-таблицы, и базы данных популярных форматов, и данные из OData, и даже документы PDF. Также доступна загрузка информации из Power BI с последующим написанием запроса с нуля.

Как получить полный список источников, с которыми может работать Power Query? Excel позволяет увидеть в разделе «Получить данные» («Создать запрос»), находящемся во вкладке «Данные».

Разберем этот процесс на примере переноса значений из обычной таблицы.

Сперва необходимо выделить таблицу и перейти в меню «Из таблицы». В разных версиях редактора это делается по-разному:

• Excel 2010-13 — через вкладку «Power Query».
• Excel 2016 и выше — через меню Данные.

Откроется окно, в котором нужно поставить галочку «Таблица с заголовками».

После этого произойдет преобразование обычной таблицы в «умную». Останется перейти во вкладку «Главная» и нажать «Закрыть и загрузить».

Далее для данного файла полезно посмотреть запросы Power Query. Списки их доступны во вкладке «Данные» в разделе «Запросы и подключения».

Предварительная настройка Power Query

Редактор запросов в Excel открывается следующим образом:

• Вкладка «Данные» — раздел «Получить и преобразовать данные» — пункт «Получить данные» — «Запустить редактор запросов»

Далее в открывшемся окне выполняются следующие действия: «Файл» — «Параметры и настройки» — «Параметры запроса» — «Редактор Power Query». Здесь напротив пункта «Отобразить редактор запросов» должна быть поставлена галочка.

Теперь необходимо перейти в пункт «Конфиденциальность» и включить опцию «Всегда игнорировать уровни конфиденциальности». После нажатия на кнопку ОК нужно перезапустить редактор.

Редактор запросов Power Query

Открыть редактор также можно путем двойного клика по имени запроса на вкладке «Запросы и подключения». Рассмотрим интерфейс более подробно.

Редактор запросов состоит из следующих функциональных блоков:

• Лента для вкладок «Главная», «Преобразование», «Добавить столбец» и «Просмотр».
• Список созданных запросов (может быть свернут).
• Строка для ввода формул.
• Имя открытого запроса.
• История выполненных операций над запросом и данными (доступны редактирование шагов, изменение их последовательности выполнения, добавление новых или удаление существующих шагов).

  

  

  Читайте также

• Область предварительного просмотра, позволяющая просматривать в реальном времени результат изменений на каждом шаге.
• Меню операций с данными (может быть открыто кликом правой клавишей мыши).
• Контекстное меню каждого шага (в случае выбора этого шага правой клавишей мыши).

Преобразование данных в Power Query

Полезно подробнее изучить, каким образом преобразовывать данные посредством Power Query. Пример, рассмотренный ниже, наглядно продемонстрирует достаточно простую работу с надстройкой.

Итак, имеется таблица расходов, разбитых по месяцам, а также разделенных на две категории.

Общеизвестно, что такое форматирование данных не позволит построить сводную таблицу. Для приведения значений к нужной структуре используем функционал PQ. Последовательность действий будет следующей:

• Выделение всей таблицы либо одной ячейки.
• Выбор пункта «Из таблицы» (или « Из таблицы/диапазона») во вкладке «Данные».
• Активация опции «Таблица с заголовками» в открывшемся окне.
• Выделение столбцов с месяцами (например, май и июнь) путем одновременного нажатия Ctrl и левой клавиши мыши по соответствующим названиям столбцов внутри редактора запросов.
• Преобразование таблицы (меню «Преобразование» — «Заполнить» — «Вниз») с заполнением пустых строк значениями верхних ячеек.

Все действия, выполняемые с использованием надстройки, автоматически фиксируются. Они отображены в правой части рабочего пространства («Параметры запроса» — «Примененные шаги»).

Как уже упоминалось, шаги запроса доступны для редактирования. Для этого необходимо выбрать конкретное действие указателем мыши и изменить это действие. Изменение сразу же отобразится в панели предварительного просмотра. Перемещение или добавление шагов также осуществляется мышью.

Все операции с данными PQ выполняет пошагово. То есть, каждое следующее действие опирается на результаты предыдущего. Это нужно учитывать, добавляя новые шаги или изменяя последовательность их выполнения. То есть, следует всегда проверять корректность всех следующих шагов путем клика по самому нижнему.

Помимо рассмотренных простейших операций, надстройка может выполнять и более сложные, среди которых фильтрация, замена и группировка значений, заполнение пустых ячеек, удаление дубликатов. Поддерживаются расширенная работа с текстом и числами, выполнение простых вычислений, различные виды трансформации таблиц, объединение данных и многое другое.

Строка формул и расширенный редактор

В работе с графическим редактором рано или поздно возникают ситуации, когда штатными средствами грамотно преобразовать данные не представляется возможным. Это требует особой конфигурации программы с применением параметров, не поддерживаемых графическим интерфейсом. Для таких случаев существуют специальные формулы Power Query, являющиеся частью встроенного языка M. Подсистема позволяет выполнять скрипты преобразований в фоновом режиме.

Язык преобразования данных M обрабатывает каждое событие, происходящее внутри запроса. Однако для использования расширенного функционала PQ лучше использовать соответственно расширенный редактор.

Он предоставляет полный доступ к скрипту запроса для последующей модификации. Другими словами, если функции пользовательского интерфейса не обеспечивают требуемую точность, следует воспользоваться расширенным редактором и инструментами языка M для гибкой настройки функций и преобразований.

При этом глубоко разбираться в коде необязательно. Большая часть операций выполняется мышью по пунктам меню.

Для ввода формул используется соответствующая строка, которая по умолчанию скрыта. Для ее включения необходимо перейти во вкладку «Просмотр» и активировать пункт «Строка формул».

Ознакомиться с доступными формулами можно в этом же блоке, нажав на кнопку «Расширенный редактор». Откроется окно, в котором отобразится полный текст запроса.

Типы данных Power Query

Типы данных — это неотъемлемая составляющая любого запроса PQ. Поэтому их обязательно нужно определять. Как правило, типы данных задаются после всех выполненных преобразований. Делается это одним из трех способов:

• через вкладку «Главная», далее «Тип данных» («Преобразование»), далее «Определить тип данных»;
• через клик указателем мыши по значку типа данных в названии столбца;
• через вкладку «Преобразование», далее «Дата», далее «Выполнить анализ».

Проверку правильности задания типов данных нужно проводить перед каждым сохранением запроса. При этом рекомендуется вручную удалять автоматически добавляемый шаг «Измененный тип».

Импорт данных из Power Query

Что делать с данными после преобразования в Power Query? Как добавить их в другие программы? Разберем несколько доступных вариантов импорта данных.

Для начала следует определить подходящие способы в процессе сохранения запроса («Главная» — «Закрыть и загрузить в…»). В сохраненном запросе параметры импорта задаются на вкладке «Запросы и подключения» путем клика правой клавишей мыши по названию запроса и выбора «Загрузить в…».

В редакторе Excel предлагается импортировать преобразованные данные одним из нескольких способов:

• Выгрузка на лист

Сперва задаем способ представления данных, затем переходим во вкладку «Таблица», далее вставляем данные на лист. При этом автоматически создается смарт-таблица.

• Сводная таблица (диаграмма)

Здесь после определения способа представления нужно перейти в «Отчет сводной таблицы» («Сводная таблица»). Импорт данных будет выполнен в соответствующем виде.

• Только подключение

Для сохранения запроса следует выбрать пункт «Только создать подключение».

• Добавление данных в модель данных

Активация пункта «Добавить эти данные в модель данных» приводит к добавлению выбранных данных в модель Power Pivot.

Использование Power Query в продуктах и службах «Майкрософт»

Различные продукты от Microsoft могут так или иначе поддерживать Power Query. Таблица, приведенная ниже, демонстрирует наличие либо отсутствие этой настройки в конкретном ПО.

Итак, Power Query обладает внушительным арсеналом средств для автоматизации рутинных действий, связанных с обработкой данных из различных источников. У каждого опытного пользователя MS Excel эта надстройка должна быть подключена, изучить ее возможности под силу практически каждому.

Начало работы с Power Query

Примечание: Мы стараемся как можно оперативнее обеспечивать вас актуальными справочными материалами на вашем языке. Эта страница переведена автоматически, поэтому ее текст может содержать неточности и грамматические ошибки. Для нас важно, чтобы эта статья была вам полезна. Просим вас уделить пару секунд и сообщить, помогла ли она вам, с помощью кнопок внизу страницы. Для удобства также приводим ссылку на оригинал (на английском языке).

Примечание: Надстройка Power Query предлагается в Excel 2016 в виде группы команд Скачать и преобразовать. Информация в этой статье относится и к Power Query, и к новой группе. Дополнительные сведения см. в статье Функция «Скачать и преобразовать» в Excel 2016.

Важно: Уведомление об
устаревшем каталоге данных Возможности каталога данных в Excel и Power Query перестанут работать на 4 марта 2019 г. Пользователи смогут использовать содержимое, уже опубликованное в каталоге данных до этой даты. Однако начиная с 3 декабря 2018 г., пользователи не смогут публиковать новые или обновленные запросы в каталоге данных. Начиная с 1 августа 2018 г., мы перейдем новые клиенты (клиенты) для использования этой функции. Мы рекомендуем скачать общие запросы, чтобы можно было использовать их за пределами каталога данных за 4 марта 2019 г. Вы можете скачать полное определение запросов из области задач запросы каталога данных с помощью параметра Открыть для каждого из запросов.

С помощью Power Query можно выполнять поиск источников данных, создавать подключения, а затем изменять эти данные (например, удалить столбец, изменить тип данных или объединить таблицы) нужным образом. После того как вы разрешили данные, вы можете поделиться ими и использовать запрос для создания отчетов.

Если рассматривать эти шаги по порядку, часто это выглядит так:

Подключение — создание подключений к данным, которые хранятся в облаке, в какой-либо службе или на локальном компьютере.

Преобразование — формирование данных в соответствии со своими потребностями (данные в источнике остаются без изменений).

Объединение — создание модели данных из нескольких источников данных и получение уникальных представлений данных.

Предоставление общего доступа — после выполнения запроса вы можете сохранить его, поделиться им или использовать его для отчетов.

Power Query фиксирует все ваши шаги, и вы можете изменять их в соответствии со своими потребностями. Это также позволяет вам отменять и повторять шаги, менять порядок и корректировать любой шаг. В результате вы можете создать такое представление подключенных данных, которое отвечает всем вашим пожеланиям.

С помощью Power Query можно создавать запросы — как простые, так и сложные. Кроме того, для фиксации и выполнения шагов в Power Query применяется язык M, поэтому вы можете создавать запросы с нуля (или корректировать их вручную), в полной мере используя возможности и гибкость сценариев данных, доступных в Power Query.

Для доступа к Power Query служит вкладка Power Query на ленте Excel.

Важно: Если вы используете Excel 2013 или более ранние версии Excel, вам может потребоваться включить Power Query в Excel. Вы также можете скачать и установить последнюю версию Power Query для Excel, которая автоматически включает ее.

Подключение

Можно использовать Power Query для подключения к одному источнику данных, такому как книга Excel, либо к нескольким базам данных, веб-каналам или службам корпорации Майкрософт в облаке. С помощью Power Query вы сможете объединить все эти источники, создавая уникальные сочетания, и выявить закономерности, которые в противном случае остались бы незамеченными.

Для подключения к источникам данных воспользуйтесь командами раздела Получение внешних данных на вкладке Power Query. Можно подключиться к данным из Интернета, файла, базы данных, Azure, других источников и даже из таблиц в книге Excel.

В этом коротком видеоролике показаны различные типы источников данных, к которым может подключаться Power Query. Мы постоянно добавляем новые подключения к данным, так что советуем вам всегда использовать самую новую версию Power Query.

При подключении к источнику данных появится область предварительного просмотра . Нажмите кнопку загрузить, если вы хотите работать с данными в Excel сразу же. Но если вы хотите применить преобразования или фигуру заранее, нажмите кнопку изменить. Power Query запустит Редактор запросов: выделенное окно, которое упрощает и отображает ваши подключения к данным и преобразования. Следующий раздел, «преобразование», содержит дополнительные сведения о редакторе запросов.

Дополнительные сведения об этапе подключения:

Преобразование

С помощью Power Query вы можете преобразовать данные из подключенных источников таким образом, чтобы было удобно их анализировать. Преобразование данных означает их изменение в соответствии с вашими потребностями. Например, вы можете удалить столбец, изменить тип данных или объединить таблицы. Все эти действия относятся к преобразованию данных. В результате преобразования данные принимают вид, необходимый вам для дальнейшего анализа. Процесс выполнения преобразований в одном или нескольких наборах данных часто называется формированием данных.

Для упрощения процесса преобразования данных и отображения получаемых результатов в Power Query используется специальное окно — редактор запросов. Чтобы открыть редактор запросов, на ленте Power Query выберите команду Запустить редактор.

Редактор запросов также открывается, когда вы подключаетесь к источнику данных, создаете новый запрос или загружаете существующий с помощью команды Загрузить.

Power Query отслеживает все ваши действия с данными. Редактор запросов фиксирует и помечает каждое преобразование (шаг), которое вы применяете к данным. Независимо от вида преобразования (подключение к данным, т. е. к источнику данных, удаление столбца, слияние данных или изменение типа данных), редактор запросов отслеживает каждую операцию в разделе ПРИМЕНЕННЫЕ ШАГИ области Параметры запроса.

Преобразования, примененные вами к подключениям к данным, в совокупности образуют ваш запрос.

Очень важно (и полезно) понимать, что Power Query не изменяет исходный источник данных. Вместо этого Power Query фиксирует каждый шаг, выполняемый вами при подключении к данным и их преобразовании, так что если вы один раз сформировали данные, Power Query использует моментальный снимок уточненного набора данных и загружает его в Excel.

Существует множество преобразований, которые можно применить к данным. Вы можете также создать собственные преобразования на языке M (с его помощью Power Query фиксирует шаги в фоновом режиме), используя Расширенный редактор, доступный в редакторе запросов. Расширенный редактор можно открыть с помощью соответствующей команды на вкладке Преобразование ленты редактора запросов. В нем вы можете изменять шаги, записанные на языке M и связанные с существующим запросом. Кроме того, используя Расширенный редактор, можно создавать запросы с нуля.

Дополнительные сведения об этапе преобразования:

Предоставление общего доступа

При сохранении книги Excel, содержащей запрос, он также сохраняется автоматически. Можно просмотреть все запросы в книге Excel, выбрав команду Показывать область в группе Запросы книги на ленте Power Query.

В области Запросы книги отображаются все запросы, которые содержит книга.

Но стоит ли на этом останавливаться? С помощью Power Query и каталога данных вы можете поделиться своими запросами с любым пользователем в организации. Кроме того, можно создать запрос, который вы планируете часто применять, а затем использовать его в нескольких книгах, тем самым избегая лишней работы. Вместо того чтобы сохранять книги Excel и отправлять их по электронной почте (при этом пытаясь установить, какая версия является оригинальной, что изменилось и не устарели ли данные), сохраните запрос в каталоге данных, и вам не придется иметь дело с бесчисленным количеством неконтролируемых версий книги, заполонивших почтовые ящики. Просто щелкните правой кнопкой мыши запрос в области Запросы книги, и откроется контекстное меню с разнообразными командами, в том числе Отправить в каталог данных.

Обратите внимание и на другие пункты контекстного меню. С помощью команды Создать дубликат можно создать дубликат запроса, что позволяет изменить некоторые или все элементы запроса, не редактируя исходный запрос. Это похоже на создание шаблона запроса, который затем можно изменять, чтобы получать специализированные наборы данных (например, один набор данных для розничных продаж, другой — для оптовой торговли, а третий — для складских запасов), причем все они будут основаны на одном и том же подключении к данным.

Вы можете также превращать запросы в стандартные блоки для повторного использования с помощью команд Слияние и Добавить.

Power Query предоставляет вам все возможности для творческой работы с данными и подключениями: выполняйте преобразования и работайте эффективнее, обмениваясь результатами с другими пользователями и получая доступ к данным с разных устройств.

Кроме того, вы всегда сможете увидеть все запросы, к которым предоставили общий доступ, в каталоге данных.

Общие запросы отображаются в области Запросы моего каталога данных. Здесь вы можете скачать запрос, перейти к его редактированию или иным образом использовать его в книге, с которой работаете в данный момент.

Готовый запрос можно использовать для создания отчетов в Excel, Power View или Power BI. В следующем разделе вы найдете ссылки на статьи, посвященные созданию отчетов. Ознакомьтесь с ними, чтобы узнать, как наилучшим образом воспользоваться результатами проделанной вами работы по формированию данных в Power Query.

Дополнительные сведения об этапах сохранения, предоставления общего доступа и создания отчетов:

Общий регламент по защите данных (GDPR)

В 2018, так как в настоящее время вступает в силу, в европейской политике конфиденциальности (GDPR). GDPR накладывает новые правила для компаний, правительственных учреждений, неприбыльных и других организаций, предлагающих товары и услуги для людей в странах Европейского союза (ЕС) или собирающих и анализирующих данные, связанные с резидентами ЕС. GDPR применяется независимо от того, где вы находитесь.

Дополнительные сведения о параметрах конфиденциальности, касающихся обновления, удаления и экспорта личных данных из книг Power Query, см. в статье Просмотр и обновление общего запроса (Power Query).

Вы также можете скопировать параметры запроса из диалогового окна » Изменение запроса » в Power Query. Чтобы скачать гибридное веб-приложение, дважды щелкните его в области задач запросы каталога данных в Excel. Все запросы будут загружены в книгу Excel. Если вы хотите просмотреть отдельные запросы, откройте Редактор запросов и просмотрите каждый шаг по отдельности или перейдите на вкладку вид и откройте Расширенный редактор.

Офисное пространство Офисное пространство

официальный блог о Microsoft Office

Интеграция технологии Power Query в Excel 2016

Статья первоначально опубликована командой Excel ( Excel Team) на английском языке здесь.

Часто ли вы импортируете данные в Excel? Требовалось ли вам когда-нибудь формировать данные перед их анализом и созданием отчета? Мы рады сообщить, что теперь технология получения данных в Excel изменится навсегда. Мы интегрировали технологию Power Query в ленту Данные под областью Получить и преобразовать в Excel 2016. Технология Power Query расширяет возможности бизнес-аналитики в Excel, упрощая обнаружение, доступ и совместную работу с данными.

До выпуска Excel 2016, Microsoft Power Query функционировал в качестве надстройки Excel, загружаемой и устанавливаемой в Excel 2010 и 2013. В Excel 2016 Power Query больше не является надстройкой – теперь это встроенная функция Excel, доступная на вкладке Данные.

Кроме того, большинство функций в области Получить и преобразовать теперь доступны для пользователей всех планов Office.

Если вы не знакомы с Power Query, ниже представлена краткая информация о том, чего вы можете достичь в Excel 2016 с помощью этой новой технологии.

• Подключение к данным — Подключайтесь ко множеству источников данных, таких как Facebook и Salesforce, для импорта данных в Excel 2016.
• Формирование данных — Выделяйте превью данных и загружайте его в Query Editor для определения шагов по преобразованию данных в тот формат, который в точности будет соответствовать требуемым вам действиям, таким как удаление, группировка, слияние столбцов и фильтровка строк.
• Каталог данных — Можно найти нужные данные путем поиска в каталоге Power BI Enterprise (требуется лицензия Power BI).
• Повторяемое обновление — Просто нажмите кнопку Обновить все на ленте Данные для повторения импорта и преобразования данных в вашей книге.

Узнать больше о новых возможностях и их использовании можно здесь.

Если надстройка Power Query вам знакома по работе в Excel 2010 и 2013, вы знаете, что есть несколько преимуществ от встраивания технологии Power Query в Excel 2016, включая:

• Она всегда под рукой — Не нужно отдельно скачивать и устанавливать надстройку. Технология Power Query теперь является частью Excel 2016, так что вы можете быть уверенными, что каждый пользователь Excel 2016 может просматривать ваши книги.
• Нет сложной активации — Группа Получить и преобразовать видна и активна по умолчанию на вкладке Данные.
• Поддержка стекаUndo — Операции Refresh и Edit Query теперь не нужны для запросов. Вы можете обновить ваш запрос и сохранить все предшествующие действия на стеке Undo.

(На рисунке выше выделены свойства законченных операций Refresh Data и Edit Query на панели задач Workbook Queries. Excel 2016 сохранил эти операции в своем стеке Undo/Redo. В более ранних версиях любая операция Power Query удаляла Undo/Redo стек.)

• Поддержка объектной модели — Можно автоматизировать запросы с объектной моделью и разработать любую идею, автоматизированное решение ETL. Запись макросов позволяет сохранить операции и сгенерировать код VBA, который автоматизирует создание запросов в Excel. Чтобы больше узнать о поддержке объектной модели, загрузите это демо. Больше информации об интерфейсе объектной модели появится в ближайшее время.

Узнать больше о технологии Power Query можно здесь.

Попробуйте эти новые возможности!

Попробуйте эти новые возможности, загрузив предварительную версию Office 2016 для Windows и поделитесь своими впечатлениями и идеями об улучшениях и новых функциях в Excel.

Надстройки Power Query и Power Pivot

Power Query и Power Pivot — надстройки Excel для легкой работы с тяжелыми файлами. С помощью Power Query можно подключать и обрабатывать источники информации произвольного вида, а в Power Pivot – выполнять сложные расчеты и создавать модель данных. Также Power Query включен в новый продукт Microsoft – Power BI.

Надстройка Power Pivot

Те, кто часто пользуются сводными таблицами , понимают, насколько они удобны и эффективны в работе.
Power Pivot — это надстройка Excel, которая расширяет функционал сводных таблиц и позволяет работать с файлами больше 1 048 576 строк.

Как работает:
Запуск во всех версиях Excel от 2010 до 2016 выглядит одинаково: меню Power Pivot → Управление.

Возможности Power Pivot:

• Создание сводных таблиц на основе нескольких таблиц Excel без формулы ВПР.
  В «обычном» Excel сложно создать одну таблицу из нескольких. В Power Pivot таблицы объединяются с помощью графического проектирования, в котором связи между несколькими таблицами создаются с помощью перетаскивания полей.

• Импорт более 100 миллионов строк в рабочую книгу.
  Power Pivot позволяет импортировать данные из различных источников. Единственное ограничение по объему — размер файла книги, равный 2 Гбайт, и объем оперативной памяти. Благодаря алгоритму сжатия текстовый файл объемом 50 Мбайт сжимается до 4 Мбайт, занимаемых файлом с таблицей.

• Создание улучшенных формул с помощью языка DAX .
  В Power Pivot можно писать формулы DAX в столбцах, и создавать меры — вычисления под таблицей.
  Подробнее о DAX-формулах: Основные формулы Power Pivot.

Как скачать Power Pivot

Надстройка Power Pivot для Excel 2010 года скачивается бесплатно с сайта Microsoft.

В Excel 2013 и 2016 года надстройка идет в составе программы, но только в версии Pro Plus . В других лицензиях эта надстройка недоступна.

О том, как работать с надстройкой Power Pivot, можно прочитать в статье:

Надстройка Power Query

Надстройка Power Query появилась в Excel относительно недавно, и доступна бесплатно для версий Excel 2010, 2013 года. В Excel 2016 надстройка уже встроена по умолчанию.

Новые возможности для анализа данных:

• Несомненный плюс – из Excel можно подключаться напрямую к разным источникам данных (файлы excel, csv, текстовые файлы, базы данных, папки и так далее).

• Данные в подключенных источниках можно преобразовывать, объединять, делать расчеты. При этом последовательность операций записывается на языке M , так что при последующих подключениях повторять расчеты еще раз не нужно – они выполнятся автоматически.

Как работает:

• В меню Excel 2010, 2013 надстройка появляется в виде отдельной вкладки «Power Query»:

• В Excel 2016 надстройка уже встроена по умолчанию на вкладке Данные – блок «Скачать и преобразовать».

Возможностей для анализа открывается очень много – например, можно объединить данные в компании, или подключаться к источникам информации напрямую.

В сочетании с Power Pivot в Excel появляется отличный инструмент аналитики, где с помощью Power Query можно подключать и обрабатывать источники информации произвольного вида, строить сводные таблицы , а в Power Pivot – выполнять сложные расчеты и создавать модель данных. Также Power Query включен в новый продукт Microsoft – Power BI .

Как скачать Power Query

Надстройка устанавливается бесплатно и доступна для Excel начиная с версий 2010 года. Для Excel 2010 и 2013 скачивается с сайта Microsoft.

Для Excel 2016 ничего скачивать и устанавливать не нужно, так как эта надстройка идет в составе всех лицензий.

О том, как работать с надстройкой Power Query, можно прочитать в статье:

Как добавить в Excel надстройки Power Pivot и Power Query

Для Excel 2010 и 2013 после скачивания надстроек нужно добавить их в меню Excel.
Для этого открыть Excel и перейти в меню Надстройки:
Файл → Параметры → Надстройки → в Выпадающем меню выбрать → Надстройки COM → Перейти → В открывшемся окне выбрать надстройки.

power query

Презентация: Строим собственную BI в Excel на данных из Яндекс.Метрики и Google Analytics

Презентация с выступления на http://convert-conf.ru 7 декабря 2015 в Екатеринбурге.

Power Query: стероиды для MS Excel

В данной статье я хочу рассказать о некоторых возможностях бесплатной и крайне полезной, но пока еще мало известной надстройки над MS Excel под названием Power Query.

Power Query позволяет забирать данные из самых разных источников (таких как csv, xls, json, текстовых файлов, папок с этими файлами, самых разных баз данных, различных api вроде Facebook opengraph, Google Analytics, Яндекс.Метрика, CallTouch и много чего еще), создавать повторяемые последовательности обработки этих данных и загружать их внутрь таблиц Excel или самого data model.

И вот под катом вы можете найти подробности всего этого великолепия возможностей.

Совместимость и технические подробности

Power Query доступен бесплатно для всех версий Windows Excel 2010, 2013 и встроен по умолчанию в Windows Excel 2016. Для пользователей MacOS X Power Query недоступен (впрочем, даже без этого маковский Excel отвратителен на ощупь и продвинутые пользователи, включая меня, чаще всего работают с нормальным Excel через Parallels или запуская его на удаленной виндовой машинке).

Также, Power Query встроен в новый продукт для бизнес аналитики – Power BI, а еще, ходят слухи, что Power Query будет появляться и в составе других продуктов от Microsoft. Т.е. Power Query ждет светлое будущее и самое время для адептов технологий Microsoft (и не только) заняться его освоением.

Как оно работает

После установки Power Query в интерфейсе Excel 2010–2013 появляется отдельная одноименная вкладка.

В новом Excel 2016 функционал Power Query доступен на вкладке Data (данные), в блоке “Get & Transform”.

Сначала, в интерфейсе Excel мы выбираем конкретный источник данных, откуда нам их нужно получить, и перед нами открывается окошко самого Power Query с предпросмотром первых строчек загруженных данных (область 1). В верхней части окошка располагается Ribbon с командами по обработке данных (область 2). И в правой части экрана (область 3) у нас расположена панель с последовательностью всех действий, которые применяются к данным.

Возможности Power Query

У Power Query очень много возможностей и я хочу остановиться на некоторых из числа моих любимых.

Как я уже писал выше, Power Query замечателен тем, что позволяет подключаться к самым разным источникам данных. Так он позволяет загружать данные из CSV, TXT, XML, json файлов. Притом процесс выбора опций загрузки тех-же CSV файлов гибче и удобнее, чем он реализован штатными средствами Excel: кодировка автоматически выбирается часто правильно и можно указать символ разделителя столбцов.

Объединение файлов лежащих в папке

Power Query умеет забирать данные из указанной папки и объединять их содержимое в единые таблицы. Это может быть полезно, например, если вам периодически приходят какие-то специализированные отчеты за отдельный промежуток времени, но данные для анализа нужны в общей таблице. Гифка

Текстовые функции

К столбцам из текста в Power Query по нажатию на кнопки на Ribbon можно применять такие функции как:

1. Разделить столбец по символу или по количеству символов. И в отличие от Excel можно задать максимальное количество столбцов, а также направление откуда нужно считать символы – слева, справа.
2. Изменить регистр ячеек в столбце
3. Подсчитать количество символов в ячейках столбца.

Числовые функции

К столбцам с числовыми значениями по нажатию на кнопки на Ribbon можно применять:

1. Арифметические операции
2. Возводить в степени, вычислять логарифмы, факториалы, корни
3. Тригонометрические операции
4. Округлять до заданных значений
5. Определять четность и т.д.

Функции для работы с датами, временем и продолжительностью

К столбцам со значениями даты и времени по нажатию на кнопки на Ribbon можно применять:

1. Автоматическое определение формата вписанной даты (в excel c этим большая боль)
2. Извлекать в один клик номер месяца, дня недели, количество дней или часов в периоде и т.п.

Unpivot – Pivot

В интерфейсе Power Query есть функция “Unpivot”, которая в один клик позволяет привести данные с одной метрикой разложенные по столбцам по периодам к форме, которая будет удобна для использования в сводных таблицах (понимаю что трудно написал – смотрите пример). Также, есть функция с обратным действие Pivot. Гифка

Операция Merge – смерть ВПР

Функция ВПР (VLOOKUP) одна из наиболее используемых функций в MS Excel. Она позволяет подтягивать данные в одну таблицу из другой таблицы по единому ключу. И вот как раз для этой функции в Power Query есть гораздо более удобная альтернатива – операция Merge. При помощи этой операции соединение таблиц нескольких таблиц в одну по ключу (по простому или по составному ключу, когда соответствие нужно находить по нескольким столбцам) выполняется буквально в 7 кликов мыши без ввода с клавиатуры.

Операция Merge – это аналог join в sql, и ее можно настроить чтобы join был разных типов – Inner (default), Left Outer, Right Outer, Full Outer.

Upd.Мне тут подсказали, что Power Query не умеет делать Aproximate join, а впр умеет. Чистая правда, из коробки альтернатив нет. Гифка

Подключение к различным базам данных. Query Folding.

Power Query также замечателен тем, что умеет цепляться к самым разным базам данных – от MS SQL и MySQL до Postgres и HP Vertica. При этом, вам даже не нужно знать SQL или другой язык базы данных, т.к. предпросмотр данных отображается в интерфейсе Power Query и все те операции, которые выполняются в интерфейсе прозрачно транслируются в язык запросов к базе данных.

А еще в Power Query есть понятие Query Folding: если вы подключены к совместимой базе данных (на текущий момент это MS SQl), то тяжелые операции по обработке данных Power Query будет стараться выполнить на серверной стороне и забирать к себе лишь обработанные данные. Эта возможность радикально улучшает быстродействие многих обработок.

Язык программирования “М”

Надстройка Power Query – это интерпретатор нового, скриптового, специализированного для работы с данными, языка программирования М.

На каждое действие, которое мы выполняем с данными в графическом интерфейсе Power Query, в скрипт у нас пишется новая строчка кода. Отражая это, в панели с последовательностью действий (область 3), создается новый шаг с говорящим названием. Благодаря этому, используя панель с последовательностью действий, мы всегда можем посмотреть как выглядят у нас данные на каждом шаге обработки, можем добавить новые шаги, изменить настройки применяемой операции на конкретном шаге, поменять их порядок или удалить ненужные шаги. Гифка

Также, мы всегда можем посмотреть и отредактировать сам код написанного скрипта. И выглядеть будет он примерно так:

Язык M, к сожалению, не похож ни на язык формул в Excel, ни на MDX и, к счастью, не похож на Visual Basic. Однако, он очень прост в изучении и открывает огромные возможности по манипуляции данными, которые недоступны с использованием графического интерфейса.

Загрузка данных из Яндекс.Метрики, Google Analytics и прочих Api

Немного овладев языком “M” я смог написать программки в Power Query, которые умеют подключаться к API Яндекс.Метрики и Google Analytics и забирать оттуда данные с задаваемыми настройками. Программки PQYandexMetrika и PQGoogleAnalytics я выложил в опенсорс на гитхаб под лицензией GPL. Призываю пользоваться. И я буду очень рад, если эти программы будут дорабатываться энтузиастами.

Для Google Analytics подобного рода экспортеров в разных реализациях достаточно много, но вот для Яндекс.Метрики, насколько я знаю, мой экспортер был первым публично доступным, да еще и бесплатным 🙂

Power Query умеет формировать headers для post и get запросов и забирать данные из интернета. Благодаря этому, при должном уровне сноровки, Power Query можно подключить практически к любым API. В частности, я для своих исследований дергаю данные по телефонным звонкам клиентов из CallTouch API, из API сервиса по мониторингу активности за компьютером Rescuetime, занимаюсь парсингом нужных мне веб-страничек на предмет извлечения актуальной информации.

Еще раз про повторяемость и про варианты применения

Как я уже писал выше, скрипт Power Query представляет собой повторяемую последовательность манипуляций, применяемых к данным. Это значит, что однажды настроив нужную вам обработку вы сможете применить ее к новым файлам изменив всего один шаг в скрипте – указав путь к новому файлу. Благодаря этому можно избавиться от огромного количества рутины и освободить время для продуктивной работы – анализа данных.

Я занимаюсь веб-аналитикой и контекстной рекламой. И так уж получилось, что с момента, как я познакомился с Power Query в ее интерфейсах я провожу больше времени, чем в самом Excel. Мне так удобнее. Вместе с тем возросло и мое потребление другой замечательной надстройки в MS Excel – PowerPivot.

Вот часть задач, которые я делаю с использованием Power Query:

1. разбираю семантику для Толстых проектов,
2. Делаю частотные словари,
3. Создаю веб-аналитические дашборды и отчеты для анализа конкретных срезов,
4. Восстанавливаю достижение целей в системах веб-аналитики, если они не настроены на проекте,
5. Сглаживаю прогноз вероятности методами Андрея Белоусова (+Байеса:),
6. Делаю аудит контекстной рекламы на данных из K50 статистика,
7. И много других разных ad-hoc analysis задач, которые нужно сделать лишь однажды

Вот bi систему, про которую я рассказывал на Yac/M 2015 (видео) я делал полнстью при помощи Power Query и загружал данные внутрь PowerPivot.

Пару слов про локализацию

На сайте Microsoft для пользователей из России по умолчанию скачивается Power Query с переведенным на русским язык интерфейсом. К счастью, локализаторы до перевода на русский языка программирования (как это сделано с языком формул в excel) не добрались, однако жизнь пользователям неоднозначными переводами сильно усложнили. И я призываю вас скачивать, устанавливать и пользоваться английской версией Power Query. Поверьте, она будет гораздо понятнее.

Ссылки по теме

Официальные ресурсы на английском:

На момент написания статьи на русском языке информации по Power Query практически нет, и то что мной найдено приведено ниже:

Знакомство с Power Query на примере транспонирования Таблицы Excel

Power Query – это инструмент MS Excel, предназначенный для импорта из самых различных источников и обработки данных. Впервые появился в 2013 году и был доступен в виде специальной надстройки, которую и сейчас можно скачать с официального сайта Microsoft и установить на Excel 2010-2013. После установки и подключения на ленте Excel появится соответствующая вкладка.

В Excel 2016 Power Query уже встроен в ядро программы. Команды управления запросами находятся во вкладке Данные, в группе Скачать и преобразовать (в английском варианте Get & Transform).

Далее будем использовать привычное название Power Query.

На самом деле в Excel и раньше можно было импортировать данные. Для этого в той же вкладке Данные была и есть целая группа команд Получение внешних данных.

Однако их возможности и удобство использования сильно ограничены.

После появления Power Query в среде пользователей Excel произошло потрясение, сравнимое с появлением сводных таблиц. Это не шаг, а прыжок вперед, благодаря которому любой аналитик (и обычный пользователь Excel), имеющий дело с большими и обновляемыми данными из разных источников, может ускорить свою работу в десятки раз. Да, в десятки, если не в сотни. Ведь как раньше делался, скажем, отчет? Импортируются данные (из разных источников), очищаются, связываются вместе с помощью формул типа ВПР, затем делаются необходимые расчеты, все агрегируется с помощью сводных таблиц в краткий отчет. Периодически эти действия нужно повторять, т.к. традиционными методами (без VBA) очень трудно автоматизировать все шаги. Сегодня этому кошмару пришел конец. В Power Query достаточно один раз все настроить и далее все операции импорта, обработки и выгрузки данных повторяются нажатием одной кнопкой обновления.

Power Query работает на специальном языке программирования под названием M, с помощью которого записываются последовательные шаги обработки данных. Однако есть и пользовательский редактор с кнопками, поэтому быть программистом не обязательно. Здесь уместна аналогия с записью обычных макросов. Включили запись, произвели действия, закончили запись. В любой момент запустили выбранный макрос.

Вкратце алгоритм работы Power Query таков:

1. импорт данных из выбранных источников данных

2. обработка полученных данных

Список возможных источников довольно разнообразный: от текстовых файлов до внешних баз данных и интернета. Также можно легко присоединиться к данным внутри самого MS Excel.

На этапе обработки производят операции по очистке, связыванию, группировке, математическому преобразованию и т.д. Специфика работы именно с такими, плохо организованными и неочищенными данными, объясняет набор инструментов Power Query. Частично они повторяют то, что есть в Excel, но есть и новые, которые значительно расширяют привычный функционал Эксель. Важнейшей особенности работы в Power Query является то, что все шаги записываются. Это дает возможность затем нажатием одной кнопки повторить все операции. Объединяя возможность подключения к данным внутри Excel и новые методы их обработки, мы получаем дополнительные инструменты, которые делают работу в Excel удобнее и быстрее.

На последнем этапе запроса обработанные данные выгружаются в указанное место либо создается только соединение (часто запросы – это только промежуточный этап обработки данных). Но об этом в другой раз.

В качестве наглядного примера рассмотрим следующую задачу. Имеются данные, которые нужно транспонировать, то есть строки сделать столбцами, а столбцы строками.

В целом это не проблема, т.к. в Excel существует минимум два способа транспонирования.

Первый и самый быстрый способ – воспользоваться Специальной вставкой, поставив галочку напротив опции транспонировать.

Отличный вариант, но одноразовый. В смысле, нет никакой связи между результатом и источником. Поэтому при любом изменении данных все нужно повторить снова. Это минус.

Второй способ транспонирования – воспользоваться функций ТРАНСП. Это формула массива, поэтому для ее вставки нужно вначале указать точный диапазон и ввести с помощью комбинации Ctrl + Shift + Enter.

Теперь при изменении данных в источнике автоматически обновится и транспонированный диапазон. Но здесь также есть серьезные недостатки. Во-первых, для вставки формулы ТРАНСП нужно заранее подсчитать, сколько строк и столбцов занимает диапазон, что, мягко говоря, не всегда удобно. Во-вторых, при изменении размера диапазона механизм перестает работать, т.к. транспонированный диапазон зафиксирован и не будет расширяться вслед за источником.

Итого получается, что мы не можем сделать динамическое транспонирование данных в изменяющемся диапазоне. Так да не так. С появлением Power Query задача решается быстро, без шума и пыли.

Транспонирование таблицы средствами Power Query

Первым делом нужно сделать запрос на источник данных. Нас интересуют данные из этой же книги Excel. Power Query не видит адреса обычных ячеек, а только именованные диапазоны и Таблицы Excel. Как правило, используют Таблицы Excel. Для преобразования обычного диапазона в таблицу рекомендую горячую комбинацию клавиш Ctrl + T.

Теперь активируем любую ячейку Таблицы с данными и нажимаем кнопку Данные – Скачать и преобразовать – Из таблицы.

Открывается окно редактирования Power Query.

Выглядит, как другая программа, но это только отдельное окно внутри Excel. Интерфейс состоит из пяти частей:

1. Инструменты редактирования – лента, на которой находятся команды Power Query.

2. Строка формул – здесь записывается код языка М для выделенного в данный момент шага обработки.

3. Запросы – скрываемая панель для навигации между запросами текущей книги.

4. Панель результата – место, где отображается результат обработки данных на этапе выделенного шага.

5. Параметры запроса – панель с названием запроса (можно изменять) и перечнем созданных шагов, которые также можно редактировать.

Выделив любой из шагов, мы увидим состояние данных на соответствующем этапе.

Название запроса лучше всего изменить на более говорящее. Довольно часто в книге используют сразу несколько запросов, поэтому в них нужно ориентироваться. Назовем «Транспонирование».

Из предыдущего рисунка видно, что мы еще ничего не сделали, а два шага уже записаны. Как так? Все просто. Первый шаг – это обращение к источнику, а второй автоматическое определение типа данных у каждого столбца. Поэтому все в порядке.

Вернемся к условию задачи. Нужно транспонировать вот эту таблицу.

Обратим внимание, что заголовки перенеслись из заголовков Таблицы Excel, которую мы использовали в качестве источника. Однако транспонирование происходит без заголовков. Поэтому, чтобы избежать потери названий столбцов, «опустим» их названия в первую строку таблицы Преобразование – Таблица – Использовать первую строку в качестве заголовков – Использовать заголовки как первую строку.

Таблица с данными получит такой вид.

Теперь можно транспонировать. Используем команду Преобразование – Транспонировать.

Таблица мгновенно изменяется.

Сделаем первую строку назад заголовками. Можно через Преобразование – Таблица — Использовать первую строку в качестве заголовков либо через кнопку в верхнем левом углу от таблицы.

Получим конечный результат обработки.

Задача решена. Все шаги преобразования данных записаны и видны справа.

Осталось измененные данные вернуть в Excel с помощью команды Главная – Закрыть – Закрыть и загрузить.

Если ее нажать, то результат загрузится на новый лист эксель и будет представлять из себя Таблицу Excel с названием, как у запроса. Но давайте пока зайдем в раскрывающийся список, чтобы посмотреть опции выгрузки. В раскрывающемся списке выберем Закрыть и загрузить в… Откроется следующее окно.

Если выбрать Только создать соединение, выгрузки не произойдет. Такой вариант применяют, если требуется дальнейшая обработка или использование этого запроса. Для выгрузки в Excel можно выбрать Новый лист либо указать конкретный диапазон. Если установить галочку Добавить эти сведения в модель данных, то результат запроса даже без выгрузки в Excel можно будет использовать в модели данных или Power Pivot. Этот вариант позволяет обрабатывать миллионы (миллионы!) строк, т.к. на обработку данных в памяти требуется гораздо меньше ресурсов. Оставляем все по умолчанию и жмем Загрузить. В процессе выгрузки таблица имеет серенький цвет, а когда выгрузка завершена, становится зелененькой.

Вот и все, дело сделано, мы получили транспонированную таблицу исходных данных.

Самое интересное происходит далее. Если добавить новые данные, то для повторения всех действий достаточно обновить запрос через правую кнопку в панели запросов (см. чуть ниже), либо во вкладке Данные – Подключения – Обновить все.

Добавим в исходную таблицу данные о продажах во втором квартале.

А теперь обновим запрос.

Это просто праздник какой-то! (с).

Обратим внимание, что справа в окне Excel появляется панель для управления существующими запросами.

Их может быть много, но у нас только один. Сразу под названием видно, сколько загружено строк. Здесь же указываются ошибки, если они есть. Это важно для контроля. Если подвести курсор мыши к названию, то откроется окно с кратким описанием запроса и командами управления снизу.

Можно вновь войти в редактирование запроса, удалить его и т.д. Эти же и некоторые другие команды появятся в контекстном меню после кликания по названию запроса правой кнопкой мыши.

Перечислим наиболее часто используемые среди них.

Изменить – команда открытия окна редактирования. Эквивалентно двойному нажатию левой кнопки мыши по самому запросу.

Обновить – обновление выбранного запроса (если нужно обновить только один запрос, а не все).

Загрузить в… – изменение места загрузки (в таблицу, модель или создания только соединения)

Дублировать – сделать копию выбранного запроса.

Другие команды не менее важны, но их рассмотрим в другой раз.

Панель Запросы книги можно закрыть или снова отобразить с помощью команды Данные – Скачать и преобразовать – Показать запросы.

Итак, мы узнали, что такое Power Query. На примере транспонирования данных увидели, насколько он облегчает и ускоряет работу в Excel.

Файлы к уроку:

• Для спонсоров Boosty
• Для спонсоров VK

Ссылки:

• Страница курса
• Плейлист YouTube
• Плейлист ВК

Описание

В этом уроке вы узнаете:

• Зачем нужен Power Query
• История Power Query
• Как установить Power Query в Excel
• Зачем нужен Power Query
• Как создать запрос в Power Query

В этом вводном уроке курса Excel Power Query на 1-2-3 мы узнаем, что такое Power Query, зачем он нужен, как его установить и запустить.

Power Query — это встроенный инструмент Excel для получения и преобразования данных (Get and Transform).

Специалистам по Excel приходится каждый день тратить уйму времени на преобразование данных. Мы работаем с разными источниками и данные далеко не всегда приходят в удобном виде.

Например, каждый месяц вы получаете таблицу с ответами на вопросы теста сотрудников компании, где вы работаете в таком виде:

Первый столбец — это дата прохождения теста. 2 следующих столбца — это информация о сотруднике и точке продаж. Далее множество столбцов с ответами на вопросы, а вопрос находится в заголовках столбцов. Ваша задача — получить такую таблицу:

Для каждого сотрудника здесь указано количество ответов, количество верных ответов, результат теста и перечень вопросов с неверными ответами.

В Excel эта задача решается долго и тяжело. Если тесты происходят, например, раз в неделю, то каждую неделю вам придется тратить уйму времени на обработку файлов. Более того, чтобы решить эту задачу стандартными возможностями Excel нужен достаточно высокий уровень владения.

Как вы думаете, сколько времени уйдет на решение этой задачи в Excel Power Query? Всего несколько минут. Более того, вам достаточно решить эту задачу всего 1 раз. А когда придут новые данные достаточно будет всего лишь нажать «Обновить».

Решение

Запуск Power Query

Если у вас Excel от 2016 версии и новее, то Power Query устанавливать не нужно. Он уже встроен в Excel.

Если у вас Excel 2010 или 2013, то Power Query нужно сначала скачать. Перейдите по ссылке https://www.microsoft.com/ru-ru/download/details.aspx?id=39379 и нажмите «Скачать». Потом отметьте галочкой файл для вашей разрядности операционной системы (64 или 32 бит). После скачивания файла запустите установку.

Теперь в главном меню Excel должна появиться еще одна вкладка. Если вкладка не появилась, то перейдите в меню Файл — Параметры — Настройки — Управление — Надстройки СОМ. В открывшемся окне отметьте галочкой пункт Power Query.

Добавить кнопки Power Query на панель быстрого доступа

Я рекомендую добавить кнопки для работы с Power Query на панель быстрого доступа. Это ускоряет работу. Я настоятельно рекомендую добавить 3 команды:

• Изменить запрос
• Запросы и подключения
• Запустить редактор запросов

Если вы не знаете как добавлять кнопки в панель быстрого доступа, то посмотрите видео-версию урока на YouTube.

Нажмите «Настройка панели быстрого доступа». В появившемся окне справа снизу найдите кнопку «Экспорт/импорт». Нажмите ее и укажите путь к скачанному файлу.

Предварительные настройки Power Query

Откройте редактор запросов любым удобным способом:

• При помощи созданной кнопки в панели быстрого доступа
• Вкладка Данные — Группа Получить и преобразовать данные — Получить данные — Запустить редактор запросов

В окне Редактора запросов нажмите Файл — Параметры и настройки — Параметры запроса. В пункте Загрузка данных сделайте настройки как на картинке:

Теперь перейдите в пункт Редактор Power Query и поставьте галочку «Отобразить редактор запросов».

Далее переходим в пункт Конфиденциальность и выбираем «Всегда игнорировать уровни конфиденциальности».

Жмем ОК. Настройки вступят в силу при следующем запуске редактора запросов.

Создаем первый запрос Power Query

Создадим первый запрос к веб-странице с таблицей состава индекса Dow Jones. Выполняем следующие действия:

1. Запускаем редактор запросов
2. Вкладка Главная — Создать источник — Другие источники — Интернет
3. Вводим адрес https://finance.yahoo.com/quote/%5EDJI/components?ltr=1
4. Нажимаем Подключение
5. Слева указываем нужную таблицу и жмем ОК

Перед вам появится следующее окно редактора запросов Power Query:

Сверху мы видим меню в привычном ленточном интерфейсе как и во всех продуктах Microsoft Office. Слева список запросов, справа примененные шаги к запросу. Теперь продолжим работать с нашим запросом.

Удалим шаг Изменить тип. Для этого в списке шагов справа нажмем на крестик слева от названия шага. Укажем тип данных для каждого столбца.

По умолчанию Power Query определил тип данных каждого столбца как текстовый. Об этом говорит пиктограмма с символами ABC слева от названий столбцов.

Попробуйте нажать на пиктограмму ABC столбца Last Price и указать тип данных десятичное число. В столбце во всех строках отобразятся ошибки. Это произошло из-за того, что в нашем регионе целая и дробная части разделяются запятыми, а в таблице с этого сайта точкой. В таком случае нужно указать тип с использованием локали.

Нажмите правой кнопкой мыши на название столбца Last Price — Тип изменения — Используя локаль. Укажите тип данных целое число и языковой стандарт Английский США. Теперь все получилось. То же самое проделайте для других числовых столбцов.

Теперь перейдите на вкладку Главная, щелкните на нижнюю часть кнопки Закрыть и загрузить, в списке выберете Закрыть и загрузить в. Отметьте пункт Таблица и укажите место, куда эту таблицу поместить, потом нажмите ОК. Наш первый запрос готов!

Power Query разное

Номер урока	Урок	Описание
1	Power Query. Знакомство с Power Query	В этом уроке мы познакомимся в Power Query. Зачем нужен Power Query Как установить Power Query Как его Настроить Как изменить запрос
2	Power Query. Подключение XML	В этом уроке мы научимся подключаться к файлам в формате XML и импортировать эти данные в Excel.
3	Power Query. Уникальные значения двух столбцов	В этом уроке мы получим уникальные значения из двух столбцов таблицы.
4	Power Query. Импорт таблиц PDF	Импорт таблиц из файла PDF, импорт таблиц из множества PDF файлов с объединением в один датасет.
5	Power Query. Собрать разбитую строку	В этом практическом уроке мы научимся соединять разбитую строку. Этот пример взят из реальной практики одного из спонсоров канала.
6	Power Query. Пивот со счетом	В этом уроке мы создадим пивот, в котором будут пронумерованы столбцы.
7	Power Query. Минимальное значение в диапазоне	В этом уроке мы найдем минимальное значение в диапазоне строк.
8	Power Query. Нарастающий итог 2	В этом уроке мы изучим еще один способ сделать нарастающий итог в Power Query.
9	Power Query. Нарастающий итог 3	В этом уроке мы разберем еще один способ выполнить нарастающий итог в Power Query.
10	Power Query. Прирост населения Китая	В этом уроке мы сравним прирост населения Китая с приростом населения мира в целом за последние 200 лет.
11	Power Query. Повторяющиеся значения в строке	В этом уроке разберем как определить есть ли в строке повторения.
12	Power Query. Таблица навигации по функциям М	В этом уроке вы узнаете как создать таблицу навигации по всем функциям языка Power Query.
13	Power Query. Удалить запросы и модель данных из книги	Разберем как быстро удалить все запросы и модель данных из текущей книги.
14	Power Query. Открыть еще 1 Excel и еще 3 трюка	В этом видео я покажу как открыть еще 1 файл Excel, если у вас уже запущен Power Query.
15	Power Query. Подключиться к ZIP архиву	Пользовательская функция для подключения к zip файлу. Подключимся к txt файлу, который находится в zip архиве.
16	Power Query. Импорт Word	Импортируем таблицу из документа Word. Для спонсоров разберем импорт таблицы с объединенными ячейками.
17	Power Query. Фильтрация списком	В этом уроке мы хотим отфильтровать таблицу при помощи списка, например, хотим получить продажи определенных товаров.
18	Power Query. Пользовательская функция Switch	В этом уроке мы создадим пользовательскую функцию Switch.
19	Power Query. Информация о формате, Чтение zip	В этом уроке мы узнаем как получить информацию о формате ячеек при помощи Power Query.
20	Power Query. Импорт данных из gz	В этом уроке мы разберем как импортировать файл в формате gz.
21	Power Query. Удалить лишние пробелы, Text.Split	В этом уроке мы научимся удалять лишние пробелы в текстовом столбце таблицы.
22	Power Query. Параметры в SQL-запросе	Вы хотите, чтобы в ваш SQL-запрос подставлялось значение из параметра, источником которого является ячейка с листа Excel.
23	Power Query. Параметры в SQL-запросе 2	Ваш запрос очень большой и количество параметров в нем большое. Как организовать все так, чтобы было удобно работать.
24	Power Query. Добавить столбец в каждую таблицу табличного столбца	В этом уроке вы узнаете как трансформировать табличный столбец, например, вы сможете добавить столбец индекса внутрь каждой таблицы табличного столбца.
25	Power Query. Интервальный просмотр 1 (ВПР 1)	Объединить 2 таблицы с интервальным просмотром = 1.
26	Power Query. Относительный путь к файлу и папке	Если ваш источник находится в той же папке, что и отчет, то вы можете указать относительный путь. В таком случае подключение не будет ломаться, если вы запустите файл на другом компьютере.
27	Power Query. Нарастающий итог в каждой категории	Применим функцию нарастающего итога не ко всей таблице, а к определенному окну.
28	Power Query. ВПР без Merge или Join	Вам нужно подставить данные из столбца другой таблицы. Как это сделать без объединения таблиц.