1169 ₽
818 ₽
|
- Описание
- Детали
- Отзывы (0)
Описание
В книге описан Power Query, инструмент для продвинутого бизнес-анализа, встроенный в Excel, Power BI и другие продукты Microsoft и предназначенный для подключения к источникам данных и их преобразования. Рассказано, как обрабатывать таблицы Excel без использования сложных формул и макросов, выбирать данные из нескольких источников, объединять несовпадающие таблицы, сохранять контекст при формировании запросов. Особое внимание уделено базовым и продвинутым методам отмены свертывания столбцов (Unpivot) и совместной работе над отчетами Дано введение в язык формул M и показано, как правильно формировать запросы, избегая сбоев и «ловушек». Рассмотрены вопросы текстовой аналитики и извлечения знаний из текстов, а также аналитики социальных сетей. В конце книги приведен заключительный проект, объединяющий и закрепляющий полученные навыки.
Простая подготовка и анализ данных с помощью Power Query
• Быстрая подготовка данных для анализа в Excel и Power BI
• Решение типичных проблем подготовки данных с помощью нескольких щелчков мыши и простого редактирования формул
• Объединение данных из нескольких источников, нескольких запросов и несовпадающих таблиц
• Базовые и продвинутые методы отмены свертывания столбцов (Unpivot)
• Настройка преобразований и создание гибких гибридных приложений с помощью языка формул M
• Решение проблем совместной работы с помощью Power Query
• Получение важной информации о текстовых каналах
• Заключительный проект, объединяющий и закрепляющий полученные навыки
Power Query — это инструмент для продвинутого бизнес-анализа, предназначенный для подключения к источникам данных и их преобразования. Теперь для обработки таблиц и подключения к данным больше не нужны сложные формулы и макросы. Power Query встроен в Excel, Power BI и другие продукты Microsoft.
Ведущий эксперт по Power Query Гил Равив поможет вам избавиться от трудоемкой подготовки данных вручную, научит быстро получать данные практически из любого источника и сразу же на месте приводить их к нужному вам виду. Вы решите несколько полных аналитических задач и закрепите полученные навыки в реальном финальном проекте длиной в главу. Прочитав книгу, вы будете готовы обрабатывать любые данные и превращать их в полезные знания.
ГИЛ РАВИВ получил официальное признание Microsoft за поддержку пользователей на платформе Microsoft Data Platform. В качестве старшего менеджера программы Microsoft Excel руководил разработкой и интеграцией Power Query в Excel 2016 и стал специалистом в применении M, языка формул Power Query. Он использовал аналитику данных и большие данные для разработки продуктов безопасности, от расширенного обнаружения угроз до защиты детей в Facebook. Равив обладает 20-летним опытом работы разработчика и аналитика и имеет четыре патента в США. В настоящее время пропагандирует Power Query на DataChant.com.
Детали
Артикул | 2755 |
---|---|
ISBN | 978-5-9775-6725-1 |
Количество страниц | 480 |
Серия | Внесерийные книги |
Переплет | Мягкая обложка |
Печать | Черно-белая |
Год | 2021 |
Габариты, мм | 215 × 165 × 21 |
Вес, кг | 0.447 |
Дополнительные файлы скачать: Зеркало1
Дополнительные файлы скачать (Chrome): Зеркало2
- ✓ Новинки на 2 недели раньше магазинов
- ✓ Цены от издательства ниже до 30%
- ✓ Акции и скидки только для подписчиков
- ✓ Важные новости БХВ
Рекомендуем также
-
Теплотехнические этюды с Excel, Mathcad и Интернет, 2 изд. – Бумажная книга
464₽
-
Комолова Нина Владимировна
Программирование на VBA в Excel 2019. Самоучитель
853 ₽
597 ₽ -
Рудикова Лада Владимировна
Microsoft Office Excel 2019
1196 ₽
837 ₽ -
Грас Джоэл
Data Science. Наука о данных с нуля: Пер. с англ. – 2-е изд.
963 ₽
674 ₽
Как загружать в Excel любые данные и приводить их в порядок. Первая книга на русском языке о надстройке Power Query в Microsoft Excel.
Лучшая вещь в Excel с момента избретения сводных таблиц
Сначала я хотел назвать эту книжку «А что, так можно было?!»
Я почти ежедневно работаю с Microsoft Excel уже больше 15 лет, но всё ещё не перестаю удивляться возможностям этой программы. Сводные таблицы, ВПР, формулы массива, макросы… Забираясь на очередную ступеньку в изучении Excel ты радуешься как ребёнок, понимая открывшиеся перспективы и возможности.
Но никогда, пожалуй, я не ощущал ещё такого неподдельного и искреннего (местами — прямо щенячьего) восторга , как при изучении возможностей надстройки Power Query для Excel.
Сейчас как минимум, в половине рабочих ситуаций и задач Power Query заменяет мне многоэтажные формулы (которые тормозят), макросы (которые ещё надо суметь написать) и массу тупых рутинных операций по обработке данных (которые жрут время и мыслетопливо). При этом сама надстройка уже встроена в Excel начиная с 2016 версии, а для версий Excel 2010-2013 совершенно бесплатно скачивается с сайта Microsoft.
Excel будущего
Если в двух словах, то надстройка Power Query выполняет две основные функции:
- Позволяет загрузить в Excel данные из почти любых внешних источников, в том числе и тех, откуда напрямую импорт в Excel очень сложен, трудоёмок или невозможен в принципе.
- Навести в загруженных данных порядок, преобразовав их любым желаемым образом, вычистив из них информационный мусор, и подготовив их для дальнешего анализа.
В основу этой книги лёг мой одноименный 2-дневный тренинг, который я провел уже почти полсотни раз начиная с 2017 года. Проблема в том, что даже в два дня не уложить всю мощь, все возможности и нюансы работы в Power Query (особенно использование его внутреннего языка программирования М).
Поэтому еще в 2018 году я сел писать эту книгу. Если вы уже были на тренинге, то книга станет хорошим продолжением и углублением в тему. Если не были — хочется думать, что откровением
Что есть в книге
Если пробежаться по оглавлению, то это:
Начало работы в Power Query Что такое PQ и её место в общей картине среди всех остальных «пауэров» (Power Pivot, Power View, Power BI, Power Map и т.д.) Что может и чего не может PQ. Основные принципы работы в PQ на примере загрузки и облагораживания уродливого CSV-файла. |
Скачать ознакомительную главу
Посмотреть структуру книги
|
|
Загрузка данных в Power Query Откуда можно загружать данные в PQ. Подробный разбор всей процедуры загрузки из: текущей и внешней книг Excel, из баз данных, из интернета, из Facebook, из почтового ящика Outlook, XML- и JSON-файлов, из PDF и т.д. |
||
Слияние запросов Как можно соединять загруженные таблицы в PQ. Два основных вида соединения: добавление и объединение. Похороны ВПР (VLOOKUP). Подстановка данных из одной таблицы в другую по одному или нескольким столбцам. Сравнение таблиц объединением разных типов и с помощью условного столбца. |
||
Массовая загрузка данных Если во второй главе мы разбирали загрузку данных из одиночных источников, то в этой научимся грузить их оптом — сразу все файлы из папки, данные со всех (или только нужных) листов и т.д. |
||
Преобразования таблиц Эта глава посвящена возможностям PQ по трансформации и преобразованию загруженных данных. Мы подробно разберём фильтрацию, транспонирование, заполнение пустот, нюансы группировки, свёртывания и развёртывания (unpivoting) таблиц. |
||
Операции с текстом Вечная тема. Как «причесать» кривой текст и привести его в порядок? Убрать лишние пробелы, исправить регистр, удалить непечатаемые символы, разобрать слипшийся текст на столбцы или строки. Вишенкой на торте будет реализация нечёткого текстового поиска (Челябинск = Чилябенск). |
||
Обработка дат и времени Даты и время в PQ представляют собой особые типы данных и требуют специфического подхода, отличающегося от обычного Excel. В этой главе мы разберём все возможные варианты трансформации дат-времени и операций с ними: расчет длительностей, сроков, распознавание дат, сдвиг дат на N периодов и т.д. |
||
Работа с запросами Запросы — основной инструмент Power Query. В этой главе мы научимся их защищать, группировать, обновлять по расписанию, отслеживать зависимости между запросами. Отдельно разберёмся с тем, как работать с запросами с помощью макросов на VBA. |
||
Язык М Встроенный в PQ язык программирования М — это очень мощный инструмент. Знание хотя бы общих его принципов и синтаксиса умножает вашу мощь в PQ в разы. В этой главе мы изучим основные типы данных языка М, его ключевые слова и операторы, научимся использовать его встроенные функции и писать свои. |
||
Параметризация запросов Параметризация — это отвязывание вашего запроса от жёстко прописанных в нём значений, условий или путей к данным, чтобы сделать его более универсальным. Разберёмся как это сделать на примере параметризации путей к данным, фильтрации, выборке плавающего фрагмента данных и т.п. |
||
Танец на граблях Разбор типовых подводных камней при работе с PQ в реальной жизни и способы их обхода. Проблемы при добавлении-удалении столбцов или их переименовании. Обманчивый фильтр. Мусор в названиях столбцов. Вопросы быстродействия и ускорения запросов. |
Файлы примеров
К каждому разобранному в книге примеру прилагается живой файл в двух вариантах: исходном (сырые данные) и финальном — с уже сделанными запросами Power Query из соответствующей главы. Таким образом, весь алгоритм решения можно выполнить пошагово прямо по книге и сравнить потом с «ответами». Или же сразу открыть финальный файл и разобрать готовое решение. Или, не разбираясь, скопировать готовый запрос в ваш проект — всё в ваших руках.
Где купить и стоимость
Два варианта на выбор:
Отзывы
Алексей Ст.
Покупаю с удовольствием. Благодарю за труд! Бегу печатать и заниматься) Николай, давайте следующую!
Самир Мамедов
Преобрел книгу так как долго ее ждал. Знал что Николай давно ее пишет. Пока еще не начал читать но уверен что не разочаруюсь. И еще, 450 рублей для данной книги это просто бесплатно. Стакан кофе в центре Москвы и то дороже стоит. Представляю какой труд за этой книгой стоит. Так что ребята покупайте не пожалеете.
Вячеслав Иванов
ДОЖДАЛИСЬ! Спасибо!
Dyroff
Ну наконец то она появилась! Спасибо , Николай, очень долго ждал выхода книги после анонса того, что Вы приступили к её написанию.
Алексей Гайворонский
Спасибо за Ваш труд. Он бесценен. Ждал выхода этой книги с большим нетерпением.
Виктор Косенков
Спасибо! Супер!
Светлана Агибаева
Спасибо! Мы ее дождались! Николай, пусть у вас все будет отлично! Пусть все что наметили исполнится!
Валентин Ф.
Урра!! Ждал эту книгу больше полугода и, наконец, вот она!) Спасибо, Николай, за просвещение и погружение в ETL-мир Покупаю без раздумий!
Виталий
Очень ждём бумажную версию:)
Игорь Кучинский
С удовольствием купил книгу и не стал дожидаться бумажного варианта. Да и поддержать Вас за такой труд хотелось. Спасибо.
Илья Белов
Изучал 1с и увидел эту книжку.. 1с временно отложен) Огромное спасибо Николаю за этот титанический труд!
Елена Кауфман
Сейчас куплю :))))) Ждала, как литературное произведение:))) Спасибо, Николай, Ваши книги — как хорошие песни:))
Эдуард Андреев
Огромное спасибо. Сэкономленное время просто не измерить! Спасибо Вам Большое! Вы — редкое сочетание Знаний, Практики и Педагогического таланта. Сказывается Ваш опыт тренингов реальных пользователей Excelю Еще раз — Большое Спасибо!
Ольга Константинова
Николай, огромное спасибо за Ваши книги. Купила за 5 минут!!! Очень большая помощь в моей работе!!!
Дмитрий
Отличная книга получилась, Николай! С удовольствием её изучаю.
Сергей Него
Николай, спасибо за труд! С удовольствием купил электронную версию! Обязательно куплю бумажную версию. Собираю коллекцию твоих книг! (две первых уже есть) Всем советую купить! Сегодня можно сказать, если Вы не знаете Power Query, значит Вы не знаете Excel… 500 рублей за такие знания — это ПОДАРОК!!!
Ярослав Безсажный
Текст сообщения: Николай, купил и всем советую! Это большой труд. Жду новую книгу с крутыми лайфхаками. Спасибо!
Jevgenijs
Большое спасибо ! Отличная работа, не уступает зарубежным авторам по программе Excel!
Сергей Терехов
Очень нужная. Понятная, доходчиво все изложено. Жду продолжения.
Виктор Суханов
Купил, читаю. Ощущение, что писали специально для меня. Каждый день нахожу ответы на свои вопросы к Query. Спасибо, Николай.
Денис Сиражитдинов
Огромное спасибо за ваш труд!
Игорь П.
Спасибо за книги, за надстройку, за форум! Очень, очень помогает в работе! «Скульптор данных в Excel с Power Query» купил в эл. формате, возможно куплю еще в бумажном варианте (мне удобнее читать «бумагу», можно пометки делать и т.п.), а мои затраты окупяться — проверено.
Ольга
Самое подробное и доступное изложение материала по PQ для начинающих. Такой клад знаний, да за 500 рублей- просто, мечта! Спасибо! Буду советовать всем интересующимся знакомым.
Алексей Довнер
Николай, просто человеческое СПАСИБО за Ваш труд. Ваша манера преподнесения информации восхищает. Ждём новых шедевров.
Иван
Спасибо автору за труд. Купил книгу для «семейного чтения» Уже пригодилась, т.к. Power Query не является «очевидным» инструментом и нужны просто готовые рецепты что бы быстро решить насущную задачу. Книга такие инструменты предоставляет. Спасибо автору и за подготовленные файлы примеров!
Александра Сафронова
Давно искала подобную книгу! Приобрела, пошла изучать!) Спасибо вам
Руст Омир
Спасибо! Автор — то что надо для тысяч и тысяч людей! Ну а сама книга — подарок им!
Владимир
СПАСИБО за книгу. Всё кратко,чётко и понятно. Настоящий учебник PQ
Сергей Терёхин
Замечательная книга! Power Query — это, действительно, магия М! Большое спасибо автору! Вот ещё бы научить систему продаж Планеты Excel «пряникам» для покупателей и бумажной, и электронной версий! ;)))
Александра Ларина
Только что купила. С трудом подавляю желание отложить работу и начать читать. Именно с «Планетой» я освоила excel настолько, что смогла сменить работу. Николай Павлов, на мой взгляд, один из лучших преподавателей в инете.
Tylorn
Огромное спасибо за книгу! Некоторое время изучал PQ самостоятельно, но Ваша книга наконец-то помогла мне все разложить по полочкам, увидеть ещё множество возможностей и хитростей! Стала настольной
Самир Мамедов
Сегодня преобрел данную книгу. Это уже третья по счету книга которую я преобретаю у Николая. Очень доволен и всем советую. Мне даже немножко неловко перед Николаем (в хорошем смысле этого слова) так как книга стоит очень дешево хотя если бы ее написал бы автор например под брендовым именем «Фернандо Лорензе» она бы продавалась бы в разы дороже. Потому что аналоги таких книг на английском именно столько и стоят. Я выражаю глубокую признательность Николаю и желаю ему дальнейших успехов и крепкого здоровья.
Мухортов Алексей
Николай Владимирович, большое вам спасибо за проделанную работу. Книга просто шикарная, иначе не скажешь. Открыл для себя большие возможности в повседневной работе. P.S. Пища для размышлений для будущих ваших творений: такие книги стоят кратно больше, заявленной вами суммы
Ольга
Шикарная книга! Очень помогла в работе для обработки больших массивов данных из разных источников.
Елена Кауфман
Николай, спасибо! Очень понятная, информативная и наглядно читаемая книга! Йоооохоооо :))) дождались :)))) Главное, еще и очень вовремя (никак не могла настроить один алгоритм, а тут — на тебе — готовое решение:))) Может, 2020 год отметим вторым томом?:))) Успехов Вам! Оставайтесь с нами :)))
Василий Павлов
Это будет бомба в русскоязычной среде!
Oleg Kozlov
Купил в элеткронном формате особо не глядя на содержимое так как знаю, что у Николая очень качественная подача материала и при этом я использую Power Query на работе очень интенсивно.
Владимир Х
Везде за обучение сначала берут деньги, а потом учат. Впервые за пятилетние пользование халявными роликами и уроками (которых мне и так вполне хватают) готов без сожаления расстаться с деньгами за Ваш труд, Николай. Уже купил одну из первых двух книг, приобрету третью PQ. Почему-то уверен что не разочаруюсь в приобретении.
Степан Харёв
Кладезь информации по Power Query. На форумах и в открытых источниках данную информацию нужно собирать по кусочкам. Спасибо за книгу!
Оставьте свой отзыв!
Предложите, как улучшить StudyLib
(Для жалоб на нарушения авторских прав, используйте
другую форму
)
Ваш е-мэйл
Заполните, если хотите получить ответ
Оцените наш проект
1
2
3
4
5
Приручи данные с помощью Power Query в Excel и Power BI 2022.pdf
Имя файла: Приручи данные с помощью Pow er Query в Excel и Power BI 2022.pdf Размер файла: 19.99 MB Файл загружен: 15/01/2023 17:37:39 Файл скачали: 236 Поделиться этой ссылкой |
<a href=»https://wdfiles.ru/e7b4192″ target=»_blank» title=»Download from загрузить файл»>Скачать Приручи данные с помощью Power Query в Excel и Power BI 2022.pdf — загрузить файл</a>
[url]https://wdfiles.ru/e7b4192[/url]
подойдёт для вставки в документы или презентации.
Или получить файл на мобильное устройство, отсканировав QR-код программой с мобильного устройства
Приветствуем Вас на файлообменнике WdFiles.ru!
Ресурс WDfiles.RU был задуман как бесплатный файлообменник. Согласитесь, удобно с его помощью делиться файлами, или перемещать их с одного устройства на другое!
Всем спасибо за использование нашего ресурса!
Преимущества:
Прямые загрузки. Без ожидания.
Отсутствие рекламы.
Неограниченное количество загрузок.
Максимальная скорость загрузки.
Техподдержка (support@wdfiles.ru).
Неограниченная файловая зона.
Файлы в премиум-аккаунте хранятся вечно.
Загрузка файла размером свыше 10.00 GB .
Отсутствие ограничения на загрузки.
Низкая цена в сутки.
Отсутствие подписок.
Неофициальное, открытое методическое пособие к программе Power BI и надстройкам над Excel Power Query и Power Pivot
- Введение
- Предисловие
- Отказ от ответственности
- Лицензия на использование
- Добавление информации и внесение изменений в методическое пособие
- Редактор запросов (Query Editor, он же Power Query)
- Power Query в Power BI
- Power Query в Excel 2010, 2013
- Power Query в Excel 2016, 2019, 365
- Зачем нужен Power Query
- Что такое запрос (Query)
- Действия над запросами (по правому щелчку мыши на них)
- Duplicate (Дублировать)
- Reference (Сослаться)
- Шаг (Step)
- Параметры в Power Query
- Получение данных в Power Query
- Типы данных в Power Query
- Примитивные типы данных Power Query
- Структурированные типы данных в Power Query
- Задание типов данных для столбцов в Power Query
- Автоматическое определение типов данных для столбцов
- Создание дубликата столбца
- Переименование столбцов
- Remove Other Columns — удаление прочих столбцов
- Split Column by Delimeter — Разделить текстовый столбец по разделителю
- Действия над таблицами и столбцами таблиц
- Append — добавление одной таблице к другой таблице
- Merge — соединение данных одного запроса с другим запросом по общему ключу (аналог ВПР)
- Соединение данных по составному ключ в Power Query
- Команда Group by (сгруппировать по полю)
- Добавление нового столбца в Power Query
- if then else условия
- Условный столбец (Conditional column)
- Изменение типа данных у столбца с текстового на десятичный, в случае если в качестве разделителя десятичной части используется точка вместо запятой
- Удалить дубликаты в столбцах
- Count rows — Подсчитать количество строчек в текущей таблице
- Извлечение шагов в отдельный запрос
- Функция Сохранить строки (Keep Top Rows)
- Функция Сохранить ошибки (Keer Errors)
- Функция Заменить ошибки в столбце (Replace Errors)
- Получение данных из различных источников
- Получение данных из файлов
- Получение данных из текстовых файлов (csv, tsv, txt и т.д.)
- Извлечение данных из файлов лежащих в папке
- Получение данных из интернета
- Права доступа, Formula.Firewall
- Символы разрыва строки
- Получение данных из файлов
- Power Pivot
- Что такое Power Pivot в Excel
- Что такое Power Pivot в Power BI
- Что такое DAX
- Модель данных
- Таблицы
- Функции Dax
- Меры (Measures)
- Быстрые меры (Quick Measures)
- Вычисляемые Столбцы (Calculated Columns)
- Контекст выполнения функции (Evaluation context)
- Связь таблиц в модели данных
- Связь таблиц по ключевому столбцу дата и time-intelligence функции
- Часто используемые функции DAX
- Метрики контекстной рекламы в DAX
- Про абсолютные и относительные метрики в выгрузках
- Формат отображения чисел в мерах и столбцах
- Полезные ресурсы по DAX
- Визуализации в Power BI
- Срезы в Power BI — Слайсеры (Slicers)
- Срезы с относительными датами (Relative slicers)
- Настройка взаимодействия визуализаций (визуалов)
- Срезы в Power BI — Слайсеры (Slicers)
- Настройки Power BI
- Фоновые данные — разрешить скачивание в фоне (Background data — allow data preview)
- Приложения
- Горячие клавиши окна редактирования DAX формул
- Базовое редактирование
- Навигация
- Поиск и замена
- Мультикурсор и выделение
- Горячие клавиши окна редактирования DAX формул
- Вместо заключения
Введение
Предисловие
Первая версия данного методического пособия была создана Максимом Уваровым в рамках образовательного проекта NeedForData.ru. С 21.05.2018 учебное пособие опубликовано на GitHub под лицензией GPL 3.0 и с этого момента соавтором пособия может стать любой желающий.
Цель данного пособия: помочь начинающим пользователям Power BI, а также надстроек над Excel Power Query и Power Pivot, осваивать эти замечательные инструменты. Предполагается, что методическое пособие когда-нибудь станет более легковесной и человечной альтернативой текущей официальной справки по Power BI, расположенной по адресу: https://docs.microsoft.com/ru-ru/power-bi/
В данном методическом пособии поддерживаются расставление ссылок на подробные разборы описываемых тем в официальной справке Power BI или на других тематических ресурсах.
Отказ от ответственности
Авторы данного методического пособия не имеют отношения к корпорации Microsoft и ее продуктам Power BI, Excel, Power Query, Power Pivot. Авторы публикуют в данном методическом пособии собственноручно созданные учебные материалы, на публикацию которых они имеют все необходимые права.
Лицензия на использование
Данное методическое пособие может бесплатно использоваться для обучения. Методическое пособие предлагается к использованию в режиме AS-IS (как есть), под лицензией GPL 3.0. Полный текст лицензии опубликован по ссылке.
Согласно лицензии, если вы используете материалы данного учебного пособия в своей документации или своих учебных пособиях, то вы обязательно должны (включая, но не ограничиваясь):
- Поставить ссылки на первоисточник
- Обеспечить свободный доступ к вашим материалам
Добавление информации и внесение изменений в методическое пособие
Любой желающий может предложить исправления текущего методического пособия на Github. Для этого нужно:
- Сделать Fork проекта
- Внести необходимые изменения на языке разметки в markdown
- Создать Pull-request в основной репозиторий
Позже члены редколлегии методического пособия смогут рассмотреть ваши предложения.
Редактор запросов (Query Editor, он же Power Query)
Power Query в Power BI
В программе Power BI Desktop Power Query встроенный модуль. В справке и интерфейсе этот модуль называется Query Editor или редактор запросов. Power Query это основной инструмент данных в Power BI desktop. Как показано на скриншоте ниже все четыре выделенные кнопки относятся к редактору запросов Power Query.
Power Query в Excel 2010, 2013
Также, Power Query это надстройка над MS Excel 2010 — 2013. Она устанавливается дополнительно. Скачать надстройку можно по ссылке. На панели Ribbon в Excel 2010 и 2013 Power Query посвящена отдельная вкладка.
Power Query в Excel 2016, 2019, 365
В Excel 2016 и последующих версиях Power Query встроена. Найти ее можно на вкладке Data (Данные), блок «Get and Transform». Скриншоты, как Power Query выглядит в различных версиях офиса приведены ниже:
В зависимости от версии подписки Excel функционал Power Query может различаться.
Зачем нужен Power Query
Power Query нужен для удобного преобразования данных (ETL-процесса).
Согласно википедии — ETL (от англ. Extract, Transform, Load) — процесс в управлении хранилищами данных, который включает в себя:
- извлечение данных из внешних источников;
- их трансформация и очистка, чтобы они соответствовали потребностям бизнес-модели;
- и загрузка их в хранилище данных.
Power Query отлично подходит для задач:
- подключения к разнообразным источникам (различным типам файлов, api, базам данных и т.п.);
- для удобного и гибкого преобразования данных в необходимый формат;
- Для создания повторяемых последовательностей обработки данных.
Что такое запрос (Query)
Запрос (Query) это программа на языке M, задающая последовательность обработки данных.
В своем теле запрос может обращаться к неограниченному количеству источников данных (включая другие запросы). Результат выполнения запроса может иметь любой из поддерживаемых структурированнных или примитивных типов данных, например:
- таблица — table
- значение — value,
- список — list,
- запись — record и т.д.
Список из всех запросов в Excel можно увидеть в разных местах.
В списке из запросов книги (Queries Pane) интерфейсе Excel 2016:
В интерфейсе самого Power Query:
У каждого запроса есть свое имя.
Имя запроса можно увидеть в нескольких местах. Там же его можно изменить:
В интерфейсе Excel 2016.
В интерфейсе Power Query.
По имени запроса можно обращаться к результатам этого запроса из других запросов.
В случае, если имя запроса содержит пробелы (например, состоит из нескольких слов), то при обращении к этому запросу из других запросов он начинается с #
и заключается в кавычки:
Действия над запросами (по правому щелчку мыши на них)
Duplicate (Дублировать)
Команда Duplicate позволяет создать новый запрос и продублировать в нем все шаги исходного запроса (т.е. при дублировании появляется новый запрос с #"Имя (2)"
, в котором содержатся все шаги из исходного запроса). Новый запрос, созданный при использовании команды Duplicate, никак не связан с оригинальным запросом.
Reference (Сослаться)
Создать новый запрос, в первом шаге которого обратиться по имени к оригинальному запросу.
Шаг (Step)
Отдельный этап обработки данных в рамках конкретного Запроса.
Запрос состоит из шагов и включает как минимум один шаг.
На каждое примененное действие в интерфейсе создается новый шаг.
Список шагов конкретного запроса можно посмотреть в правой части экрана в панели настроек Запроса.
Каждый шаг это отдельная переменная, расположенная на отдельной строчке кода в скрипте запроса на языке программирования M.
Чтобы посмотреть формулу конкретного шага необходимо включить отображение строки формул на вкладке view и выбрать интересующий шаг в панели «Applied Steps».
Очередность шагов можно менять через интерфейс, используя контекстное меню.
А также перетаскивая шаги в списке.
Параметры в Power Query
- 🇺🇲Статья о параметрах Power Query
Получение данных в Power Query
Чтобы начать работать с Power Query, необходимо настроить получение данных из какого-либо источника. Сделать это можно из интерфейса Power Query в Power BI по нажатию на кнопку Get Data.
В Excel 2010-2013 сделать это можно нажав на кнопки с указанием различных источников на панели Ribbon.
А также из интерфейса Power Query в Excel.
Типы данных в Power Query
В Power Query существуют примитивные и структурированные типы данных. Примитивные типы данных содержат в себе лишь одно значение, в то время как структурированные типы данных могут содержать в себе как одно так и множество значений. В зависимости от заданного типа данных
Примитивные типы данных Power Query
- Decimal number — десятичное число
Number.Type
илиtype number
- Time — время
Time.Type
илиtype time
- Date — дата
Date.Type
илиtype date
- Date / Time — дата / время
DateTime.Type
илиtype datetime
- Date / Time / Timezone — дата / время / часовая зона
DateTimeZone.Type
илиtype datetimezone
- Duration — длительность
Duration.Type
илиtype duration
- Fixed Decimal number — десятичное округленное до 4 знака
Currency.Type
- Whole number — целое число
Int64.Type
- Text — текст
Text.Type
илиtype text
- True/False — истина / ложь
- Binary — двоичный код (например, изображение в формате bmp)
- Percentage — проценты
Percentage.Type
Структурированные типы данных в Power Query
- Table — таблица
#table({"Заголовок1", "Заголовок2"}, { {"Строка1Столбец1", "Строка1Столбец2"}, {"Строка2Столбец1", "Строка2Столбец2"} })
- List — список
{1,2,4} - список из элементов Чисел со значениями 1, 2, 4
- Record — запись
[field1 = "текст в кавычках", field2 = "текст в кавычках2"]
Задание типов данных для столбцов в Power Query
Присвоенные отдельным столбцам типы данных определяют операции, которые применимы к ним. Если выбрать столбец, то примененные к нему типы данных можно увидеть в следующих местах:
- Типы данных столбцов таблицы обозначаются иконками в области заголовков:
- При выбранном столбце, его тип данных в Power BI и Excel на вкладке «Home»
- При выбранном столбце, его тип данных в Power BI и Excel на вкладке «Transform»
Автоматическое определение типов данных для столбцов
В Power Query есть функция «автоматически определять типы данных». При помощи данной функции Power Query будет подбирать тип данных к столбцу на основ первой тысячи строчек конкретного столбца.
Создание дубликата столбца
Команда на Ribbon:
Команда в контекстном меню:
Переименование столбцов
Чтобы переименовать столбец нужно дважды щелкнуть на его названии:
Remove Other Columns — удаление прочих столбцов
Для повышения личной эффективности (за счет лучшего фокуса на конкретных цифрах), сохранения оперативной памяти и поддержки быстродействия моделей следует оставлять в модели данных только необходимые данные (только необходимые столбцы и строчки).
Для этих целей отлично работает команда «remove other columns» (удалить прочие столбцы).
Split Column by Delimeter — Разделить текстовый столбец по разделителю
Команду «разделить столбец по разделителю» можно найти в нескольких местах:
Кнопка на Ribbon — Split Column
В контекстном меню, по щелчку на заголовок столбца.
Разделить столбец по произвольному разделителю
Указать максимальное количество столбцов
Действия над таблицами и столбцами таблиц
Append — добавление одной таблице к другой таблице
Из интерфейса Power Query:
Из интерфейса Excel:
Merge — соединение данных одного запроса с другим запросом по общему ключу (аналог ВПР)
Начало операции из интерфейса Power Query:
Начало операции merge из интерфейса Excel:
Выбор таблицы, из которой будем подтягивать данные, определение ключевых столбцов и типа операции
Соединение данных по составному ключ в Power Query
После нажатия на кнопку OK мы видим новый столбец с кнопкой
Нажимаем на кнопку, раскрываем столбец и выбираем желаемую операцию
Expand — развернуть данные из выбранных столбцов
Aggregate — подсчитать данные в конкретных столбцах
Важно помнить что типы данных у ключевых столбцов (в обеих таблицах) должны быть одинаковыми.
Команда Group by (сгруппировать по полю)
Команду можно вызвать по клику на кнопку на панели Ribbon
Также команду можно вызвать из контекстного меню (если нажать правой кнопкой на заголовке столбца)
Интерфейс команды Group By с комментариями представлен на скриншоте ниже:
Добавление нового столбца в Power Query
if then else условия
Для выбора действия в зависимости от условия в Power Query используется структура с оператором if then else
Пример:
if [столбец1] 0 then [столбец2] else [столбец3]
Условный столбец (Conditional column)
Мастер добавления столбца с условным значением (условного столбца), формирует значение столбца согласно заданным правилам. Мастер добавления условного столбца можно найти в Power Query, на вкладке добавления столбца, как показано на скриншоте ниже.
Пояснения к мастеру конфигурации условного столбца показаны на скриншоте ниже.
Для сведения — задаваемые условия в интерфейсе мастера пишут команду скрипта содержащего операторы if then else
. Это значит, что первым будет проверено первое условие в мастере условного столбца. Все множество значений будет проверено по этому условию. В случае, если будут найдены результаты удовлетворяющие первому условию, то для них будет присвоено значение по результатам выполнения первого условия. Для остальных значений из множества, будет проверено следующее условие. И так далее, до тех пор, пока не будут проверенны все условия. Если для элементов множества не будет выполненно ни одно условие, то в условный столбец попадет значение из поля «В противном случае / (otherwise)».
При создании условий важно помнить, операции сравнения включающие type null и другие типы данных, возвращают ошибку в качестве результата. Подробнее об этом можно прочитать в блоге у Максима Зеленского
Изменение типа данных у столбца с текстового на десятичный, в случае если в качестве разделителя десятичной части используется точка вместо запятой
- Необходимо щелкнуть правой кнопкой на заголовке столбца
- Выбрать пункт «Change type»
- И далее выбрать пункт «Using locale»
- Выбираем страну, где в качестве разделителя используется точка (например, USA)
Удалить дубликаты в столбцах
Команда «Remove Duplicates» проходит по выбранным столбцам (если выбрана вся таблица, то по всей таблице) и смотрит в них повторяющиеся ячейки (строчки, в случае если выбрана таблица). Если дубликаты найдены функция оставляет первую попавшуюся уникальную строчку и удаляет все последующие повторяющиеся Найти команду можно на Ribbon — Home — Remove Duplicates (Удалить дубликаты в выбранных столбцах)
Либо найти команду можно щелкнув правой кнопкой на заголовке одного или нескольких выбранных столбцов. В случае, если выбраны несколько столбцов, то тогда будут удалены все неуникальные сочетания значений в каждой отдельной строчке в выбранных столбцах.
Удалить дубликаты строк в таблице можно нажав на кнопку в левом верхнем углу таблицы предпросмотра.
Аналогичного результата можно добиться если использовать команду «Group By»
Count rows — Подсчитать количество строчек в текущей таблице
Извлечение шагов в отдельный запрос
Для выполнения необходимо щелкнуть правой кнопкой на конкретном шаге обработки. Выбрать пункт меню «Extract previous steps»
ввести имя нового запроса, который будет создан на основе предыдущих шагов
Функция Сохранить строки (Keep Top Rows)
Функция Сохранить ошибки (Keer Errors)
Функция Заменить ошибки в столбце (Replace Errors)
Функция доступна по нажатию правой кнопкой на заголовке столбца и позволяет заменить ошибки в столбце (например, получившиеся после применения нового типа данных) на выбранное значение. Обратите внимание, что по состоянию на 2019-07-29 функция доступна лишь при выборе одного столбца.
Получение данных из различных источников
Получение данных из файлов
Получение данных из текстовых файлов (csv, tsv, txt и т.д.)
При получении данных из текстового файла в Power Query открывается окно мастера настроек импорта файла.
Извлечение данных из файлов лежащих в папке
Выбираем в качестве типа источника папку. Далее выбираем конкретную папку с файликами, которые предполагается объединить. Файлики должны быть одного типа и с одинаковыми столбцами.
В появившемся окошке предпросмотра данных жмем на кнопочку edit.
Получение данных из интернета
Права доступа, Formula.Firewall
Текст взят из Power bi formula firewall privacy settings — marketing-wiki.ru
При работе в Power BI, при обращении к внешним источникам данных вроде различных API могут возникать ошибки вроде: OLE DB or ODBC error: [information is needed in order to combine data]
или Formula.Firewall: Query is accessing data sources that have privacy levels which cannot be used together. Please rebuild this data combination
Это ошибки, которые возникают из-за встроенного в Power BI Fomrula.Firewall — механизма, который следит, чтобы данные из Power BI передавались только согласно выставленным правилам доступа.
то есть Power Bi пытается защитить нас, чтобы мы случайно не отправили какие-либо данные (вроде токена) на сервер-злоумышленника.
Однако, если мы работаем с API, то нам неминуемо нужно отправлять данные в интернет. Соответственно, чтобы не иметь проблем в этом процессе проще всего в настройках Power BI выключить Formula.Firewall. Это делается в разделе Privacy. Нужно выбрать 3-й пункт — «ignore privacy level settings»
Символы разрыва строки
При помощи операции найти или для разделения ячейки на отдельные строчки можно воспользоваться символами #(cr)#(lf)
либо воспользоваться функцией Lines.FromText
Power Pivot
Что такое Power Pivot в Excel
Power Pivot — это надстройка над Excel, представляющая из себя быструю колоночную базу данных VertiPaq с языком запросов DAX (часто вместо VertiPaq говорят Power Pivot). В отличие от Excel число строк загруженных в Power Pivot ограничено лишь размером доступной оперативной памяти компьютера. Быстродействие Power Pivot во много раз превосходит быстродействие формул в Excel. Также Power Pivot по производительности превосходит и Power Query (при этом часто он потребляет меньше ресурсов). Результаты выполнения запросов доступны пользователям в сводных таблицах и сводных диаграммах MS Excel. Таким образом сводные таблицы выступают аналитическим интерфейсом к данным хранящимся в Power Pivot.
Что такое Power Pivot в Power BI
В Power BI Power Pivot встроен как база данных, к которой присоединяются различные визуализации.
Что такое DAX
Dax (Data Analysis Expressions) — это язык программирования использующийся для запросов в базе данных VertiPaq.
Модель данных
Модель данных — совокупность таблиц, связей между ними и вычисляемых мер в базе данных VertiPaq. Благодаря своей быстроте модель данных позволяет создавать мгновенно пересчитывающиеся меры, которые, в свою очередь, позволяют создавать интерактивные визуализации.
Таблицы
Таблицы — совокупность строк, разделённых на столбцы.
У каждого столбца задан тип данных (который, как правило, наследуется из типов данных заданных для столбцов в Power Query).
У столбцов с числовыми типами данных можно увидеть значок сигмы Слева от них. И такие столбцы по умолчанию будут просуммированы, в случае если добавить их в область значений любой визуализации.
Если же добавить в область значений столбцы с не числовыми типами данных (без значка сигмы), то к ним будет применена операция по умолчанию: count (подсчет количества значений).
Список из таблиц загруженных в модель данных можно найти в дереве fields в правой части окна Power BI.
Каждая таблица имеет название, по которому к данным конкретной таблицы можно обращаться в мерах и вычисляемых столбцах. В случае если в названии таблицы присутствует пробел или не латинские символы, то при обращении к таблице извне её название заключается в одинарные кавычки автоматически:
'название с пробелом'
Однако, если мы заключим в кавычки название таблицы без пробелов, то все будет работать как предполагалось:
'название'
Функции Dax
Функции языка Dax похожи на функции Excel, с той лишь разницей, что в качестве аргументов используют столбцы, целые таблицы или скалярные выражения (простые значения), а не ячейки.
В качестве разделителей аргументов в зависимости от локали используются:
- «;» (и «,» для десятичных)
- «,» (и «.» для десятичных)
Меры (Measures)
Вычисляются только в момент использования. Рассчитываются в рамках текущего контекста фильтров. Именно это свойство позволяет строить интерактивные визуализации, которые фильтруются при нажатии на определенные области конкретных визуализаций. Меры хоть и принадлежат конкретной таблице, но могут быть перенесены в любую другую таблицу в рамках документа. Поэтому хорошая практика при использовании мер формулах не включать название таблицы, в которо й мера лежит. То есть вместо 'таблица'[мера]
писать просто [мера]
.
Быстрые меры (Quick Measures)
Функционал быстрых мер позволяет создавать сложные DAX формулы без написания кода. Вместо написания кода нужно сконфигурировать желаемую меру в графическом интерфейсе. Подробнее о быстрых мерах можно прочитать в справке по Power BI
Вычисляемые Столбцы (Calculated Columns)
Рассчитываются однажды во время обновления таблицы в модели данных. Вычисляемые столбцы занимают место в памяти. Вычисляемые столбцы рассчитываются в рамках контекста строки. В отличие от мер, вычисляемые столбцы могут использоваться для фильтрации и сортировки таблиц. Принадлежат конкретной таблице и их лучше указывать в формулах вместе с названием таблицы, даже если Power Pivot позволяет этого не делать.
Подробнее про столбцы и меры читать здесь:
- Calculated Columns and Measures in DAX — SQLBI
Контекст выполнения функции (Evaluation context)
В Power Pivot существуют два контекста выполнения формулы, которые действуют одновременно:
- Контекст фильтров (Filter context)
- Контекст строк (Row context)
Это массивная и сложная тема. На момент написания методички автор так и не разобрался с темой до того уровня, чтобы рассказывать об этом окружающим. Потому рекомендую обратиться к достоверным источникам вроде:
- Марко Руссо и Альберто Феррари https://www.sqlbi.com/.
- Справка Microsoft Power BI: Основные сведения о DAX в Power BI Desktop
Связь таблиц в модели данных
Для связи таблиц в модели данных в одной из таблиц в ключевом поле должны быть уникальные значения. Также столбцы должны быть одного типа данных.
Направление связи имеет значение. Вычисляемые столбцы могут использоваться для создания связей между таблицами.
Справка: Создание связей и управление ими в Power BI Desktop — Power BI | Microsoft Docs
Связь таблиц по ключевому столбцу дата и time-intelligence функции
В случае, если в модели данных есть отдельная таблица-календарь (вроде такой), и если таблица с фактами связана с таблицей-календарем по полю дата, то для создания быстрых мер в поле дата нужно использовать столбец с датами из таблицы календаря. Столбец с датами из таблицы с фактами в быстрых мерах работать не будет.
Часто используемые функции DAX
SUM (Столбец)
— Cумма чисел по столбцу
COUNTA (Столбец)
— Количество значений в столбце
DISTINCTCOUNT (Столбец)
— Количество уникальных значений в столбце
SUMX (Таблица, Выражение)
— Сумма значений выражения, которое выполняется для каждой строчки таблицы
DIVIDE (Значение числителя, значение знаменателя, альтернативный вариант в случае ошибки деления числителя на знаменатель)
— Безопасное деление
IFERROR (Значение, Значение если ошибка)
— Если ошибка
IF (Логическое выражение, значение если правда, значение если ложь )
— Если
Метрики контекстной рекламы в DAX
CTR (Кликабельность)
= SUM ( Клики ) / SUM ( Показы )
CPC (Цена клика)
= SUM ( Расход ) / SUM ( Клики )
Ставка (Максимальная цена клика установленная рекламодателем)
Ставка Средняя
Ставка СреднеВзвешенная на клики
= SUMX ( ставка * клики ) / SUM ( клики )
Ставка СреднеВзвешенная на показы
= SUMX ( ставка * показы ) / SUM (показы)
CR (Коэффициент конверсии фактический)
= SUM ( транзакции ) / SUM ( сессии )
Ключевая фраза: количество
= COUNTA ( ключевая фраза )
Ключевая фраза: количество уникальных
= DISTINCTCOUNT ( ключевая фраза )
Про абсолютные и относительные метрики в выгрузках
Средний показатель отказов рассчитывается по формуле:
= SUM ( отказы ) / SUM ( визиты )
Если в выгрузке нет абсолютного числа ОТКАЗОВ, но есть ПОКАЗАТЕЛЬ ОТКАЗОВ, то для каждой строчки с исходными данными предварительно необходимо рассчитать абсолютное число ОТКАЗОВ. Для этого нужно умножить ПОКАЗАТЕЛЬ ОТКАЗОВ на ЧИСЛО ВИЗИТОВ. После этого у вас появится возможность рассчитывать средний показатель отказов корректно.
Аналогичным образом следует поступить с глубиной просмотра и временем на сайте.
Распространенная ошибка рассчитывать СРЕДНИЙ ПОКАЗАТЕЛЬ ОТКАЗОВ в качестве встроенной меры AVERAGE по столбцу ПОКАЗАТЕЛЬ ОТКАЗОВ (см скрин. http://bit.ly/2JMKSl1).
Так средний показатель отказов рассчитывать некорректно.
Формат отображения чисел в мерах и столбцах
Формат отображения значений мер задается при выбранной мере, на вкладке «Modeling», в блоке «Formating»
Полезные ресурсы по DAX
- sqlbi.com/articles/calculated-columns-and-measures-in-dax/
- powerpivotpro.com/2013/02/when-to-use-measures-vs-calc-columns/
- Клевый курс на udemy про Power Pivot
- Книга: The Definitive Guide to DAX: Business intelligence with Microsoft Excel, SQL Server Analysis Services, and Power BI (Business Skills) 1st Edition
- Daxpatterns.com
- Канал Curbal на youtube с подробными обучающими видео DAX Fridays
Визуализации в Power BI
Срезы в Power BI — Слайсеры (Slicers)
- Справка
Срезы с относительными датами (Relative slicers)
- https://docs.microsoft.com/ru-ru/power-bi/desktop-slicer-filter-date-range
Настройка взаимодействия визуализаций (визуалов)
- Справка
Настройки Power BI
Фоновые данные — разрешить скачивание в фоне (Background data — allow data preview)
Загрузку данных в фоне часто рекомендуют отключить, во избежание проблем с производительностью. Ссылки по теме:
- Параметр Allow Data Preview To Download In The Background в Power Query и Power BI — статья Криса Вебба: перевод 🇷🇺, оригинал 🇺🇲.
- Ветка, в предложения выключить эту настройку по умолчанию uservoice.
Приложения
Горячие клавиши окна редактирования DAX формул
Базовое редактирование
Клавиша | Описание | |
---|---|---|
Ctrl+X |
Вырезать строку (Пустое выделение) | |
Ctrl+C |
Скопировать строку (Пустое выделение) | |
Alt+↑ |
Alt+↓ |
Перемещает текущую строку вверх / вниз |
Shift+Alt+↑ |
Shift+Alt+↓ |
Копирует строку и вставляет её выше / ниже |
Ctrl+Shift+K |
Удаляет строку | |
Shift+Enter |
Добавить новую строку ниже под курсором | |
Ctrl+] |
Ctrl+[ |
Увеличить / уменьшить отступ строки |
Tab |
Shift+Tab |
Увеличить / уменьшить отступ строки |
Home |
End |
Перейти в начало / конец строки |
Ctrl+Home |
Ctrl+End |
Перейти в начало / конец DAX формулы |
Ctrl+K Ctrl+C |
Ctrl+K Ctrl+U |
Поставить / убрать однострочный комментарий |
Ctrl+/ |
Поставить или убрать однострочный комментарий | |
Shift+Alt+A |
Поставить или убрать однострочный комментарий |
Навигация
Клавиша | Описание | |
---|---|---|
Ctrl+G |
Перейти к строке | |
F8 |
Shift+F8 |
Перейти к ближайшей / следующей ошибке или предупреждению |
Поиск и замена
Клавиша | Описание |
---|---|
Ctrl+D |
Выделить слово под курсором целиком, при повторном нажатии выделяет аналогичные слова по тексту |
Ctrl+K Ctrl+D |
Перейти к следующему совпадающему выделению### Мультикурсор и выделение |
Мультикурсор и выделение
Клавиша | Описание | |
---|---|---|
Ctrl+A |
Выделить все | |
Alt+Клик |
Добавить курсор к выделению | |
Ctrl+Alt+↑ |
Ctrl+Alt+↓ |
Добавить мультикурсор выше / ниже |
Ctrl+U |
Убрать последнее выделение курсора | |
Ctrl+F2 |
Выделяет все вхождения слова | |
Ctrl+Shift+L |
Выделяет все вхождения выделенного текста | |
Shift+Alt+→ |
Shift+Alt+← |
Расширить / уменьшить текущее выделение по строке |
Вместо заключения
Данное методическое пособие было выложен в открытый доступ 21.05.2018. С тех пор каждый желающий способен внести в него правки или дополнить его собственной актуальной информацией.
Сделать это можно по адресу: https://github.com/power-bi/PowerBI-book-ru
Upd: по состоянию на 30-09-2018 в методическом пособии появилась статья от @DmitriyVlasov про шпаргалку с горячими клавишами
[мера]: [information is needed in order to combine data]: [столбец3]: [столбец2]: [столбец1]: