К моему удивлению, у него почти 1500 просмотров за два дня — не так уж и плохо 🙂 Я понимаю, что это произошло из-за хайпа темы, но, ну… теперь я знаю, как снять некоторые ограничения и выполнить КЛАССИЧЕСКОЕ инкрементное обновление для некоторых типы источников данных. Сообщение в блоге следует.

Максим Зеленский
21 марта 2019 г.

потока данных/добавочный/Power BI/обновление/

Добавочное обновление для учетных записей Pro с потоками данных службы Power BI

Инкрементальный
обновление — это популярный параметр в Power BI. Microsoft уже предоставила его для
Премиум-мощности, но для учетных записей Pro он все еще находится в списке ожидания.

Однако,
с введением потоков данных в службу Power BI, реализация добавочного обновления
становится доступным и для учетных записей Pro.

я не буду
подробно описывать потоки данных здесь, так как есть много блогов и ресурсов
об этом (но я предоставлю несколько ссылок внизу поста).

Концепция

Все, что ты
теперь нужно знать, как реализовать добавочное обновление, это

1. Поток данных в службе Power BI представляет собой набор
   веб-запросов Power Query (называемых «сущностями»).
2. Каждый поток данных можно обновить вручную
   или по собственному расписанию.
3. Результат оценки
   сущности потока данных затем сохраняются в Azure Data Lake Storage 2-го поколения в виде таблиц (подробнее
   именно как файлы CSV).
4. Затем вы можете использовать потоки данных (их сущности)
   в качестве источников данных в наборе данных Power BI.

Начнем
с этой точки.

Что такое
добавочное обновление вообще? Простыми словами, это означает, что в единичных данных
import action мы обновляем (обновляем) только часть данных вместо
загрузка всех данных снова и снова. Другими словами, мы делим данные на
две части (разделы): первая часть не требует обновления и должна оставаться
нетронутой, вторая часть должна быть обновлена, чтобы внести обновления и исправления.

Продолжить чтение →

Максим Зеленский
1 марта 2019 г.

потока данных/добавочный/обновление/

Правильное суммирование двух или более столбцов в Power Query и Power BI

Допустим, у вас есть несколько числовых столбцов [A], [B] и [C] в таблице, и вы хотите суммировать их в новый столбец в Power Query или редакторе запросов в Power BI.

Три числовых столбца мы хотим просуммировать в новом столбце

В Power Query для этого у нас есть специальные кнопки:

Сумма столбцов в Power Query проста как 1-2-3

Например, мы хотим суммировать столбцы [A] и [C]. Просто нажмите (удерживая Ctrl) заголовки столбцов, которые вы хотите суммировать, затем перейдите в «Добавить столбец» — «Стандартный» — «Добавить», и вы получите новый столбец с именем «Добавление» с построчной суммой. желаемых столбцов:

Сумма столбцов [A] и [C] — наверняка

. Если мы хотим сложить сразу три столбца, то тоже получим желаемый результат:

Чего мы ожидали? Просто простая сумма [A]+[B]+[C]

Но если в этой таблице мы хотим так просуммировать столбцы [A] и [B], нас не ждёт ловушка, не так ли?

Что может пойти не так?

Причина такого поведения проста, и она раскрывается, когда мы внимательно смотрим на наши данные: в столбце [B] этой строки есть null . В языке формул Power Query (M) выражение null + значение всегда возвращает значение null (см. отличный пост Бена Грибаудо о null type 9).0034 и операции с нулевыми значениями ).

Но почему мы получаем правильный результат, когда суммируем три столбца? Это связано с тем, что Power Query использует разные формулы при суммировании двух столбцов или трех и более столбцов:

List. Sum Функция, используемая в этом случае, игнорирует нулевые значения и суммирует только числовые значения. Действительно, он дает более интуитивный результат, а наоборот имеет не такой интуитивный синтаксис простого сложения.

Я не знаю, в чем причина такой разницы, и уже пожаловался команде разработчиков. Но если вы полагаетесь на кнопки там, то вы должны знать о таком поведении.

Какие там возможные решения? Это зависит от того, что вы хотите получить в результате, но в любом случае стоит заглянуть в строку формул и решить, что там подправить:

• Если логика ваших расчетов предполагает, что значение + null = null , то вам следует использовать простой + символ между именами столбцов.
• Если вы хотите получить значение + null = значение , вам следует использовать функцию List.Sum, как в этом примере: List.Sum({[A], [B], [C]} )

ТАКОЕ ЖЕ ПОВЕДЕНИЕ Power Query показывает, когда вы пытаетесь умножить два столбца и три или более столбца: с двумя столбцами будет простой символ * , с тремя или более столбцами там будет List. Product функция используется.

Хорошо, это очень короткий пост, который я планировал (и должен) написать давно…

Максим Зеленский
16 января 2019 г.

Сравнение «нулевых» значений в Power Query

Недавно мне нужно было сделать очень простую вещь в Power Query. У меня есть столбец чисел, и мне нужно проверить, меньше ли значения в этом столбце, чем N, а затем поместить соответствующее текстовое значение в новый столбец. Функция для нового столбца примерно такая:

= если [Значения] < 5, то "A", иначе "B"

На самом деле некоторые значения являются не числами, а нулями:

Данные содержат пустые значения, и сравнение возвращает ошибку

И это простое вычисление возвращает ошибку для этих значений!

Почему? Есть загвоздка, которая скрыта в глубине документации (фактически на странице 67 PDF-файла «Спецификация языка формул Power Query (октябрь 2016 г. )», который вы можете получить там.

Продолжить чтение →

Неделя ISO на языке Power Query / M и Power BI

Это очень короткая публикация, просто чтобы напомнить и, возможно, расширить знания для меня и моих читателей.

Иногда, особенно при работе с таблицами календаря, нам нужно вычислить Номер недели ISO для определенной даты. В Power Query / M language / Power BI нет собственных функций для получения номера недели ISO, поэтому для получения желаемого результата вам нужно написать свою собственную функцию.

Спасибо Кэтрин Монье, Microsoft Excel MVP, за предоставление ссылки на М-функцию «Дата до недели ISO», уже написанную для нас. Также существует еще одна функция для преобразования даты недели ISO (формат ввода, например: 2017-W02-7 ) в обычную дату:

.

Эту функцию не так сложно разработать, я думаю, но всегда лучше, когда кто-то дает вам готовое решение, не так ли? 🙂

Максим Зеленский
6 марта 2018 г.

Генератор настраиваемых списков в Power Query и Power BI

List.Generate  это мощная функция языка M (язык Power Query, также известный как «Get & Transform» для редактора запросов Excel и Power BI) , используемый для создания списков с использованием пользовательских правил. В отличие от других генераторов списков (например, List.Repeat или List.Dates), алгоритм (и правила) создания очередного элемента может быть практически любым. Это позволяет использовать List.Generate для реализации относительно сложных задач получения и преобразования.

Хотя отличных постов об использовании этой функции немного (например, Chris Webb, Gil Raviv, PowerPivotPro, KenR), мне всегда не хватало более «четкого» описания — «Как это на самом деле работает?» или «Почему не работает?» и, наконец, «Что имели в виду разработчики, создавая эту функцию?»

Как обычно, справочная статья MSDN лаконична:

Создает список значений с учетом четырех функций, которые генерируют начальное значение начальное , проверяют условие условие и в случае успеха выбирают результат и генерируют следующее значение следующее . Также можно указать необязательный параметр selector  .

Вы получите список из четырех элементов? Вы хотите использовать необязательный селектор? Действительно? Почему бы и нет?

В заброшенном справочнике по формулам Power Query (август 2015 г.) мы можем найти более четкое описание:

Создает список из функции значения, функции условия, следующей функции и дополнительной функции преобразования значений.

По крайней мере очевидно, что эта функция принимает 4 аргумента, все типа function:

List.Generate (начальный как функция, условие как функция, следующий как функция, необязательный селектор как функция, допускающая значение NULL) как список

На самом деле List. Generate использует довольно простой алгоритм цикла. При создании элемента нового списка List.Generate оценивает некоторую переменную (назовем ее CurrentValue ), которая затем передается от одной функции-аргумента к другой в цикле:

1. Начальное значение CurrentValue   является результатом начального вычисления функции .
2. Передать CurrentValue в функцию условия , проверить условие и вернуть значение true или false.
3. Если условие  = ложь , то генерация стоп-листа .
4. Если условие  = true , то создайте следующий элемент списка с этим правилом:
   • Если селектор передается в List.Generate и не имеет значение null, то передайте CurrentValue в селектор и оцените его результат.
   • Иначе (селектор вообще отсутствует или он равен нулю), тогда следующий элемент равен CurrentValue.
5. Вычислить следующую функцию с аргументом CurrentValue и присвоить ее результат CurrentValue ,   , чтобы new CurrentValue оценивается следующим (CurrentValue).
6. Перейти к шагу 2.

Как видно из этого не очень технического описания, важным отличием List.Generate от других функций итераторов языка M является то, что почти все другие функции работают в стиле For Each…Next (имеют фиксированный список для зацикливания), а List.Generate использует другую логику — «Do While…Loop», проверяя условие перед итерацией цикла. В дальнейшем количество элементов в создаваемом списке ограничивается только условием «Пока».

Если мы запишем описанный выше алгоритм на другом, нефункциональном языке (например, Visual Basic), то он будет выглядеть так:

Visual Basic

Dim NewList как новый список

Текущее значение = начальное ()

Выполнить условие (CurrentValue)
Если селектор = ноль Тогда
НовыйСписок. Добавить(ТекущееЗначение)
Еще
NewList.Add (селектор (CurrentValue))
Конец, если
Текущее значение = следующее (текущее значение)
Петля

Обратите внимание:

1. начальная  функция не имеет аргументов , и ее оценочное значение равно значению ее выражения.
   Даже когда вы пытаетесь написать начальную   функцию с аргументами, вы не можете передать ей ни одного аргумента, потому что она вызывается где-то внутри List. Generate.
   Если честно, я не понимаю, почему начальное   ЯВЛЯЕТСЯ функцией, а не простым выражением или значением. Может на это есть причины.
2. первоначальная  функция   оценивается первой
   Но, если первый вызов функции условия вернет false, список не будет создан, несмотря на то, что первоначальная функция была оценена.
   В случае результат условия истинен, тогда оценивается начальный (или оцененный селектор ) будет первым элементом списка . Вот почему начальное и следующее обычно возвращают одинаковые структурированные значения одного и того же типа.
3. условие , следующий   и селектор   получили вычисленное CurrentValue в качестве аргумента , 3 , но они не должны использовать его4. На самом деле эти три функции могут игнорировать CurrentValue, и использовать другую логику.
   Но, если честно, я не могу себе представить ситуацию, когда условие (или следующее ) не используют CurrentValue, , потому что это приводит к бесконечному циклу или список не будет создан.
4. селектор оценивается, несмотря на результат следующей оценки на текущей итерации цикла.
5. следующий   всегда оценивается ДО того, как будет создан следующий элемент списка  (2-й и последующие).

При создании списка с использованием некоторых вызовов API (например, вы отправляете запросы GET или POST к API в функциях initial и next ) следует учитывать следующее:

1. API будет вызываться как минимум один раз (при оценке начального ).
2. Количество вызовов API всегда будет как минимум на один больше, чем количество элементов в созданном списке  (этот чрезмерный вызов является результатом последних следующий   оценка функции, которая не прошла условие)

Удобно, когда оба начальный и следующий возвращают значение типа запись. Это значительно упрощает добавление счетчиков и передачу дополнительных аргументов для этих функций (например, одно из полей записи — основные данные, второе — счетчик и т.д.).

Resuming, List.Generate  мощный инструмент, который выглядит сложнее, чем на самом деле. Надеюсь, что этот пост сделал его более дружелюбным и понятным. 🙂

Идеи Power Query в сообществах Uservoice и Power BI

Недавно я писал о ловушке UsedRange при импорте из листа Excel в Power Query (вы можете прочитать этот пост там).

Чтобы добавить вариант для пользователей, которые могут столкнуться с теми же проблемами, что и я, я добавил соответствующие идеи по улучшению Power Query на excel.uservoice.com и https://ideas.powerbi.com

Пожалуйста, проголосуйте за эти улучшения — я уверен, что они не только сэкономят вам несколько строк кода, но и уберегут вас от потенциальных ловушек при работе с необработанными данными Excel.

Спасибо!

1
2
3

Еженедельный выпуск Power BI 181: 01.

11.2022

Еженедельный логотип Power BI

на базе endjin.com

Несколько обновлений на этой неделе. совместное использование и копирование как изображения, которые скоро появятся. Одна довольно крутая функция, описанная в этой статье, — это функциональность для глубокой ссылки на конкретный выбор, который вы сделали на определенной диаграмме, что довольно круто. Нам также сообщили об обновлениях для улучшения сайта Power BI Ideas, включая улучшенный поиск и возможность входа в систему с использованием учетных записей MSA, а не только учетных записей организации. Наконец, нам сообщили, что теперь доступен октябрьский выпуск локального шлюза данных.

В другом месте на этой неделе Джеймс Брум поделился своей презентацией с виртуального саммита Data Platform под названием «Правильно ли выглядят эти цифры?», в которой он обсуждает несколько методов написания автоматизированных тестов для ваших решений Power BI/AAS/Data, Шабнам Уотсон подробно рассмотрел автоматическое обслуживание разделов службой Power BI для наборов данных с добавочным обновлением, а Даниил Маслюк написал о новых функциях DAX: TOCSV и TOJSON, варианты использования которых, по-видимому, станут более очевидными, когда функция EVALUATEANDLOG официально отгружается.

Подготовка данных

Тема: Power Query (M), потоки данных, соединители данных, AI Insights

• В блоге Enterprise DNA Мелисса де Корте (@_EnterpriseDNA) пишет о том, что такое Power Query и M Язык: A Подробный обзор
• Рик де Гроот (@Rickmaurinus) рассказывает о Fast Running Totals в Power Query (полное руководство)
• Бен Грибаудо (@bgribaudo) описывает основные моменты нового SDK Power Query
• Максим Зеленский (@Hohlick) описывает Power Query Запись в словарь: Часть 1
• Ларс Шрайбер (@SchreiberLars) описывает Exceldateien aus Ordner importieren-Nur bestimmte Bltter je Datei mit Power Query [немецкий]
• Bas Dohmen (@HowToPowerBI) описывает OneDrive + Power BI? Делайте это правильно

Моделирование данных

Охватывает: DAX (показатели и вычисляемые таблицы/столбцы), отношения, службы анализа, составные модели

• Даниил Маслюк (@DMaslyuk) пишет о новых функциях DAX: TOCSV0 и TOJSON 9091SON
• Джеймс Эндрю (@MatadorSoftware) рассказывает о функции DAX OFFSET в Power BI | Сравнение с оконными функциями SQL LAG и LEAD
• Сэм Маккей (@_EnterpriseDNA) рассказывает об использовании концепций формул ALLSELECTED — DAX в Power BI [обновление 2022 года]
• Крис Уэбб (@cwebb_bi) описывает диагностику проблем производительности, связанных с расчетами, в Power BI Использование EvaluateAndLog
• В блоге Towards Data Science Сальваторе Кальяри (@TDataScience) пишет о распределении значений с коэффициентом в DAX 9. 0091
• Ави Сингх (@powerbipro) описывает таблицу календаря с использованием DAX
• Также в блоге Enterprise DNA Густав Дудек (@EnterpriseDNA_) описывает руководство DAX Power BI по прозрачности отчетов
• В блоге сообщества Power BI Рико Чжоу описывает, как do Динамический подсчет групп в Power BI
• Чандип Чхабра (@chandeep2786) описывает простые и эффективные примеры перехода контекста в Power BI
• Дэниел Дьюк охватывает Ищете отличное введение в DAX?
• В блоге SQLBI Альберто Феррари (@FerrariAlberto) рассказывает о том, почему итоговые данные Power BI могут показаться неточными
• Рут Посуэло Мартинес (@CurbalEN) обсуждает, хороша ли новая функция быстрых измерений? Давайте узнаем
• Рейд Хэвенс (@HavensBI) обсуждает введение Measure Killer (внешнего инструмента) для Power BI с Грегором Бруннером и Клаусом Фольцем представить BI Thinkers Talk XXII: lineare Budgetverteilung in Power BI [немецкий]

Создание отчетов и интерактивность

Тема: Макет и форматирование, визуализации, интерактивность, темы, мобильные отчеты, информационные панели

• Патрик Леблан (@GuyInACube) объясняет, как повысить эффективность вопросов и ответов в Power BI

Mara Pereira

• (@datapears) просматривает Обновление закладок в Power BI.
  

  This entry was posted in Популярное