Меню

Проблема медленное время обновления

SPBDEV Blog

Требуется ли много времени для обновления данных в модели Power BI? Стоит ли ждать часами обновления, потому что за сценой происходят сложные преобразования? Из-за длительного времени обновления вам сложно разработать свое решение? В этой статье мы расскажем, как использовать потоки данных Power BI, чтобы помочь сократить время обновления ваших моделей Power BI. Ранее мы объяснили некоторые преимущества потоков данных, и вот еще один в действии, давайте посмотрим, как это может помочь.

Проблема: медленное время обновления

У вас есть файл Power BI, обновление которого занимает много времени. Длительное время обновления может быть связано с тем, что источник данных работает медленно, или набор используемых шагов преобразования является тяжелым и делает процесс подготовки данных длительным процессом. Долгое время обновления может вызвать журнал проблем, например, вы делаете обновление для разработки некоторых изменений, но из-за длительного времени обновления скорость вашей разработки также снижается, и по многим другим причинам. Например, приведенный ниже отчет Power BI обновляется за 5 минут.

Обратите внимание, что 5 минут для обновления не являются длительным временем обновления и мы создали эту модель для обучения здесь. Мы просто показываем, как сделать это быстрее, даже для обновления, которое занимает 5 минут. Вы можете применить тот же метод обновления процессов, который занимает несколько часов.

Теперь вместо длительного ожидания и получения сообщения, подобному приведенному ниже, мы хотим ускорить его:

Решение: подтолкнуть преобразование к потоку данных

Ранее мы рассказывали о потоке данных Power BI и его случаях использования, а также о том, как создать ваш первый поток данных. Если вы новичок в Dataflow, вот очень краткое объяснение:

Поток данных Power BI представляет собой набор преобразований Power Query, выполняемых в службе Power BI, независимо от набора данных Power BI.

Поток данных Power BI может выполнять преобразования Power Query и загружать выходные данные в хранилище озера данных Azure для будущего использования. Именно так это может помочь сократить время обновления набора данных Power BI.

Если обновление вашего набора данных занимает много времени, потому что вы применили набор тяжелых преобразований данных в Power Query, то вместо этого вы можете поместить этот набор тяжелых преобразований в поток данных. Таким образом, преобразования происходят в другом процессе, он загружает выходные данные в хранилище озера данных Azure службы Power BI, а затем вы можете использовать эти выходные данные в качестве входных данных набора данных Power BI. Следующая диаграмма демонстрирует это:

Вместо того, чтобы выполнять тяжелую работу в Power BI, просто перенесите их все в потоки данных, и ваше время обновления данных в наборе данных Power BI будет очень быстрым! Тем не менее, вам все еще нужно запланировать обновление потока данных в сервисе. Однако, поскольку он может выполняться по другому графику, чем сам набор данных Power BI, вам не нужно ждать окончания обновления, чтобы завершить работу по разработке. Теперь давайте посмотрим на пример такой реализации.

Создайте поток данных из пустого запроса

Мы не будем объяснять, как создать поток данных, потому что для этого необходимо выполнить некоторые предварительные шаги, такие как создание рабочей области версии 2, наличие прав доступа для создания потока данных и так далее. Мы писали статью о том, как создать свой первый поток данных, которую вы можете прочитать здесь . Итак, давайте начнем здесь с момента выбора того, что делать с созданием потока данных, во-первых, это создание потока данных;

Выберите Define new entities.

Выберите источник данных как Blank Query.

Скопируйте запрос из Power BI Desktop в поток данных

Перемещение преобразований Power Query из Power BI Desktop в Dataflow так же просто, как копирование и вставка. Вы можете скопировать скрипт M из расширенного редактора Power BI Desktop, а затем вставить его в расширенный редактор потока данных. Вот как это работает. Мы открываем Power Query в Power BI Desktop, используя Edit Queries, затем выбираем запрос и идем в Advanced Editor.

Читайте также:  Базовые принципы построения программы

Скопируйте скрипт M оттуда:

Затем вставьте его в поток данных Power BI (при создании пустого запроса, который мы делали на предыдущем шаге, или с помощью щелчка правой кнопкой мыши и выбора расширенного редактора для существующего запроса).

После вставки вы можете получить сообщение о локальном шлюзе данных (в случае, если вы используете локальный источник данных в своем скрипте);

Вот какое сообщение вы увидите: для подключения требуется локальный шлюз данных.

Затем выберите шлюз:

и нажмите ОК. Если настройка вашего шлюза в порядке, вы сможете перейти к следующему шагу. Шлюз — это еще один компонент, необходимый в наборе инструментов Power BI, если вы подключаетесь из службы Power BI к локальным источникам данных.

В зависимости от того, использовали ли вы этот шаг раньше или нет, вы можете получить сообщение об изменении учетных данных;

Сообщение: Пожалуйста, укажите, как подключиться.

В зависимости от источника данных, который вы используете, установите учетные данные для доступа к нему, а затем подключитесь.

Затем вы должны увидеть данные, загруженные в графический редактор Power Query в потоке данных.

Затем вы можете нажать Close и Save, и Save your dataflow:

Несколько заметок для перемещения ваших запросов

Если вы перемещаете свои запросы из Power Query в Power BI Desktop на Power Query в потоке данных, вам нужно учесть несколько замечаний, давайте поговорим о них здесь:

  • Может понадобиться шлюз
  • Вам может потребоваться переместить более одного запроса, чтобы переместить процесс преобразования.
  • Если у вас есть запросы, исходящие друг от друга, вы можете в итоге создать Computed Entity

Может понадобиться шлюз

В Power BI Desktop, а также в Power Query в Power BI Desktop вам не нужен шлюз для подключения к источникам данных локального домена (или к тому, что мы называем on-premises). Вы просто подключаетесь к нему напрямую. Однако Dataflow — это сервисная функция, и для подключения к локальному источнику данных требуется настройка шлюза. Если вы получаете данные из онлайн-источника данных, такого как Google Analytics или база данных SQL Azure, вам не нужен шлюз. Однако, если вы получаете данные из локального источника данных, вам необходимо настроить шлюз, а затем выбрать его в потоке данных, как мы делали на предыдущем шаге.

Вам может потребоваться переместить более одного запроса, чтобы переместить процесс преобразования

Иногда в Power Query вы комбинируете таблицы друг с другом, используя Merge или Append. В таких сценариях вам необходимо убедиться, что вы также включили все необходимые таблицы в поток данных. Сценарий не может быть запущен, если все относящиеся к нему запросы не находятся в одном и том же процессе.

Если у вас есть запросы, исходящие друг от друга, вы можете в итоге создать Computed Entity

Если у вас есть сценарий, такой как упомянутый выше, с использованием Merge или Append, или любые другие сценарии, использующие выходные данные одного запроса в другом запросе, вы можете в конечном итоге создать вычисляемый объект в потоке данных. Вычисляемые объекты генерируются, когда вы исходите из другого запроса, и сам этот запрос также устанавливается как “Enable Load”. Computed Entity является концепцией только для потока данных и не существует в Power Query в Power BI Desktop.

Создание вычисляемых объектов полезно для повышения производительности, поскольку оно будет выполнять преобразования шаг за шагом, используя результаты предыдущих преобразований, которые загружаются как выходные данные другого запроса в хранилище озера данных Azure. Однако Computed Entity — это функция Power BI Premium только для пользователей, и если у вас нет премиум-лицензии, вам может быть сложно перенести преобразования в поток данных.

Расписание потока данных для обновления

После создания потока данных и его сохранения. Теперь вы можете настроить его обновление с помощью Schedule Refresh:

Читайте также:  Влияние иммуносупрессивной терапии во время беременности на состояние иммунной системы матери и новорожденного

Получить данные из потока данных с помощью Power BI Desktop

В качестве последнего шага этого примера необходимо получить данные из потока данных с помощью Power BI Desktop. Выполняя этот процесс таким образом, вы получаете данные, которые уже преобразованы и хранятся в хранилище данных Azure потоков данных Power BI. Начните с получения данных из потоков данных Power BI;

После входа в поток данных с использованием учетной записи Power BI вы можете выбрать рабочую область, в которой содержится поток данных, затем в разделе потока данных выбрать нужный объект или объекты и затем загрузить.

Теперь посмотрим, сколько времени потребуется для обновления этого нового файла Power BI. Вот пример длины обновления этого файла;

Сделайте расчеты, чтобы увидеть, насколько быстрее это по сравнению с 5-минутным временем обновления, которое вы видели в начале этого примера. Это показало бы еще большую эффективность, если бы оно применялось в сценариях обновления данных, выполнение которых занимает часы.

Резюме

Из этой статьи вы узнали, что вы можете перемещать преобразования Power Query в потоки данных Power BI, а не сам файл PBIX, чтобы ускорить время обновления. Метод, который вы изучили в этой статье, ускоряет время обновления, но не ускоряет процесс преобразования Power Query! Используя этот метод, мы просто перемещаем тяжелую часть обновления набора данных Power BI, предназначенную для тяжелых преобразований Power Query, в отдельный процесс в службе Power BI, Dataflow. Преобразование Power Query все еще занимает много времени. Однако теперь оно не зависит от вашего набора данных. Вы можете запланировать этот процесс отдельно. Другими словами:

Используя поток данных, вы можете отделить тяжелые преобразования в процессе ETL (извлечение, преобразование, загрузка) от обновления набора данных Power BI

Надеемся, что этот метод поможет вам сократить время обновления набора данных.

Источник

Power bi обновить только одну таблицу

Параметр «Обновить» является базовой функцией в Power BI. У инструмента есть Обновить сейчас и Запланировать обновление как доступные опции. Вы можете использовать Обновить сейчас, чтобы выполнить обновление вручную в Power Bi Desktop. Кроме того, вы можете запланировать обновление в несколько простых шагов.

Тем не менее, обновление данных в Power Bi не так очевидно с первого взгляда, как сказал один из пользователей:

Я создал несколько отчетов с помощью рабочего стола Power BI и опубликовал их в виде веб-страницы из службы Power BI. Мой источник — SharePoint. Я хочу запланировать обновление данных Power BI из исходного SharePoint каждые 2 часа. Как этого добиться?

Итак, мы знаем, что ОП хочет обновлять данные Power Bi из источника SharePoint раз в два часа. Вот как это сделать.

Действия по обновлению данных в Power BI

1. Настройте учетные данные

Прежде всего вам необходимо настроить учетные данные для источников данных, используемых в отчете Power Bi.

  1. На сервере отчетов Power BI щелкните правой кнопкой мыши отчеты Power BI.
  2. Выберите Управление .

  • Выберите вкладку Источники данных .
  • Выберите тип аутентификации, который будет использоваться при подключении к этому источнику данных.
  • Введите соответствующие учетные данные.
  • 2. Создайте план для обновления расписания

    1. Щелкните правой кнопкой мыши отчеты Power BI .
    2. Выберите Управление .
    3. Выберите вкладку « Обновление по расписанию ».
    4. Выберите Новый план обновления по расписанию .

    Напишите описание и установите время, когда вы хотите обновить модель данных, а затем нажмите « Создать запланированный план обновления» .

    Узнайте больше о Power BI Desktop из нашего подробного руководства!

    3. Используйте кнопку «Обновить вручную» из дома в Power BI Desktop.

    Это довольно просто, но вы можете обновить свои данные только один раз.

    1. Откройте Power BI Desktop.
    2. Загрузите файл, который вы хотите обновить.
    3. Нажмите кнопку Обновить на домашней ленте.

    Заключение

    Обновление данных в Power BI — очень полезная функция, особенно обновление по расписанию. Обычно люди, работающие с этим инструментом, используют динамические наборы данных, и физически невозможно обновить их вручную.

    Читайте также:  2 Бронзовый век 3 500 1 300 гг до н э

    Вы нашли методы полезными? Дайте нам знать в комментариях ниже!

    Источник

    

    Интеграция с Power BI: Как настроить автообновление данных

    Автообновление работает только в веб-версии PowerBI (https://app.powerbi.com).

    2. Перейдите в Вашу рабочую область, найдите в списке необходимый набор данных, нажмите возле него на пункт с тремя точками и в открывшемся контекстном меню выберите пункт «Параметры»

    3. Раскройте пункт «Запланированное обновление», переключите на «Вкл.» пункт «Поддерживать актуальность данных», настройте периодичность, часовой пояс, время, кому отправлять отчеты об ошибках и нажмите на «Применить». Если система не даст применить изменения — проверьте, указали ли Вы в каждом пункте времени утро/вечер и в рабочем ли домене находятся адреса электронной почты получатели отчетов об ошибках.

    Если данные не обновились, следуйте этой инструкции

    » d=»M2,8.59h3.2a1.51,1.51,0,0,0,0-3H2a1.51,1.51,0,0,0,0,3Z» transform=»translate(-0.5 -0.5)»/>

    » d=»M2,17.68h3.2a1.52,1.52,0,0,0,0-3H2a1.52,1.52,0,0,0,0,3Z» transform=»translate(-0.5 -0.5)»/>

    » d=»M6.72,25.25a1.51,1.51,0,0,0-1.51-1.52H2a1.52,1.52,0,0,0,0,3h3.2A1.51,1.51,0,0,0,6.72,25.25Z» transform=»translate(-0.5 -0.5)»/>

    » d=»M29.33,9.48H27.47v4.66h1.86A1.16,1.16,0,0,0,30.5,13V10.65A1.17,1.17,0,0,0,29.33,9.48Z» transform=»translate(-0.5 -0.5)»/>

    » d=»M29.33,16.32H27.47V21h1.86a1.17,1.17,0,0,0,1.17-1.17V17.49A1.17,1.17,0,0,0,29.33,16.32Z» transform=»translate(-0.5 -0.5)»/>

    » d=»M29.33,23.17H27.47v4.66h1.86a1.16,1.16,0,0,0,1.17-1.16V24.33A1.16,1.16,0,0,0,29.33,23.17Z» transform=»translate(-0.5 -0.5)»/>

    Источник

    Как быстро начать работать с Power BI: руководство

    Power BI — это инструмент бизнес-аналитики, который позволяет визуализировать данные. Маркетологи и специалисты по платному трафику чаще всего используют Power BI для создания интерактивных отчетов по интернет-рекламе, которыми можно поделиться с коллегами или клиентами.

    Попробуйте отчеты BI от eLama

    Они собирают статистику из систем рекламы и аналитики и загружают ee в Google Data Studio и Microsoft Power BI. Данные сразу преобразуются в интерактивные графики и диаграммы и автоматически обновляются.

    Но есть одна сложность: стандартными инструментами нельзя загрузить данные из рекламных и аналитических систем в Power BI. Существуют кастомные коннекторы, которые помогут корректно подключить источники данных к Power BI, но они не построят за вас модель данных.

    Поэтому возникает необходимость в специальных сервисах, которые помогают с выгрузкой данных в Power BI и построением модели данных. Один из таких инструментов есть у eLama — отчеты BI. Он автоматически собирает данные из рекламных и аналитических систем, связывает их между собой и представляет вам в виде интерактивного отчета.

    В этом материале мы расскажем, как с помощью отчетов BI быстро начать работать с Power BI.

    Установка и настройка Power BI

    Зарегистрируйтесь в Power BI и бесплатно скачайте Power BI Desktop. При регистрации нужно указать корпоративную почту, личная не подойдет.

    После регистрации можно начать работу непосредственно с отчетом в Power BI. Чтобы выбрать источники данных и создать отчет, воспользуйтесь инструкцией. После этого откройте шаблон отчета Power BI и зайдите в свою учетную запись. Кнопка «Войти» находится в правом верхнем углу. Введите почту и пароль, который вы указали при регистрации.

    Установить и запустить Power BI можно за 3-4 минуты. Отчет в Power BI готов к работе.

    Как пользоваться Power BI

    После запуска Power BI появится основное окно. Для начала достаточно научиться ориентироваться в рабочих областях. Кратко опишу, что где находится и для чего предназначено.

    Кнопки «Изменить запросы» и «Обновить» в верхнем меню. Кнопка «Изменить запросы» позволяет перейти к редактору запросов (рассмотрим далее) и изменить источник данных (например, авторизоваться под другим логином, если вы строите отчет для нескольких клиентов).

    С помощью кнопки «Обновить» можно обновить данные в отчете.

    Фильтры на уровне страницы и на уровне всего отчета позволяют выводить в отчет нужные данные. Например, данные по конкретным кампаниям. Фильтров два — простой и расширенный. Простой фильтр работает по принципу поиска (вводите слово, и он находит всё, что содержит это слово). Расширенный позволяет задавать условия (например «содержит» и «не содержит»). Чтобы добавить фильтр, нужно взять поле с необходимым параметром (например, campaign_name или source_name) и перенести его (зажав правой кнопкой мыши) в фильтр. При выборе фильтра данные в отчете сразу же будут меняться:

    Источник