DP-203 – Data Engineering on Microsoft Azure

Data Engineering on Microsoft Azure

W ramach tego kursu studenci zapoznają się z wzorcami i praktykami inżynierii danych w kontekście pracy z rozwiązaniami analitycznymi działającymi w trybie wsadowym i w czasie rzeczywistym z wykorzystaniem technologii platformy danych Azure. Studenci zaczną od zrozumienia podstawowych technologii obliczeniowych i pamięci masowej wykorzystywanych do tworzenia rozwiązań analitycznych. Następnie zapoznają się z projektowaniem warstw analitycznych i skupią się na kwestiach inżynierii danych związanych z pracą z plikami źródłowymi. Studenci dowiedzą się, jak interaktywnie przeglądać dane przechowywane w plikach w jeziorze danych. Poznają różne techniki pozyskiwania danych, które można wykorzystać do ładowania danych przy użyciu funkcji Apache Spark dostępnej w Azure Synapse Analytics lub Azure Databricks, a także sposoby pozyskiwania danych przy użyciu Azure Data Factory lub potoków Azure Synapse. Studenci poznają również różne sposoby przekształcania danych przy użyciu tych samych technologii, które są wykorzystywane do ich pozyskiwania. Uczestnicy kursu poświęcą czas na naukę monitorowania i analizowania wydajności systemu analitycznego, aby móc zoptymalizować wydajność ładowania danych lub zapytań wysyłanych do systemów. Zrozumieją znaczenie wdrażania zabezpieczeń w celu zapewnienia ochrony danych podczas przechowywania lub przesyłania. Następnie uczestnicy pokażą, w jaki sposób dane w systemie analitycznym mogą być wykorzystane do tworzenia pulpitów nawigacyjnych lub budowania modeli predykcyjnych w Azure Synapse Analytics.

Kod szkolenia

DP-203

Czas trwania

4 dni

Poziom

Średni

Cena

4000 zł

Dla kogo?

Głównymi odbiorcami tego kursu są specjaliści ds. danych, architekci danych i specjaliści ds. analizy biznesowej, którzy chcą zdobyć wiedzę na temat inżynierii danych i tworzenia rozwiązań analitycznych przy użyciu technologii platformy danych dostępnych w Microsoft Azure. Drugą grupą odbiorców tego kursu są analitycy danych i naukowcy zajmujący się danymi, którzy pracują z rozwiązaniami analitycznymi opartymi na Microsoft Azure.

Zdobyte umiejętności

Poznaj opcje obliczeniowe i pamięci masowej dla obciążeń związanych z inżynierią danych w Azure
Projektowanie i wdrażanie warstwy obsługi
Poznaj kwestie związane z inżynierią danych
Uruchamiaj interaktywne zapytania przy użyciu bezserwerowych pul SQL
Przeglądaj, przekształcaj i ładuj dane do hurtowni danych przy użyciu Apache Spark
Przeprowadź eksplorację i transformację danych w Azure Databricks
Pobieranie i ładowanie danych do hurtowni danych
Przekształcaj dane za pomocą Azure Data Factory lub Azure Synapse Pipelines
Zintegruj dane z notebooków za pomocą Azure Data Factory lub Azure Synapse Pipelines
Optymalizuj wydajność zapytań za pomocą dedykowanych pul SQL w Azure Synapse
Analizuj i optymalizuj pamięć masową hurtowni danych
Obsługa hybrydowego przetwarzania transakcyjnego i analitycznego (HTAP) za pomocą Azure Synapse Link
Zapewnij kompleksowe bezpieczeństwo dzięki Azure Synapse Analytics
Przetwarzanie strumieniowe w czasie rzeczywistym za pomocą usługi Stream Analytics
Twórz rozwiązania do przetwarzania strumieniowego za pomocą usług Event Hubs i Azure Databricks
Twórz raporty przy użyciu integracji Power BI z Azure Synapse Analytics
Zastosuj zintegrowane procesy uczenia maszynowego w Azure Synapse Analytics

Wymagania wstępne

Studenci, którzy pomyślnie ukończą ten kurs, posiadają wiedzę na temat przetwarzania w chmurze i podstawowych pojęć związanych z danymi oraz doświadczenie zawodowe w zakresie rozwiązań dotyczących danych.
W szczególności ukończenie:

Zakres szkolenia

Moduł 1: Poznaj opcje obliczeniowe i pamięci masowej dla obciążeń związanych z inżynierią danych

Wprowadzenie do usługi Azure Synapse Analytics
Opis usługi Azure Databricks
Wprowadzenie do magazynu Azure Data Lake
Opis architektury Delta Lake
Praca ze strumieniami danych przy użyciu usługi Azure Stream Analytics
Laboratorium: Zapoznanie się z opcjami obliczeniowymi i pamięci masowej dla obciążeń związanych z inżynierią danych

Moduł 2: Projektowanie i wdrażanie warstwy serwowania

Zaprojektuj wielowymiarowy schemat w celu optymalizacji obciążeń analitycznych
Transformacja bez kodowania na dużą skalę za pomocą usługi Azure Data Factory
Wypełnianie powoli zmieniających się wymiarów w potokach Azure Synapse Analytics
Laboratorium: Projektowanie i wdrażanie warstwy obsługi

Moduł 3: Kwestie związane z inżynierią danych dotyczące plików źródłowych

Zaprojektuj nowoczesną hurtownię danych przy użyciu usługi Azure Synapse Analytics
Zabezpiecz magazyn danych w Azure Synapse Analytics
Ćwiczenie: Kwestie związane z inżynierią danych

Moduł 4: Uruchamianie interaktywnych zapytań przy użyciu bezserwerowych pul SQL usługi Azure Synapse Analytics

Poznaj możliwości bezserwerowych pul SQL Azure Synapse
Wysyłanie zapytań do danych w jeziorze danych przy użyciu bezserwerowych pul SQL usługi Azure Synapse
Tworzenie obiektów metadanych w bezserwerowych pulach SQL platformy Azure Synapse
Zabezpiecz dane i zarządzaj użytkownikami w bezserwerowych pulach SQL Azure Synapse
Laboratorium: Uruchamianie interaktywnych zapytań przy użyciu bezserwerowych pul SQL

Moduł 5: Przeglądaj, przekształcaj i ładuj dane do hurtowni danych przy użyciu Apache Spark

Zrozumienie inżynierii dużych zbiorów danych za pomocą Apache Spark w Azure Synapse Analytics
Pobieranie danych za pomocą notebooków Apache Spark w Azure Synapse Analytics
Przekształcanie danych za pomocą ram danych w pulach Apache Spark w usłudze Azure Synapse Analytics
Zintegruj pule SQL i Apache Spark w Azure Synapse Analytics
Laboratorium: Eksploracja, przekształcanie i ładowanie danych do hurtowni danych przy użyciu Apache Spark

Moduł 6: Eksploracja i przekształcanie danych w Azure Databricks

Opisz usługę Azure Databricks
Odczytywanie i zapisywanie danych w Azure Databricks
Praca z ramkami danych w Azure Databricks
Praca z zaawansowanymi metodami DataFrames w Azure Databricks
Laboratorium: Eksploracja i transformacja danych w Azure Databricks

Moduł 7: Pobieranie i ładowanie danych do hurtowni danych

Korzystanie z najlepszych praktyk ładowania danych w Azure Synapse Analytics
Pobieranie danych w skali petabajtów za pomocą usługi Azure Data Factory
Laboratorium: Pobieranie i ładowanie danych do hurtowni danych

Moduł 8: Przekształcanie danych za pomocą Azure Data Factory lub Azure Synapse Pipelines

Integracja danych za pomocą usługi Azure Data Factory lub Azure Synapse Pipelines
Przekształcanie na dużą skalę bez kodowania za pomocą Azure Data Factory lub Azure Synapse Pipelines
Laboratorium: Przekształcanie danych za pomocą usługi Azure Data Factory lub Azure Synapse Pipelines

Moduł 9: Koordynowanie przenoszenia i przekształcania danych w Azure Synapse Pipelines

Koordynowanie przenoszenia i transformacji danych w usłudze Azure Data Factory
Laboratorium: Koordynowanie przenoszenia i transformacji danych w Azure Synapse Pipelines

Moduł 10: Optymalizowanie wydajności zapytań za pomocą dedykowanych pul SQL w usłudze Azure Synapse

Optymalizacja wydajności zapytań do hurtowni danych w Azure Synapse Analytics
Poznanie funkcji Azure Synapse Analytics dla programistów hurtowni danych
Laboratorium: Optymalizacja wydajności zapytań za pomocą dedykowanych pul SQL w usłudze Azure Synapse

Moduł 11: Analizowanie i optymalizacja pamięci masowej hurtowni danych

Analizowanie i optymalizowanie pamięci masowej hurtowni danych w usłudze Azure Synapse Analytics
Laboratorium: Analiza i optymalizacja pamięci masowej hurtowni danych

Moduł 12: Obsługa hybrydowego przetwarzania transakcyjnego i analitycznego (HTAP) za pomocą Azure Synapse Link

Projektowanie hybrydowego przetwarzania transakcyjnego i analitycznego przy użyciu usługi Azure Synapse Analytics
Konfiguracja usługi Azure Synapse Link z usługą Azure Cosmos DB
Wysyłanie zapytań do Azure Cosmos DB za pomocą pul Apache Spark
Wysyłanie zapytań do Azure Cosmos DB za pomocą bezserwerowych pul SQL
Laboratorium: Obsługa hybrydowego przetwarzania transakcyjnego i analitycznego (HTAP) za pomocą Azure Synapse Link

Moduł 13: Kompleksowe zabezpieczenia za pomocą usługi Azure Synapse Analytics

Zabezpiecz magazyn danych w Azure Synapse Analytics
Konfigurowanie i zarządzanie sekretami w usłudze Azure Key Vault
Wdrażanie kontroli zgodności dla danych wrażliwych
Laboratorium: Kompleksowe zabezpieczenia dzięki usłudze Azure Synapse Analytics

Moduł 14: Przetwarzanie strumieniowe w czasie rzeczywistym za pomocą usługi Stream Analytics

Włącz niezawodną komunikację dla aplikacji Big Data przy użyciu usługi Azure Event Hubs
Praca ze strumieniami danych przy użyciu usługi Azure Stream Analytics
Pobieranie strumieni danych za pomocą usługi Azure Stream Analytics
Laboratorium: Przetwarzanie strumieniowe w czasie rzeczywistym za pomocą usługi Stream Analytics

Moduł 15: Tworzenie rozwiązania do przetwarzania strumieniowego za pomocą usługi Event Hubs i platformy Azure Databricks

Przetwarzanie danych strumieniowych za pomocą strukturalnego przesyłania strumieniowego Azure Databricks
Laboratorium: Tworzenie rozwiązania do przetwarzania strumieniowego przy użyciu usług Event Hubs i Azure Databricks

Moduł 16: Tworzenie raportów przy użyciu integracji Power BI z Azure Synapse Analytics

Tworzenie raportów za pomocą Power BI przy użyciu integracji z Azure Synapse Analytics
Ćwiczenie: Tworzenie raportów przy użyciu integracji Power BI z Azure Synapse Analytics

Moduł 17: Wykonywanie zintegrowanych procesów uczenia maszynowego w usłudze Azure Synapse Analytics

Korzystanie ze zintegrowanego procesu uczenia maszynowego w Azure Synapse Analytics
Ćwiczenie: Wykonywanie zintegrowanych procesów uczenia maszynowego w Azure Synapse Analytics

Zapytaj o termin i wycenę

To szkolenie realizujemy na zamówienie. Daj nam znać, a dopasujemy termin i formę (online / stacjonarnie),

Odpowiedź z propozycją terminu do 24 godzin

Bez zobowiązań – samo zapytanie niczego nie rezerwuje

Możliwość realizacji tylko dla Twojego zespołu