Curso PySpark y Databricks para Ingenieros de Datos del centro TrainingIT

Descripción

Por medio de esta formación aprenderás a dominar el entorno de trabajo con Spark y Databricks. Aprenderás desde los fundamentos hasta casos reales de uso, construyendo pipelines, optimizando transformaciones y aplicando arquitecturas modernas como la medallón (bronze-silver-gold).

A quién va dirigido

Este programa formativo es ideal para profesionales que estén interesados en especializarse en el desarrollo de pipelines de datos y en la gestión de infraestructuras modernas basadas en cloud, aplicando buenas prácticas y patrones utilizados en entornos profesionales.

Objetivos

• Diseñar pipelines ETL básicos aplicando buenas prácticas.
• Aplicar optimización con particionado, broadcast, caché y formatos columnares.
• Integrar Databricks con Azure Data Lake Storage y Key Vault.
• Usar herramientas como Storage Explorer, SQL Warehouses y Unity Catalog.
• Comprender arquitectura medallón, time travel y versionado en Delta Lake.

Temario

DATABRICKS

1.Presentación

1.1 Presentación

2.Suscripción de Azure

2.1 Creación de cuenta gratuita de Azure (opcional)

2.2 Introducción al portal de Azure

3.Introducción a Databricks

3.1 Introducción a Databricks

3.2 Primeros pasos con Databricks

3.3 Usando la interfaz gráfica

3.4 Arquitectura de Databricks

4.Cómputo en Databricks

4.1 Tipos de Clusters

4.2 Creando un Cluster

4.3 Configuración del Cluster

4.4 Dimensionamiento de Clusters

4.5 Gestión básica del cluster

4.6 Gestión de costes

4.7 Cluster Pools

4.8 Cluster Policy

4.9 SQL Warehouses

Test de conocimientos I

5.Notebooks en Databricks

5.1 Introducción a los Notebooks

5.2 Comandos especiales en Notebooks

5.3 Utilidades de Notebooks

6.Accediendo a Azure Data Lake Storage desde Databricks

6.1 Introducción a Azure Data Lake Storage

6.2 Azure Storage Explorer

6.3 Acceso a ADLS desde Databricks con Account Key

6.4 Acceso a ADLS desde Databricks con SAS Token

6.5 Acceso a ADLS desde Databricks con Service Principal

7.Securización de Accesos

7.1 Autenticación en Clusters

7.2 Securización de secretos

7.3 Azure Key Vault y Secret Scope

7.4 Cluster Scoped Secrets

8.DBFS y Montaje de Storage

8.1 Introducción a DBFS

8.2 Montaje de Storage en Databricks

9.Delta Lake

9.1 Data Lakes y Data Warehouses

9.2 Delta Lake y Data Lakehouse

9.3 Escribiendo y leyendo Delta Lake

9.4 Trabajando con Delta Lake

9.5 Time travel y versiones en Delta Lake

9.6 Transaction log en Delta Lake

9.7 Conversión de Parquet a Delta Lake

9.8 Arquitectura medallón

10.Unity Catalog

10.1 Qué es Unity Catalog

10.2 Configuración de Unity Catalog

10.3 Objetos en Unity Catalog

10.4 Creación de tablas en Unity Catalog

Test de conocimientos II

11.Despedida

Despedida

PYSPARK

1.Manos a la obra: tu primer pipeline

1.1 Introducción a PySpark

1.2 Preparar entorno: PySpark local vs Databricks Free

1.3 Primer DataFrame: leer CSV y primeras transformaciones

1.4 Ejercicio Práctico

1.5 Transformaciones vs acciones: limpiar datos y conteos

1.6 Guardar en Parquet y particionar

1.7 Mini-lab: pipeline ETL corto

Test de conocimientos Tema 1

2.Core API: DataFrames, SQL y funciones

2.1 RDD vs DataFrame vs Dataset — cuándo usar cada uno

2.2 DataFrame API: select, filter, agg, joins básicos

2.3 Joins avanzados, tipos y cómo elegirlos

2.4 Window functions y agregaciones por ventana

2.5 UDFs y Pandas UDFs (vectorized)

2.6 Spark SQL y Temp Views

2.7 Lab práctico: reporte agregado con ventanas

Test de conocimientos Tema 2

3.Rendimiento y optimización

3.1 Particionamiento físico y tamaño de archivos

3.2 Caché, persistencia y gestión de memoria

3.3 Joins a escala: broadcast y shuffle

3.4 Formatos columnares, compresión y AQE

Test de conocimientos Tema 3

Titulación obtenida

Culminada la formación el centro hará entrega de un certificado de aprovechamiento.

Requisitos

1. Conocimientos básicos de Python: sintaxis, estructuras y funciones.
2. Familiaridad con SQL: consultas simples, agrupaciones y filtros.
3. Entorno preparado con Python instalado o acceso a Databricks Community (opcional para trabajar en la nube).
4. En caso de trabajar en local, se requiere Java JDK (versión 8 u 11).
5. No es necesario haber usado Spark anteriormente: el curso está diseñado para empezar desde cero y avanzar de forma práctica.

Información Adicional

Precio: 335,00 €

Si vienes de Empresa, puedes bonificar hasta el 100% del curso con el crédito FUNDAE