Curso PySpark: de la teoría al desarrollo real con Spark del centro TrainingIT

Descripción

A través de este curso te guiaremos en el uso profesional de Apache Spark con Python. Durante la formación vas a aprender a procesar datos a gran escala desde 0, montando entornos en local o con Databricks Community, trabajando con notebooks, cargando y transformando datos con DataFrames y generando pipelines ETL listos para producción. 

A quién va dirigido

• Este programa formativo es ideal para quienes trabajan con Python y SQL y quieren dar el salto a un entorno distribuido.
• También es perfecto para analistas, data engineers y científicos de datos que buscan entregar resultados escalables y construir soluciones reales desde cero.

Objetivos

1. Montar entornos en local o con Databricks Community.
2. Trabajar con notebooks para estructurar proyectos de datos.
3. Transformar datos con DataFrames y operaciones ETL.
4. Aplicar optimización con caché, persistencia, broadcast joins y compresión.
5. Usar Spark SQL con funciones de ventana, joins avanzados y UDFs.
6. Construir pipelines listos para producción.

Temario

1.Manos a la obra: tu primer pipeline

1.1 Introducción a PySpark

1.2 Preparar entorno: PySpark local vs Databricks Free

1.3 Primer DataFrame: leer CSV y primeras transformaciones

1.4 Ejercicio Práctico

1.5 Transformaciones vs acciones: limpiar datos y conteos

1.6 Guardar en Parquet y particionar

1.7 Mini-lab: pipeline ETL corto

Test de conocimientos Tema 1

2.Core API: DataFrames, SQL y funciones

2.1 RDD vs DataFrame vs Dataset — cuándo usar cada uno

2.2 DataFrame API: select, filter, agg, joins básicos

2.3 Joins avanzados, tipos y cómo elegirlos

2.4 Window functions y agregaciones por ventana

2.5 UDFs y Pandas UDFs (vectorized)

2.6 Spark SQL y Temp Views

2.7 Lab práctico: reporte agregado con ventanas

Test de conocimientos Tema 2

3.Rendimiento y optimización

3.1 Particionamiento físico y tamaño de archivos

3.2 Caché, persistencia y gestión de memoria

3.3 Joins a escala: broadcast y shuffle

3.4 Formatos columnares, compresión y AQE

Test de conocimientos Tema 3

Titulación obtenida

Concluida la formación se hará entrega a cada uno de los estudiantes de un certificado de aprovechamiento.

Requisitos

Para la realización del curso no es necesario tener experiencia con Spark.

Información Adicional

Precio: 187,50 €

Si vienes de Empresa, puedes bonificar hasta el 100% del curso con el crédito FUNDAE