Este libro está dirigido a estudiantes, desarrolladores, ingenieros de datos, científicos de datos y profesionales de tecnología que buscan dominar Apache Spark en la práctica, tanto en entornos corporativos como en la nube pública y en integraciones modernas. Aprenderá a construir pipelines escalables para el procesamiento de datos a gran escala, orquestando cargas de trabajo distribuidas con AWS EMR, Databricks, Azure Synapse y Google Cloud Dataproc.
El contenido abarca integración con Hadoop, Hive, Kafka, SQL, Delta Lake, MongoDB y Python, además de técnicas avanzadas de tuning, optimización de jobs, análisis en tiempo real, machine learning con MLlib y automatización de workflows.
Incluye:
• Implementación de pipelines ETL y ELT con Spark SQL y DataFrames
• Procesamiento de datos en streaming e integración con Kafka y AWS Kinesis
• Optimización de jobs distribuidos, tuning de performance y uso de Spark UI
• Integración de Spark con S3, Data Lake, NoSQL y bases de datos relacionales
• Deploy en clusters gestionados en AWS, Azure y Google Cloud
• Machine Learning aplicado con MLlib, Delta Lake y Databricks
• Automatización de rutinas, monitoreo y escalabilidad para Big Data
Al final, dominará Apache Spark como solución profesional para análisis de datos, automatización de procesos y machine learning en entornos complejos y de alto rendimiento.
apache spark, big data, pipelines, procesamiento distribuido, aws emr, databricks, streaming, etl, machine learning, integración cloud, Google Data Engineer, AWS Data Analytics, Azure Data Engineer, Big Data Engineer, MLOps, DataOps Professional
Diego Rodrigues
Autor Técnico e Investigador Independiente
ORCIDE: https://orcid.org/0009-0006-
StudioD21 Smart Tech Content & Intell Systems
E-mail: studiod21portoalegre@gmail.com
LinkedIn: linkedin.com/in/diegoexpertai
Autor técnico internacional (tech writer) con enfoque en la producción estructurada de conocimiento aplicado. Es fundador de StudioD21 Smart Tech Content & Intell Systems, donde lidera la creación de frameworks inteligentes y la publicación de libros técnicos didácticos y con soporte de inteligencia artificial, como las series Kali Linux Extreme, SMARTBOOKS D21, entre otras.
Poseedor de 42 certificaciones internacionales emitidas por instituciones como IBM, Google, Microsoft, AWS, Cisco, META, Ec-Council, Palo Alto y la Universidad de Boston, actúa en los campos de Inteligencia Artificial, Machine Learning, Data Science, Big Data, Blockchain, Tecnologías de Conectividad, Ethical Hacking y Threat Intelligence.
Desde 2003 ha desarrollado más de 200 proyectos técnicos para marcas en Brasil, EE. UU. y México. En 2024 se consolidó como uno de los mayores autores de libros técnicos de la nueva generación, con más de 180 títulos publicados en seis idiomas. Su trabajo se basa en su propio protocolo de escritura técnica aplicada TECHWRITE 2.3, orientado a la escalabilidad, precisión conceptual y aplicabilidad práctica en entornos profesionales.