Real Time Analytics: Datos transaccionales en nuestro lago de datos!

 
Spanish Advanced DATA & AI

El objetivo de la sesión es explicar las diferentes maneras de integrar en tiempo real orígenes de datos transaccionales en nuestros lagos de datos, realizando para ello una demo en la que ingestar los datos de nuestros sistemas transaccionales sin impactar en ellos y con escenarios de alta disponibilidad. Para la demo de la sesión, se realizará la ingesta de datos de un origen transaccional (SQL/Oracle) con un CDC de código abierto (Debezium) montado sobre AKS que detectará los cambios y generará una cola kafka; las colas serán consumidas por Azure Databricks con Streaming Analytics y para finalmente almacenar el dato en tablas de DeltaLake. Las principales tecnologías tratadas en la sesión serán: -SQL/Oracle -Debezium -Kafka -AKS -DataBricks -DeltaLake

Speaker

Daniel Andrés del Castillo-Olivares

Data & Analytics Manager

Trabajando en el mundo del dato y Azure desde 2015, he participado en proyectos orientados a la explotación del dato en empresas ubicadas en Europa, Oriente Medio o Latino América; en los sectores de banca, seguros, industria, retail, salud, ONGs o infraestructura; lo que me ha permitido tener una visión global y saber identificar las necesidades comunes de la mayoría de empresas/sectores. Los proyectos en los que he participado cubren todo el espectro del ciclo del dato, desde la definición de la arquitectura o los procesos de ingesta hasta desarrollo de algoritmos de ML o frontales para la visualización. Actualmente soy Manager de Data & Analytics en myCloudDoor, liderando la práctica del dato en dicha empresa.

Code of Conduct

We seek to provide a respectful, friendly, professional experience for everyone, regardless of gender, sexual orientation, physical appearance, disability, age, race or religion. We do not tolerate any behavior that is harassing or degrading to any individual, in any form. The Code of Conduct will be enforced.

Who does this Code of Conduct apply to?

All live stream organizers using the Global Azure brand and Global Azure speakers are responsible for knowing and abiding by these standards. Each speaker who wishes to submit through our Call for Presentations needs to read and accept the Code of Conduct. We encourage every organizer and attendee to assist in creating a welcoming and safe environment. Live stream organizers are required to inform and enforce the Code of Conduct if they accept community content to their stream.

Where can I get help?

If you are being harassed, notice that someone else is being harassed, or have any other concerns, report it. Please report any concerns, suspicious or disruptive activity or behavior directly to any of the live stream organizers, or directly to the Global Azure admins at team@globalazure.net. All reports to the Global admin team will remain confidential.

Code of Conduct for local live streams

We expect local organizers to set up and enforce a Code of Conduct for all Global Azure live stream.

A good template can be found at https://confcodeofconduct.com/, including internationalized versions at https://github.com/confcodeofconduct/confcodeofconduct.com. An excellent version of a Code of Conduct, not a template, is built by the DDD Europe conference at https://dddeurope.com/2020/coc/.