Data Engineer (m/w/d)

### Ihre Aufgaben

Als Data Engineer bist du verantwortlich für den Aufbau, die Weiterentwicklung und den zuverlässigen Betrieb moderner Datenplattformen und Datenpipelines. Du stellst sicher, dass Daten aus unterschiedlichen Quellen effizient integriert, verarbeitet, gespeichert und für Analytics, Reporting, Machine Learning und operative Anwendungen bereitgestellt werden.

Dabei arbeitest du eng mit Data Analysts, Data Scientists, Software Engineers, IT sowie den Fachbereichen zusammen.

**Deine Aufgaben**

- Entwicklung und Betrieb skalierbarer **ETL-/ELT-Datenpipelines**

- Anbindung und Integration von Daten aus unterschiedlichen Quellen wie Datenbanken, APIs, Files und Cloud-Systemen

- Aufbau und Weiterentwicklung von **Data Warehouses, Data Lakes und Lakehouse-Architekturen**

- Transformation, Bereinigung und Validierung großer Datenmengen

- Sicherstellung von **Datenqualität, Datenkonsistenz und Datenverfügbarkeit**

- Entwicklung und Optimierung von Datenmodellen für Reporting und Analytics

- Automatisierung von Datenprozessen und Workflows

- Überwachung und Optimierung bestehender Datenpipelines hinsichtlich Performance, Stabilität und Kosten

- Implementierung von Monitoring-, Logging- und Alerting-Lösungen

- Umsetzung von Anforderungen an **Datenschutz, Sicherheit und Governance**

- Dokumentation von Datenflüssen, Schnittstellen und technischen Lösungen

- Zusammenarbeit mit Data Analysts und Data Scientists bei der Bereitstellung geeigneter Daten

- Unterstützung bei der Entwicklung einer modernen und skalierbaren **Data Platform**

### Ihr Profil

**Technische Anforderungen:**

**Must-have**

- Berufserfahrung im Bereich **Data Engineering, Software Engineering oder Data Platform Engineering**

- Sehr gute Kenntnisse in **SQL**

- Gute Programmierkenntnisse, vorzugsweise in **Python**

- Erfahrung mit relationalen Datenbanken und Datenmodellierung

- Erfahrung mit ETL-/ELT-Prozessen und Datenpipelines

- Verständnis für Data-Warehouse- und Data-Lake-Konzepte

- Erfahrung mit **Git** und modernen Entwicklungsprozessen

- Grundlegendes Verständnis von Cloud-Technologien

**Nice-to-have**

- Erfahrung mit **AWS, Microsoft Azure oder Google Cloud**

- Kenntnisse in **Databricks, Snowflake oder Microsoft Fabric**

- Erfahrung mit **Apache Spark**

- Kenntnisse in Orchestrierungstools wie **Apache Airflow**

- Erfahrung mit **Docker und Kubernetes**

- Kenntnisse in Infrastructure as Code, z. B. Terraform

- Erfahrung mit CI/CD und DevOps

- Kenntnisse in Streaming-Technologien wie Kafka

- Erfahrung mit Data Governance, Data Catalogs und Data Quality Tools

- Erfahrung im Aufbau von Lakehouse-Architekturen

**Persönliche Anforderungen:**

- Analytisches und strukturiertes Denkvermögen

- Hohe Eigenverantwortung und lösungsorientierte Arbeitsweise

- Interesse an modernen Daten- und Cloud-Technologien

- Fähigkeit, komplexe technische Sachverhalte verständlich zu vermitteln

- Teamfähigkeit und Freude an interdisziplinärer Zusammenarbeit

- Qualitätsbewusstsein und ein hoher Anspruch an zuverlässige Daten

- Bereitschaft, bestehende Prozesse kontinuierlich zu verbessern

**Typischer Tech-Stack**

**Programmiersprachen:**

Python, SQL

**Cloud:**

Azure / AWS / Google Cloud

**Data Platform:**

Databricks / Snowflake / Microsoft Fabric

**Datenbanken:**

PostgreSQL / SQL Server / Oracle

**Data Engineering:**

Apache Spark / Airflow / dbt

**DevOps:**

Git / Docker / CI/CD / Terraform

**Monitoring:**

Azure Monitor / Grafana / Prometheus

**Erfolgskennzahlen der Position**

Der Erfolg in der Position zeigt sich insbesondere durch:

- stabile und zuverlässige Datenpipelines

- hohe Datenqualität und Datenverfügbarkeit

- kurze Verarbeitungs- und Bereitstellungszeiten

- skalierbare und kosteneffiziente Datenarchitekturen

- hoher Automatisierungsgrad

- nachvollziehbare und dokumentierte Datenflüsse

- Zufriedenheit der internen Data- und Business-Teams

**Ausbildung**

Abgeschlossenes Studium oder vergleichbare Qualifikation in beispielsweise:

- Informatik

- Wirtschaftsinformatik

- Data Science

- Mathematik

- Statistik

- Elektrotechnik

- oder einem vergleichbaren technischen bzw. analytischen Fachgebiet

Auch Quereinsteiger mit entsprechender praktischer Erfahrung und nachweisbaren technischen Kompetenzen sind willkommen.