Data Platform Architect (m/w/d)

Start: 01.12.2024
Dauer: 3 Monate
Auslastung: Vollzeit
Lokation: Remote & Berlin (mind. 1 Woche am Stück pro Monat vor Ort)
Projektbeschreibung:
Das EDP-Team baut eine interne Plattform für die Softwareproduktentwickler der Elia-Gruppe auf, um die Entwicklung und Bereitstellung von Softwareprodukten zur Bewältigung der großen Herausforderungen im Energiesektor zu beschleunigen. Die EDP-Plattform ist eine serviceorientierte, Cloud-native Plattform, die entwickelt wird, um Anwendungsteams mit Self-Service-Funktionen für die Entwicklung, den Betrieb und die Nutzung ihrer Softwareprodukte auszustatten. Die EDP-Plattform bietet Dienste für Anwendungsinfrastruktur, Daten, Service Lifecycle Management, Anwendungsentwicklung und -bereitstellung sowie Dienste für den Betrieb ihrer Softwareprodukte. Die EDP Platform wird als hybride Cloud eingesetzt, die sowohl private Clouds als auch ausgewählte öffentliche Clouds umfasst. Wir suchen talentierte, erfahrene und motivierte Menschen in der folgenden Position, die das EDP-Team verstärken und EDP auf die nächste Stufe bringen.
Positionsbeschreibung:
Die EDV als Plattform besteht derzeit aus sieben Produktlinien. Jede Produktlinie ist für eine Teilmenge von Produkten (oder ein Teilportfolio von Produkten) zuständig - z. B. alle Infrastrukturprodukte, alle Datenprodukte usw. Jede Produktlinie umfasst daher (neben anderen Rollen) auch ein Architekturteam, das von einem leitenden Architekten (pro Produktlinie) geleitet wird, der die Produktarchitektur aller Produkte innerhalb der Produktlinie definiert und gestaltet.

Als Data Platform Architect (m/w/d) sind Sie in der EDP Data Product Line tätig und speziell für die Architektur der bereitgestellten Dienste wie Data Catalog und Schlüsselkomponenten, Basis- und Zusatzfunktionen zur Implementierung von Datenplattformen und zur Realisierung eines Data Mesh verantwortlich. Diese Rolle ist von entscheidender Bedeutung für den Einsatz etablierter und standardisierter Datenarchitekturen in verschiedenen Anwendungsteams, die sich zu spezialisierten Data Domain Teams entwickeln werden. Als Data Platform Architect berichten Sie an den Lead Architect der Data Product Line.

Aufgaben

• Entwicklung von Datenarchitekturen/Data Mesh Capabilities
• Entwurf und Prototyping skalierbarer Datenarchitekturen, einschließlich Datenbanken, Data Lakes und Data Warehouses
• Entwurf und Prototyp einer verteilten Datenverarbeitung für Batch und Streaming

• Entwurf und Prototyping von EDV-Zusatzfunktionen zur Erleichterung und Beschleunigung der Implementierung typischer Datenarchitekturen
• Implementierung von Best Practices für die Speicherung, den Abruf und die Verarbeitung von Daten
• Vorantreiben der Einführung von Data Mesh-Prinzipien zur Förderung dezentraler Dateneigentümerschaft und -architektur
• Konzeptualisierung, Design und Implementierung von Data Mesh Proof of Concepts (PoCs) zur Validierung dezentraler Datenarchitekturen
• Entwerfen von Datenmodellen zur Unterstützung von Geschäftsanforderungen
• Enge Zusammenarbeit mit Tenant Architects, um Datenanforderungen zu verstehen und zu strukturieren
• Implementierung und Durchsetzung von Datenqualitätsstandards und Governance-Richtlinien
• Entwurf und Prototyping von Kubernetes-basierten Bereitstellungsstrategien für skalierbare, zuverlässige und verwaltbare Datentechnologien.
• Zusammenarbeit mit Service-, DevOps- und Infrastruktur-Teams zur Optimierung von Prozessen zur Bereitstellung von Datentechnologien in einer Kubernetes-Umgebung
• Dokumentation von Data Mesh-Implementierungen, PoC-Ergebnissen und Best Practices für den Wissensaustausch und künftige Referenzen
• Enge Zusammenarbeit mit dem Engineering-Team, um die ordnungsgemäße Umsetzung der definierten Architektur, die Abstimmung von Tech-Stack-Entscheidungen und die Einhaltung von Architekturstandards sicherzustellen

Profilanforderungen:

• Bachelor- oder Master-Abschluss in Informatik, Datenwissenschaft oder einem verwandten Bereich.

• 5+ Jahre allgemeine IT-Erfahrung

• Mindestens 3 Jahre Erfahrung im Bereich Big Data

• Nachgewiesene Erfahrung als Datenarchitekt oder leitender Dateningenieur mit Schwerpunkt auf der Entwicklung und Implementierung skalierbarer Datenarchitekturen.

• Umfassende Erfahrung in der Entwicklung und Pflege von Datenbanken, Data Lakes und Data Warehouses. - Tiefgehendes Verständnis von Daten (d.h. Formate, Strukturen)

• Praktische Erfahrung mit ETL-Prozessen und Datenintegration aus verschiedenen Quellen.

• Vertrautheit mit modernen Datentechnologien und Cloud-Diensten.

• Beherrschung des Entwurfs und der Implementierung von Managed Services zur Erfüllung von Geschäftsanforderungen.

• Erfahrung mit Data Mesh

• Großes Interesse daran, sich über neue Technologien im Bereich Data Engineering und Data Mesh auf dem Laufenden zu halten. - Fähigkeit zur Bewertung und Empfehlung der Einführung neuer Tools und Technologien.

• Innovative Denkweise, um Lösungen vorzuschlagen, die die Datenarchitektur des Unternehmens verbessern

• Verständnis und Erfahrung mit evolutionären Architekturen unter Berücksichtigung der Vereinfachung

• Aufgeschlossenheit und Ergebnis-/Wertorientierung

Muss-Anforderungen:

• Nachgewiesene praktische Erfahrung in der Softwareentwicklung

• Beherrschung von Datenverarbeitungssprachen wie SQL, Java, Python oder Scala
• Kenntnisse und Erfahrungen mit den Datentechnologien/Frameworks:

• RDBMS (PostgreSQL/MySql usw.)
• NoSQL-Speicher (MongoDB, Cassandra, Neo4j usw.)
• Zeitreihen (InfluxDB, OpenTSDB, TimescaleDB, Prometheus usw.) - Workflow-Orchestrierung (Dagster/AirFlow/Oozie usw.)
• Datenintegration/Ingestion (Flume usw.) .
• Nachrichtenübermittlung/Daten-Streaming (Kafka/RabbitMQ usw.)
• Datenverarbeitung (Spark, Flink usw.)
• Und/Oder mit ihren Cloud-Pendants, d.h. Cloud Data/Analytics Services (GCP, Azure, AWS)

• Kenntnisse und Erfahrungen mit Referenz-Big-Data-Architekturen (Warehouse, Data Lake, Data Lakehouse) und deren Implementierung
• Erfahrung mit der Implementierung und dem Betrieb datenintensiver Anwendungen

• K8s-Kenntnisse und Anwendungserfahrung
• Starker Fokus auf DataOps/DevOps

• Beherrschung der englischen Sprache in Wort und Schrift (mindestens C1)

Soll-Anforderungen:

• Vertiefte K8s-Kenntnisse und Erfahrungen, z. B. Erfahrung mit der Entwicklung von k8s-Operatoren und/oder k8s-Operatoren für Big-Data-Technologien)

• Vertiefte Kenntnisse über bewährte Praktiken im Bereich Datenschutz und Datensicherheit

• Nachgewiesene Erfahrung mit DataMesh-Grundsätzen in der Praxis

• Erfahrung mit der Entwicklung und/oder dem Betrieb von Datenplattformen

• Kenntnisse und Erfahrungen im Lebenszyklusmanagement von Daten (z. B. CD4ML, MLOps)
• Beherrschung der deutschen Sprache