Senior Data Architect – Azure Databricks Migration
Vor 3 Tagen
Projektarbeit (extern) Frankfurt am Main, Remote. Start Februar
Spark
AWS
JIRA
DBT
SQL
Confluence
Jira
Datenmodellierung
Scala
Migration
CI/CD
SharePoint
SharePoint
Microsoft Fabric
dbt
Denodo
GitLab
artifactory
kafka
Sharepoint
Gitlab
IoT
MQTT
Kafka
Data Governance
Artifactory
gitlab
Compliance
Azure AD
Machine Learning
Azure Databricks
aws
API-Entwicklung
SSIS
Datenarchitektur
Advanced Analytics
Azure SQL
Data Lakehouse
Azure Data Lake Storage
Unity Catalog
Metadatenmanagement
Batch-Verarbeitung
Streaming-Verarbeitung
Big-Data-Umgebungen
Medallion-Architektur
Self-Service Analytics
Senior Data Architect – Azure Databricks Migration (m/w/d) 100% remote ID02527
Start: sofort
Ende:
Einsatzort: Frankfurt am Main & Remote (100 % remote)
Einsatz: Fulltime
Projektsprache: Deutsch
Projektbeschreibung
Im Rahmen eines Modernisierungsvorhabens wird eine bestehende, heterogene Datenlandschaft auf eine skalierbare Azure-Databricks-Plattform migriert und harmonisiert. Ziel ist der Aufbau einer strategisch anschlussfähigen Lakehouse-Architektur mit hoher Skalierbarkeit, Sicherheit und Integrationsfähigkeit für bestehende und zukünftige datengetriebene Anwendungsfälle. Die Migration erfolgt schrittweise und umfasst sowohl Batch- als auch Streaming-Daten.
Aufgaben
Konzeption und Umsetzung einer zentralen Data-Lakehouse-Architektur auf Basis von Azure Databricks und ADLS
Entwicklung und Migration von Batch- und Streaming-Datenpipelines inklusive Medaillon-Architektur
Integration heterogener Datenquellen sowie Harmonisierung bestehender Datenmodelle
Aufbau von Governance-, Sicherheits- und Rechtekonzepten inklusive Unity Catalog
Bereitstellung von Datenprodukten und Self-Service Analytics
Dokumentation, Know-how-Transfer sowie Performance- und Kostenoptimierung
Technologien
Azure Databricks, Spark, Data Lakehouse, dbt, Azure Data Lake Storage, Microsoft Fabric, Denodo, Azure SQL, SSIS, AWS, Scala, SQL, Kafka, MQTT, IoT, Unity Catalog, Azure AD, CI/CD, Data Governance, Compliance, Metadatenmanagement, Advanced Analytics, Machine Learning, Confluence, SharePoint, Jira, GitLab, Artifactory
Muss-Kriterien
Mindestens 5 Jahre Erfahrung mit Azure Databricks, Spark, Lakehouse-Architekturen und Cloud Data Engineering
Mehrjährige Erfahrung in Data-Architect-Aufgaben wie Datenarchitektur, Datenmodellierung, Migration und Governance
Fundierte Kenntnisse in Batch- und Streaming-Verarbeitung mit Databricks und dbt inklusive Bronze-, Silver- und Gold-Layern
Sehr gute Kenntnisse in ADLS, dbt, Scala, API-Entwicklung und Big-Data-Umgebungen
Erfahrung in der Verarbeitung von Streaming-Daten mit Kafka bzw. Confluent
Soll-Kriterien
Azure Databricks Azure Platform Architect Badge
Erfahrung in der Implementierung von Data-Governance-Prozessen auf Azure Databricks
Deutschkenntnisse mindestens B2, idealerweise C1/C2
Das Team von der mund consulting freut sich auf Ihre Bewerbung – bitte mit aktuellem CV, Stundensatz und Verfügbarkeit.
Herzliche Grüße
Thomas Mund
-
Bearbeitet
-
Senior Data Scientist – Azure Databricks
Vor 4 Tagen
Frankfurt am Main, Hessen, Deutschland mund consulting AG VollzeitProjektarbeit (extern) Frankfurt am Main, Remote. Start Februar SparkJIRASQLMonitoringConfluenceJiraDatenmodellierungCI/CDSharePointSharePointKNIMEETLGitLabartifactorykafkaSharepointGitlabKafkaAWS S3Data GovernanceArtifactorygitlabmonitoringAzure DatabricksFeature EngineeringMLOpsPySparkMLopsELTData LakehouseAzure Data Lake StorageUnity...
-
Senior Data Scientist – Azure Databricks
vor 3 Minuten
Frankfurt am Main, Hessen, Deutschland mund consulting AG VollzeitProjektarbeit (extern) Frankfurt am Main, Remote. Start Februar SparkJIRASQLMonitoringConfluenceJiraDatenmodellierungCI/CDSharePointSharePointKNIMEETLGitLabartifactorykafkaSharepointGitlabKafkaAWS S3Data GovernanceArtifactorygitlabmonitoringAzure DatabricksFeature EngineeringMLOpsPySparkMLopsELTData LakehouseAzure Data Lake StorageUnity...
-
Softwareentwickler/Data Architect
vor 7 Minuten
Frankfurt am Main, Hessen, Deutschland Randstad Deutschland VollzeitFür einen unserer Großkunden sind wir auf der Suche nach einem "Softwareentwickler/Data Architect (Azure Databricks, Migration AWS, dbt, Medallion Architekt) (m/w/d)".Das Projekt wird zu mind. 95€ Remote sein.ProjektbeschreibungProjekt:Migration und Modernisierung einer Datenlandschaft auf eine Azure-Databricks-PlattformKontext:Ziel des Projekts ist die...
-
Data Scientist
vor 33 Minuten
Frankfurt am Main, Hessen, Deutschland Randstad Deutschland VollzeitFür einen unsere Großkunden sind wir auf der Suche nach einem "Data Scientist (Azure Databricks | MLOps | KNIME Migration) (m/w/d)".Das Projekt hat eine Vollzeitauslastung und ist zu 100% Remote.ProjektbeschreibungProjektbezeichnung:Migration und Modernisierung der Datenlandschaft auf eine Azure-Databricks-Plattform 1Projektkontext:Das Projekt modernisiert...
-
Data Scientist – Databricks MLOps
Vor 3 Tagen
Frankfurt am Main, Hessen, Deutschland mund consulting AG VollzeitProjektarbeit (extern) Frankfurt am Main, Remote. Start Februar SparkAWSJIRATerraformDBTSQLMonitoringConfluenceJiraScalaCI/CDSharePointSharePointKostenkontrolleMicrosoft FabricLoggingInfrastructure as CodedbtDenodoGitLabartifactorykafkaSharepointGitlabIoTMQTTKafkaAWS S3Data GovernanceArtifactorygitlabterraformCompliancemonitoringMachine LearningAzure...
-
Data Scientist – Databricks MLOps
vor 45 Minuten
Frankfurt am Main, Hessen, Deutschland mund consulting AG VollzeitProjektarbeit (extern) Frankfurt am Main, Remote. Start Februar SparkAWSJIRATerraformDBTSQLMonitoringConfluenceJiraScalaCI/CDSharePointSharePointKostenkontrolleMicrosoft FabricLoggingInfrastructure as CodedbtDenodoGitLabartifactorykafkaSharepointGitlabIoTMQTTKafkaAWS S3Data GovernanceArtifactorygitlabterraformCompliancemonitoringMachine LearningAzure...
-
Senior Microsoft Azure AI/ML Architect
vor 38 Minuten
Frankfurt am Main, Hessen, Deutschland Devoteam VollzeitUnternehmensbeschreibung Do you want to not only experience but actively shape the unique DNA of Microsoft? Then Devoteam M Cloud is the right place for youOur core business is cloud-based enterprise customer projects, where we drive the most modern Microsoft technologies.The building blocks that distinguish us:2,100 Microsoft certifications completed in...
-
Senior Microsoft Azure AI/ML Architect
vor 35 Minuten
Frankfurt am Main, Hessen, Deutschland Devoteam | Microsoft Partner VollzeitDo you want to not only experience but actively shape the uniqueDNAofMicrosoft? ThenDevoteam MCloudis the right place for youOur core business is cloud-based enterprise customer projects, where we drive the most modern Microsoft technologies.The building blocks that distinguish us:2,100 Microsoft certifications completed in 20221,000 Microsoft experts in...
-
Data Engineers/Architects
vor 43 Minuten
Frankfurt am Main, Hessen, Deutschland statworx VollzeitCompany DescriptionWith deep expertise in Data Engineering, Data Science, and Machine Learning, we help our clients unlock the full potential of their data. statworx is a leading consulting and development company for data and AI, based in Frankfurt am Main. We offer strategic consulting for medium-sized businesses and global corporations. We develop...
-
Data Engineer Microsoft Azure
vor 38 Minuten
Frankfurt am Main, Hessen, Deutschland Devoteam VollzeitUnternehmensbeschreibung Do you want to not only experience but actively shape the unique DNA of Microsoft? Then Devoteam M Cloud is the right place for youOur core business is cloud-based enterprise customer projects, where we drive the most modern Microsoft technologies.The building blocks that distinguish us:2,100 Microsoft certifications completed in...
