Data migration

vor 1 Woche

Berlin, Deutschland Darwin Recruitment Vollzeit

If you are a Data Migration consultant and you are looking for a new freelance position then I have a great opportunity for you.

Location: Any where in Europe

Contract Duration: 12 months+

Language Requirements: Fluent in English

Job Title: Data Migration

Job Description:

We are seeking a skilled Data Migration Engineer to join our team. The primary responsibility of this role is to migrate data from our current Hadoop-based platform to a new on-premises data platform built with open-source tools. The ideal candidate will have strong experience in working with Spark, Scala, Airflow, Hadoop, Python, and GitHub.

Responsibilities:

  • Lead the migration of data from Hadoop to a new on-premises data platform using open-source tools.
  • Develop and implement ETL processes to ensure smooth data transition.
  • Design, develop, and schedule data processing jobs using Apache Airflow.
  • Write efficient and maintainable code in Scala and Python for data processing tasks.
  • Work closely with data engineers, data scientists, and other stakeholders to ensure data accuracy and integrity during the migration process.
  • Monitor and troubleshoot data migration processes to ensure high performance and reliability.
  • Document the migration process, including architecture, design, and implementation details.
  • Ensure compliance with data governance and security standards throughout the migration process.
  • Collaborate with the DevOps team to integrate CI/CD pipelines using GitHub for automated deployment and testing.

Requirements:

  • Proven experience in data migration projects, particularly from Hadoop to other platforms.
  • Strong expertise in Apache Spark and Scala for big data processing.
  • Proficiency in Python for scripting and data manipulation tasks.
  • Experience with Apache Airflow for workflow automation and scheduling.
  • Hands-on experience with Hadoop ecosystem tools and technologies.
  • Familiarity with various data storage solutions, including HDFS, and object storage systems.
  • Solid understanding of data formats such as AVRO, Parquet, JSON, and XML.
  • Experience with CI/CD tools and practices, particularly with GitHub.
  • Excellent problem-solving skills and the ability to work independently and as part of a team.
  • Strong communication skills to effectively collaborate with technical and non-technical stakeholders.

Preferred Qualifications:

  • Experience with additional open-source data processing tools and frameworks.
  • Knowledge of data governance and security best practices.
  • Prior experience in on-premises data platform development and management.
  • Familiarity with containerization and orchestration tools such as Docker and Kubernetes.

Join our team and play a critical role in transforming our data infrastructure to leverage cutting-edge open-source technologies. Apply today to be part of an exciting and challenging project

Darwin Recruitment is acting as an Employment Business in relation to this vacancy.

  • Data Migration Developer SAP

    vor 4 Wochen

    Berlin, Berlin, Deutschland NTT DATA Business Solutions AG Vollzeit

    Empowering you - to break new groundAls NTT DATA Business Solutions sind wir mehr als nur ein Unternehmen - wir sind ein Team von innovativen und leidenschaftlichen Menschen, die sich darauf spezialisiert haben, wertschöpfende SAP-Lösungen zu schaffen und unsere Kund:innen auf ihrem Weg zu einem intelligenten Unternehmen zu begleiten. Unser klarer Fokus...

  • Data Migration Developer SAP

    vor 1 Woche

    Berlin, Berlin, Deutschland NTT DATA Business Solutions AG Vollzeit

    Empowering you - to break new groundAls NTT DATA Business Solutions sind wir mehr als nur ein Unternehmen - wir sind ein Team von innovativen und leidenschaftlichen Menschen, die sich darauf spezialisiert haben, wertschöpfende SAP-Lösungen zu schaffen und unsere Kund:innen auf ihrem Weg zu einem intelligenten Unternehmen zu begleiten. Unser klarer Fokus...

  • Data Migration Developer SAP

    vor 3 Wochen

    Berlin, Berlin, Deutschland NTT DATA Business Solutions AG Vollzeit

    Empowering you - to break new groundAls NTT DATA Business Solutions sind wir mehr als nur ein Unternehmen - wir sind ein Team von innovativen und leidenschaftlichen Menschen, die sich darauf spezialisiert haben, wertschöpfende SAP-Lösungen zu schaffen und unsere Kund:innen auf ihrem Weg zu einem intelligenten Unternehmen zu begleiten. Unser klarer Fokus...

  • Data Migration Developer SAP

    vor 3 Wochen

    Berlin, Deutschland NTT DATA Vollzeit

    Job Description Data Migration Developer SAP (w/m/d)In Voll- oder TeilzeitEmpoweringYou – to break new ground! Als NTT DATA Business Solutions sind wir mehr als nur ein Unternehmen - wir sind ein Team von innovativen und leidenschaftlichen Menschen, die sich darauf spezialisiert haben, wertschöpfende SAP-Lösungen zu schaffen und unsere Kund:innen auf...

  • Data Migration Developer SAP

    vor 1 Woche

    Berlin # Pforzheim # Dresden # Stuttgart # München # Dortmund # Köln # Bielefeld # Hamburg # Heidelberg, Deutschland NTT DATA Business Solutions AG Vollzeit

    Als NTT DATA Business Solutions sind wir mehr als nur ein Unternehmen - wir sind ein Team von innovativen und leidenschaftlichen Menschen, die sich darauf spezialisiert haben, wertschöpfende SAP-Lösungen zu schaffen und unsere Kund:innen auf ihrem Weg zu einem intelligenten Unternehmen zu begleiten. Unser klarer Fokus liegt in den Bereichen SAP Consulting,...

  • Senior Data Scientist

    vor 2 Wochen

    Berlin, Deutschland International Organization for Migration Vollzeit

    Position Title**: Senior Data Scientist (Data Foresight, Climate Change)** Duty Station**: Berlin, Germany** Classification**: Professional Staff, Grade P4** Type of Appointment**: Fixed term, one year with possibility of extension** Estimated Start Date**: As soon as possible** Closing Date**: 07 February 2024** - Established in 1951, IOM is a Related...

  • Data Scientist

    vor 3 Wochen

    Berlin, Deutschland International Organization for Migration Vollzeit

    Position Title**: Data Scientist (Data for Action)** Duty Station**: Berlin, Germany** Classification**: Professional Staff, Grade P2** Type of Appointment**: Fixed term, one year with possibility of extension** Estimated Start Date**: As soon as possible** Closing Date**: 22 February 2024** - Established in 1951, IOM is a Related Organization of the...

  • Data Migration Specialist

    vor 2 Wochen

    Berlin, Deutschland Canto Vollzeit

    **Job Title**: Data Migration Specialist **Location**: Germany, Remote - This role requires fluency in German_ & English **Company Overview**: Canto is reshaping the digital asset management (DAM) landscape. Our platform offers a singular source for brands to organise, access, and share digital assets, amplifying content value, accelerating production, and...

  • Data Architect Für Die Implementierung

    vor 3 Wochen

    Berlin, Deutschland OSBRA – Formteile GmbH Vollzeit

    Orange Business Services Data Architect für die Implementierung & Migration (m/w/d) Ab sofort gesucht (unbefristet) 35-40 h pro Woche 60.000 € pro Jahr (verhandelbar) Permanent Homeoffice möglich Wir suchen Verstärkung für unser außergewöhnliches Team. Als Experten mit Hand, Hirn und Herz entwickeln wir präzise IT-Lösungen für die individuellen...

  • Data Migration Developer SAP

    vor 4 Wochen

    Berlin # Pforzheim # Dresden # Stuttgart # München # Dortmund # Köln # Bielefeld # Hamburg # Heidelberg, Deutschland NTT DATA Business Solutions AG Vollzeit

    Als NTT DATA Business Solutions sind wir mehr als nur ein Unternehmen - wir sind ein Team von innovativen und leidenschaftlichen Menschen, die sich darauf spezialisiert haben, wertschöpfende SAP-Lösungen zu schaffen und unsere Kund:innen auf ihrem Weg zu einem intelligenten Unternehmen zu begleiten. Unser klarer Fokus liegt in den Bereichen SAP Consulting,...

  • Data Migration Developer SAP

    vor 4 Wochen

    Berlin # Pforzheim # Dresden # Stuttgart # München # Dortmund # Köln # Bielefeld # Hamburg # Heidelberg, DE NTT DATA Business Solutions AG Vollzeit

    Als NTT DATA Business Solutions sind wir mehr als nur ein Unternehmen - wir sind ein Team von innovativen und leidenschaftlichen Menschen, die sich darauf spezialisiert haben, wertschöpfende SAP-Lösungen zu schaffen und unsere Kund:innen auf ihrem Weg zu einem intelligenten Unternehmen zu begleiten. Unser klarer Fokus liegt in den Bereichen SAP Consulting,...

  • Data Migration Expert diverse Standorte

    vor 3 Wochen

    Berlin, Berlin, Deutschland InterJob® GmbH Vollzeit

    Über uns: Als Personalberatung in unserem internationalen Netzwerk suchen und vermitteln wir Fach- und Führungskräfte für die Festanstellung für namhafte nationale und internationale Unternehmen. Wir verfügen über jahrelange Branchenkenntnisse und sind Spezialisten auf unserem Gebiet. Ihr Vorteil: wir begleiten, unterstützen und beraten Sie in Ihrer...

  • Data Migration Expert diverse Standorte

    vor 1 Monat

    Berlin, Berlin, Deutschland InterJob® GmbH Vollzeit

    Über uns: Als Personalberatung in unserem internationalen Netzwerk suchen und vermitteln wir Fach- und Führungskräfte für die Festanstellung für namhafte nationale und internationale Unternehmen. Wir verfügen über jahrelange Branchenkenntnisse und sind Spezialisten auf unserem Gebiet. Ihr Vorteil: wir begleiten, unterstützen und beraten Sie in Ihrer...

  • (Senior) Data Migration Expert Diverse Standorte

    vor 3 Wochen

    Berlin, Deutschland InterJob® GmbH Vollzeit

    **Über uns**: Als Personalberatung in unserem internationalen Netzwerk suchen und vermitteln wir Fach - und Führungskräfte für die Festanstellung für namhafte nationale und internationale Unternehmen. Wir verfügen über jahrelange Branchenkenntnisse und sind Spezialisten auf unserem Gebiet. **Ihr Vorteil**: wir begleiten, unterstützen und beraten Sie...

  • (Senior) Data Migration Expert Diverse Standorte

    vor 3 Wochen

    Berlin, Deutschland InterJob® GmbH Vollzeit

    **Über uns**: Als Personalberatung in unserem internationalen Netzwerk suchen und vermitteln wir Fach - und Führungskräfte für die Festanstellung für namhafte nationale und internationale Unternehmen. Wir verfügen über jahrelange Branchenkenntnisse und sind Spezialisten auf unserem Gebiet. **Ihr Vorteil**: wir begleiten, unterstützen und beraten Sie...

  • Qlikview Migration Specialist

    vor 3 Wochen

    Berlin, Deutschland FalconSmartIT Vollzeit

    **Job Name**:QlikView Migration Specialist **Location**: Berlin, Germany (Onsite/Hybrid) **Job Type**: Contract **Job Description-** **Position Overview**: We are seeking a skilled QlikView Migration Specialist to lead the migration of our QlikView environment from on-premises infrastructure to the Amazon Web Services (AWS) cloud platform. **Key...

  • Project Officer

    Vor 2 Tagen

    Berlin, Deutschland International Organization for Migration Vollzeit

    Position Title**: Project Officer (DTM REMAP)** Duty Station**: Berlin, Germany** Classification**: Professional Staff, Grade P2** Type of Appointment**: Fixed term, one year with possibility of extension** Estimated Start Date**: As soon as possible** Closing Date**: 20 February 2024** - Established in 1951, IOM is a Related Organization of the United...

  • Oracle xTTS migration expert

    vor 3 Wochen

    Berlin, Deutschland Hays Vollzeit

    we are currently looking for an Oracle xTTS migration expert for our client (m/w/d)Tasks:Review and revision of the migration architecture for two SAP system landscapes (7 systems in total)Review and revision of the migration runbook for the XTTS migration based on Oracle's best practicesQuality assurance of the engineering documentation (installation...

  • Data Integration Specialist

    Vor 2 Tagen

    Berlin, Deutschland AMCS Group Vollzeit

    **Passionate people for sustainable software** We are Quentic. Our mission is to provide clarity and orientation in the area of occupational safety, environmental, quality and sustainability management (EHSQ) and to create digital solutions. In Berlin, our team consists of over 300 employees **The role: Data Integration Specialist** **Your tasks** -...

  • Cloud Migration Architect

    vor 2 Monaten

    Berlin, Deutschland Nordcloud Germany Vollzeit

    **We are digital builders born in the cloud and currently, we are looking for a **Cloud Migration Architect**.** Joining Nordcloud is the chance of a lifetime to leave your mark on the European IT industry! We use an agile, cloud-native approach to empower clients to seize the full potential of the public cloud. **Your daily work**: - Acting as a...