Software Engineer Datalake - Mission longue - Freelance
Freelance Lille (Nord)
Description de l'offre
Taux journalier (TJM): 500
Contexte
Intitulé : Software Engineer (Datalake) — Basé à Lille (hybride), mission longue.
Équipe Datalake d'une Data Factory responsable du stockage (S3) et du catalogage, de la gouvernance technique du patrimoine de données et de la gestion des métadonnées via des data contracts. L'équipe maintient un repository central des data contracts, permet l'observabilité de la plateforme (usage, lineage) et sensibilise les utilisateurs aux bonnes pratiques d'une modern data stack. Une appétence data et une expérience avec Databricks sont un plus.
Missions
- Garantir la robustesse du data contract registry (Aurora + Python fastAPI).
- Monitorer et prendre des actions proactives de management.
- Assurer le support et l'accompagnement tournant sur les outils de l'équipe (S3, Glue, Unity Catalog, data contract registry).
- Restituer dans le datalake les métadonnées des produits.
- Accompagner et former les utilisateurs ; définir et promouvoir les bonnes pratiques de l'équipe.
- Participer et conseiller lors de la conception des pipelines de données des équipes.
- Développer la gouvernance automatisée (Data contract registry, access management, metadata management).
- Collaborer étroitement avec les staff engineers de la plateforme pour le développement de nouvelles features (ADR).
Profil recherché
- Github CI/CD — Confirmé
- DATABRICKS — Avancé
- AWS S3 — Avancé
- python — Confirmé
- POSTGRESQL — Avancé
- fastapi — Confirmé
- AWS — Confirmé
- Unity catalog — Avancé
- AURORA — Avancé
- AWS Glue — Avancé
- Hashicorp Vault — Avancé
À propos de Collective.work
Collective.work est la plateforme de recrutement nouvelle génération pour trouver votre prochain emploi.
Fort d'une grande expertise dans l'IA, Collective.work permet de mieux cibler les offres et leurs candidats correspondants, créant ainsi un système beaucoup plus fluide que les acteurs traditionnels.
Plus de 10,000 recruteurs utilisent Collective, permettant à des dizaines de milliers de candidats de trouver leur futur emploi chaque jours