Task description and requirements
Contexte:
Dans ce mandat, vous serez appelé(e) à jouer le rôle de développeur en ingénierie des données au sein de l'équipe Plateforme BI & Analytique. Vous travaillerez en étroite collaboration avec nos experts analytiques, notre partenaire Databricks, et aussi avec les architectes et experts d'autres plateformes technologiques internes, afin de guider activement à la mise en place de Unity Catalog dans notre solution Databricks, en respectant les meilleurs pratiques de développement.
À quoi ressemblera vos journées en tant que consultant(e) en ingénierie de données - Unity Catalog:
Les responsabilités du mandat incluent :
· Réaliser l'audit complet de l'environnement actuel de Databricks, documentant les workflows de données, les schémas et les contrôles d'accès
· Concevoir la stratégie de segmentation des environnements, des catalogues, ainsi que les conventions de nommage et de stockage
· Piloter les activités nécessaires pour la mise en place de Unity Catalog dans notre solution Databricks
· Plus précisément pour la migration d’Unity Catalog:
o Développer une matrice des rôles et permissions détaillée, incluant une liste de contrôle d'accès (ACL) et les définitions des groupes d'utilisateurs
o Configurer les ressources Azure et les espaces de travail Databricks, assigner les utilisateurs administrateurs et créer le Metastore de Unity Catalog
o Créer et migrer les schémas et tables vers Unity Catalog, incluant le transfert des tables externes d’Azure Storage vers des tables gérées
o Mettre à niveau les clusters et les runtimes Databricks vers la dernière version LTS supportant Unity Catalog
· Vous réaliserez les tests techniques et fonctionnels pour s’assurer du bon fonctionnement des éléments développés
· Vous serez également en charge de réaliser la documentation technique des développements à travers nos outils collaboratifs
Profil
Savoir-faire:
Voici les habiletés techniques que vous aurez à appliquer au quotidien dans notre cadre professionnel:
· Une solide expérience de travail sur les principaux composants Databricks premium, et vous avez obtenu des certifications Databricks (un atout)
· Connaissance de l'outil de validation UCX pour Unity Catalog (un atout majeur)
· Vous avez une expérience réussie dans l’implémentation de Unity Catalog (impératif)
· Vous apporterez de la rigueur et les bonnes pratiques sur les développements dans Databricks à notre équipe
· Contribuer efficacement au maintien d'une documentation complète des processus, des schémas de données et des flux de données
· Connaissance des principes de la méthode Agile, Jira et Confluence
Savoir-être:
Voici les qualités personnelles et comportementales que vous aurez à démontrer au quotidien dans notre cadre professionnel:
· Grande capacité de proposer des solutions technologiques optimales dans le contexte de grands volumes de données
· Écoute et capacité de comprendre les enjeux techniques
· Excellentes aptitudes pour la gestion du temps et l’organisation, et capacité à gérer des priorités concurrentes pour respecter les échéanciers
· Grand souci du détail et du travail/service de qualité
· Faire preuve d'autonomie, d’initiative et d’innovation
· Fortes aptitudes pour le travail d’équipe
· Habiletés pour les relations interpersonnelles, la communication et la pédagogie
