Consultant(e) en ingénierie de données - Unity Catalog

Contexte:

Dans ce mandat, vous serez appelé(e) à jouer le rôle de développeur en ingénierie des données au sein de l'équipe Plateforme BI & Analytique. Vous travaillerez en étroite collaboration avec nos experts analytiques, notre partenaire Databricks, et aussi avec les architectes et experts d'autres plateformes technologiques internes, afin de guider activement à la mise en place de Unity Catalog dans notre solution Databricks, en respectant les meilleurs pratiques de développement.

À quoi ressemblera vos journées en tant que consultant(e) en ingénierie de données - Unity Catalog:

Les responsabilités du mandat incluent :

 Réaliser l'audit complet de l'environnement actuel de Databricks, documentant les workflows de données, les schémas et les contrôles d'accès 
 Concevoir la stratégie de segmentation des environnements, des catalogues, ainsi que les conventions de nommage et de stockage 
 Piloter les activités nécessaires pour la mise en place de Unity Catalog dans notre solution Databricks 
 Plus précisément pour la migration d’Unity Catalog: 
 Développer une matrice des rôles et permissions détaillée, incluant une liste de contrôle d'accès (ACL) et les définitions des groupes d'utilisateurs 
 Configurer les ressources Azure et les espaces de travail Databricks, assigner les utilisateurs administrateurs et créer le Metastore de Unity Catalog 
 Créer et migrer les schémas et tables vers Unity Catalog, incluant le transfert des tables externes d’Azure Storage vers des tables gérées 
 Mettre à niveau les clusters et les runtimes Databricks vers la dernière version LTS supportant Unity Catalog 
 Vous réaliserez les tests techniques et fonctionnels pour s’assurer du bon fonctionnement des éléments développés 
 Vous serez également en charge de réaliser la documentation technique des développements à travers nos outils collaboratifs 

Requirements

Savoir-faire:

Voici les habiletés techniques que vous aurez à appliquer au quotidien dans notre cadre professionnel:

 Une solide expérience de travail sur les principaux composants Databricks premium, et vous avez obtenu des certifications Databricks (un atout) 
 Connaissance de l'outil de validation UCX pour Unity Catalog (un atout majeur) 
 Vous avez une expérience réussie dans l’implémentation de Unity Catalog (impératif) 
 Vous apporterez de la rigueur et les bonnes pratiques sur les développements dans Databricks à notre équipe 
 Contribuer efficacement au maintien d'une documentation complète des processus, des schémas de données et des flux de données 
 Connaissance des principes de la méthode Agile, Jira et Confluence 

Savoir-être:

Voici les qualités personnelles et comportementales que vous aurez à démontrer au quotidien dans notre cadre professionnel:

 Grande capacité de proposer des solutions technologiques optimales dans le contexte de grands volumes de données 
 Écoute et capacité de comprendre les enjeux techniques 
 Excellentes aptitudes pour la gestion du temps et l’organisation, et capacité à gérer des priorités concurrentes pour respecter les échéanciers 
 Grand souci du détail et du travail/service de qualité 
 Faire preuve d'autonomie, d’initiative et d’innovation 
 Fortes aptitudes pour le travail d’équipe 
 Habiletés pour les relations interpersonnelles, la communication et la pédagogie 

Engineering science