À propos de ce candidat
FreelanceCDI70kStartupTélétravail totalBac+4
Johanna FORTUNE
it recruiter

Vous accompagne dans votre recherche

Partager

Descriptif du profil

Parcours professionnel

Nom de l’école

ECOLE CENTRALE DE NANTES

Nombre d’années d’expérience

4 ans

Temps consacré à la veille technique

1 à 2h

Résumé

Pouvez-vous expliquer votre parcours en quelques mots ?

Data Engineer ayant travaillé principalement sur GCP (qu'il adore), mais aussi Azure et AWS.
Il aime créer des pipelines dans le cloud, industrialiser des projets de science des données, et écouter de la bonne musique en codant ;)

Poste actuel

Ancienneté

2 ans

Détail du poste actuel

Dans quel domaine intervient l'entreprise dans laquelle vous travaillez ?

équipe data ops dans le secteur Banque&Assurance

Mise en place d'un pipeline de détection anti-fraude avec le développement d'un algorithme de correspondance phonétique floue pour attraper les clients frauduleux dans le portefeuille de l'entreprise :
Calcul parallèle sur Cloud Run avec autoscaling, en utilisant des requêtes parallèles sur airflow pour le traitement par lots.
API avec AppEngine et FireStore pour des détections en temps réel avec des calculs optimisés en mémoire.
Utilisation de BigQuery Flex pour le traitement des données volumineuses avec des fonctions UDF personnalisées.
Augmentation des performances des charges de travail analytiques en transformant les jobs ETL Talend en ELT avec DBT sur BigQuery (hébergé sur les services Cloud Run, orchestré avec Airflow)
Mise en œuvre de tous les pipelines CI/CD avec Jenkins (bibliothèques partagées) et Bitbucket pour tous les dépôts de données.
Mise en œuvre d'une architecture Terraform évolutive pour toute l'infrastructure en utilisant la conception de fichiers à états multiples pour plusieurs projets par environnement.
Canaux d'alerte avec des métriques personnalisées et des tableaux de bord de surveillance pour tous les projets avec des messages airflow sur les pannes vers les chats hangout.
Définir des alertes pour les principales API et pipelines avec la journalisation en nuage.
Réduisez les coûts de stockage de plus de 10x avec des politiques de rétention.
Industrialisation des projets ML avec une approche de formation automatique utilisant PyCaret sur Cloud Run

Compétences techniques

Python, PySpark, Delta Tables
APIs development with FastAPI, (OpenAPI spec's ecosystem)
Scrapy
SQL with DBT (Warehousing with BigQuery, Transactional DB Management with PostgreSQL)
NoSQL with MongoDB
PostGIS and mainly GIS applications with SQL
Airflow for Data Orchestration Pipelines
MLFlow for MLOps

Kubeflow for ML pipelines
Docker and Kubernetes
Terraform
CI/CD (with CloudBuild on GCP, Bitbucket Pipelines and Azure DevOps)
Auto-Documentation with Sphinx/MkDocs
Type de projet supervisé :

Langue(s)

Niveau d’anglais

Courant

Autres langues

toeic ok et stage anglais

Poste idéal

Contrat recherché

Freelance, CDI

Compétence(s) souhaitée(s)

GCP, Terraform, BigQuery

Degré de responsabilité

Confirmé

Organisation

Télétravail

Télétravail total

Identifiant

candidate-140374

Avis du consultant

passionné par la data, très bon communicant et très pro

Johanna FORTUNE
it recruiter

Vous accompagne dans votre recherche

Partager