Data Engineer – Data Engineering & R&D ( KLNWX)

À propos de Bestlab

Bestlab est un éditeur de logiciels spécialisé dans l’Intelligence Artificielle, la Data Science et le développement de solutions innovantes.

Nous concevons des produits et solutions basés sur la donnée et l’IA dans plusieurs domaines et accompagnons les entreprises dans la transformation de problématiques métier complexes en solutions technologiques concrètes.

Dans le cadre du renforcement de notre équipe R&D, composée de docteurs, Data Scientists, Data Engineers et profils juniors, nous recherchons un(e) Data Engineer souhaitant évoluer dans un environnement technique stimulant, collaboratif et orienté innovation.

???? Votre mission

Vous interviendrez sur la conception, la construction et l’optimisation des infrastructures et pipelines de données nécessaires aux projets Data & IA.

Vos principales missions seront notamment de :

• Comprendre les besoins métier et techniques liés aux données ;
• Concevoir et développer des pipelines de données robustes, fiables et scalables ;
• Collecter et intégrer des données provenant de différentes sources ;
• Développer des processus ETL/ELT pour l’extraction, la transformation et le chargement des données ;
• Nettoyer, transformer, enrichir et structurer les données ;
• Concevoir et maintenir des architectures et modèles de données adaptés aux besoins des projets ;
• Mettre en place des processus d’automatisation des traitements de données ;
• Développer et optimiser les traitements batch et temps réel ;
• Assurer la qualité, la disponibilité, la cohérence et la traçabilité des données ;
• Participer à la conception et à l’optimisation des bases de données et Data Warehouses ;
• Mettre en place des mécanismes de monitoring et de contrôle des pipelines ;
• Optimiser les performances et les coûts des traitements Data ;
• Collaborer avec les Data Scientists, développeurs, ingénieurs et chercheurs afin de mettre à disposition des données fiables et exploitables ;
• Participer à l’industrialisation et au déploiement des solutions Data ;
• Documenter les architectures, pipelines, processus et choix techniques ;
• Effectuer une veille technologique sur les outils et architectures Data.

Compétences techniques recherchées Programmation & traitement des données

• Excellente maîtrise de Python ;
• Bonne maîtrise de SQL ;
• Maîtrise des bibliothèques et outils Python dédiés au traitement des données : Pandas, NumPy ou équivalents ;
• Bonne compréhension des structures de données, algorithmes et principes d’optimisation ;
• Capacité à développer du code propre, maintenable, testé et documenté.

Une connaissance de Java, Scala ou d’autres langages adaptés au traitement distribué constitue un plus.

 Bases de données

Bonne maîtrise des bases de données relationnelles et compréhension des bases NoSQL.

Vous êtes à l’aise avec notamment :

• PostgreSQL ;
• MySQL ;
• MongoDB.

Vous maîtrisez ou comprenez les concepts suivants :

• conception et modélisation de bases de données ;
• normalisation et dénormalisation ;
• indexation ;
• optimisation des requêtes SQL ;
• transactions ;
• partitionnement ;
• gestion des volumes importants de données.

ETL / ELT & Data Pipelines

Expérience dans la conception et le développement de pipelines de données.

Vous connaissez les principes :

• ETL / ELT ;
• ingestion de données ;
• transformation et enrichissement ;
• orchestration des traitements ;
• gestion des dépendances ;
• reprise sur erreur ;
• contrôle de la qualité des données ;
• automatisation des workflows.

La connaissance d’outils tels que Apache Airflow, Prefect, Dagster ou équivalents constitue un atout.

 Big Data & traitement distribué

Une bonne compréhension des problématiques liées au Big Data et au traitement distribué est appréciée.

La connaissance de technologies telles que :

• Apache Spark ;
• PySpark ;
• Hadoop ;
• Kafka ;
• systèmes de stockage distribués ;

constitue un avantage selon les projets.

Une expérience avec le traitement de grands volumes de données et l’optimisation des traitements distribués sera particulièrement appréciée.

 Data Warehouse & Data Lake

Vous avez une bonne compréhension des architectures modernes de données :

• Data Warehouse ;
• Data Lake ;
• Data Lakehouse ;
• modèles dimensionnels ;
• architectures distribuées ;
• ingestion de données structurées et non structurées.

La connaissance de solutions telles que Snowflake, BigQuery, Databricks, Redshift ou technologies équivalentes constitue un plus.

 Cloud & Infrastructure

Une expérience avec au moins un environnement Cloud est appréciée :

• AWS ;
• Microsoft Azure ;
• Google Cloud Platform (GCP).

La connaissance des services Cloud liés au stockage, au calcul, aux bases de données et au traitement des données constitue un avantage.

 DevOps & Industrialisation

Des connaissances dans les domaines suivants constituent un plus :

• Docker et conteneurisation ;
• Git et gestion de versions ;
• CI/CD ;
• APIs et microservices ;
• Linux ;
• orchestration et déploiement ;
• automatisation des workflows ;
• monitoring et logging.

Une expérience avec Kubernetes constitue également un atout.

 Data pour l’IA & Machine Learning

Le Data Engineer travaillera en étroite collaboration avec les équipes Data Science et IA.

Une compréhension des besoins liés au Machine Learning et à l’IA est donc appréciée, notamment concernant :

• préparation des données pour le Machine Learning ;
• feature engineering ;
• gestion des datasets ;
• pipelines ML ;
• stockage et traitement de données non structurées ;
• données issues de modèles et applications IA ;
• préparation des données pour les applications NLP, Computer Vision et IA générative.

Une connaissance des concepts MLOps constitue un avantage.

Qualité, sécurité & gouvernance des données

Une attention particulière est portée à la qualité et à la fiabilité des données.

Vous serez amené(e) à contribuer à :

• la mise en place de contrôles de qualité ;
• la détection et la gestion des données incohérentes ;
• la traçabilité des données ;
• la gestion des erreurs dans les pipelines ;
• la documentation des sources et transformations ;
• la sécurisation des accès aux données ;
• la gestion des droits et permissions ;
• la mise en place de bonnes pratiques de gouvernance Data.

 Le profil que nous recherchons

Au-delà de la maîtrise des technologies, nous recherchons avant tout une personne ayant un fort esprit d’analyse, une bonne culture technique et une réelle capacité à résoudre des problèmes complexes.

Vous devez être capable de comprendre une problématique Data, d’identifier les différentes sources de données, de concevoir une architecture adaptée et de construire des pipelines fiables permettant de transformer les données brutes en données exploitables, accessibles et de qualité.

 Qualités recherchées

Esprit analytique et résolution de problèmes
Vous aimez comprendre l’origine des problèmes, analyser les données et construire des solutions techniques efficaces et durables.

Rigueur et qualité
Vous accordez une importance particulière à la fiabilité, la qualité, la sécurité et la maintenabilité des données et des pipelines.

Curiosité technique
Vous aimez découvrir de nouvelles technologies et suivre les évolutions des architectures Data, Cloud et Big Data.

Autonomie et proactivité
Vous êtes capable de prendre en charge un sujet, de proposer des solutions et d’identifier les améliorations possibles.

Esprit d’équipe et collaboration
Vous appréciez le travail avec des profils variés : Data Scientists, développeurs, ingénieurs, chercheurs et équipes métier.

Organisation
Vous savez structurer vos travaux, prioriser les tâches et assurer le suivi des différentes étapes d’un projet.

Sens de l’innovation
Vous êtes intéressé(e) par les nouvelles architectures et technologies permettant de construire des plateformes Data performantes et évolutives.

 Formation

Formation supérieure en Data Engineering, Informatique, Big Data, Data Science, Génie logiciel, Mathématiques appliquées ou domaine équivalent.

Les profils issus d’un Master, diplôme d’ingénieur ou doctorat sont particulièrement adaptés au poste.

Une première expérience professionnelle ou académique dans le développement de pipelines Data, systèmes distribués, bases de données ou architectures Cloud constitue un avantage.

 Pourquoi rejoindre Bestlab ?

Rejoindre Bestlab, c’est intégrer une équipe Data & IA composée de profils complémentaires et participer à la construction de solutions Data au cœur de projets innovants.

Vous travaillerez sur des problématiques concrètes nécessitant conception, optimisation, industrialisation et innovation, en collaboration étroite avec les équipes Data Science et R&D.

Nous accordons une importance particulière à la capacité à comprendre les besoins, concevoir des architectures adaptées et construire des solutions Data robustes et évolutives, plutôt qu’à la simple maîtrise d’une liste de technologies.