Centre de services BigData

Le programme DSN (Déclaration Sociale Nominative) représente l'un des plus gros enjeux de données sociales en France. Pour relever ce défi, l’équipe de 6 Big Data Engineers d'iPepper est intégrée au cœur du dispositif pour traiter, optimiser et sécuriser des flux massifs de données de paie. L'équipe évolue dans un écosystème "On-Premise" (serveurs internes ) gérant des péta-octets de données. La mission consiste à transformer 30 à 35 millions de fichiers XML mensuels en données exploitables via une stack de pointe

iPepper a mis à disposition une équipe de 6 experts répartis dans les 5 Scrum Teams de fabrication ainsi que dans la cellule technique transverse pour garantir la fluidité de la chaîne de valeur : - Le rôle de l'Ingénieur Flux & Ingestion (Équipe Collecte) est d'absorber le tsunami de fichiers XML entrants pour les convertir instantanément en fichiers PARQUET. Il maîtrise les parseurs complexes et garantit l'intégrité de la donnée dès son entrée dans le lac de données. - L'Expert Calculs Distribués (Équipe Contrôle) est dédié à la vérification de la cohérence des cotisations, il développe des algorithmes sous Spark capables de croiser les données sur des périodes de 12 mois glissants. Son expertise permet de détecter les anomalies de calcul de droits à l'échelle de millions de lignes. - Le Spécialiste "Data Readiness" (Équipe Exploitation) prépare et structure les données pour qu'elles soient parfaitement exploitables par les outils de requêtage des contrôleurs de l'. Il optimise les schémas de données pour garantir des performances de lecture maximales. - L'Ingénieur "Calcul de Droits" (Équipe Chômage) est spécialisé dans les flux liés à l'indemnisation, il gère l'historisation des données sur 5 ans. Il s'assure que les agrégations de périodes de travail sont fiables pour le reversement aux organismes partenaires (Pôle Emploi, etc.). - L'Architecte des Données de Redressement (Équipe Substitution) intervient quant à lui sur les processus critiques où doit modifier ou corriger une déclaration erronée. Il conçoit des scripts Python de ré-injection de données capables de redresser les comptes des sociétés de manière automatisée. - Enfin, le Big Data Ops / Performance (Cellule Technique Transverse) est garant de la stabilité de l'infrastructure, il veille à la santé des clusters Spark sur les différents "couloirs" (Développement, Pré-production, Production). Il est l'expert du tuning de performance et de l'optimisation des ressources machines.

Hadoop, Spark, Python, Elasticsearch

L'intervention de l'équipe iPepper a permis d'atteindre des objectifs critiques pour le programme DSN : - Optimisation des performances : réduction de 40% des temps de traitement des jobs Spark grâce au passage massif au format PARQUET et au tuning fin des clusters. - Fiabilité des données : Taux d'erreur d'ingestion proche de zéro sur les 30 millions de fichiers mensuels, garantissant la justesse du calcul des droits (retraite, chômage) pour les assurés. - Réduction de la dette technique : Automatisation des correctifs via Python dans l'équipe Substitution, libérant du temps pour les équipes métiers. - Scalabilité : Capacité démontrée à absorber des historiques sur 5 ans (Péta-octets) sans dégradation des temps de réponse lors des périodes de pics de déclaration.

L'intégration des ingénieurs iPepper au sein de nos Scrum Teams a été un facteur clé de succès pour le passage à l'échelle du programme DSN. Au-delà de leur maîtrise pointue de la stack Spark/Hadoop, c'est leur capacité à comprendre des enjeux métiers extrêmement complexes — comme le redressement de cotisations ou le calcul de droits multi-périodes — qui fait la différence. Ils ne se contentent pas de coder, ils sécurisent la donnée qui sert de base à la protection sociale des Français. Un partenariat basé sur l'excellence technique et une rigueur d'analyse indispensable pour un programme de cette envergure — Jérôme F.