Écrits de Chafiq Madkour https://chafiqmadkour.com/ecrits/ Essais et notes techniques sur Spark, Databricks, l'orchestration et la qualité des données. fr-FR Wed, 12 Aug 2026 09:00:00 +0000 Oozie → Airflow : ce qui ne se traduit pas https://chafiqmadkour.com/ecrits/oozie-vers-airflow.html https://chafiqmadkour.com/ecrits/oozie-vers-airflow.html Wed, 12 Aug 2026 09:00:00 +0000 Orchestration Un coordinator Oozie attend une donnee, un DAG Airflow se declenche sur une horloge : toute la migration tient dans cet ecart. Spark 3 et les dates anciennes : le piège du calendrier proleptique https://chafiqmadkour.com/ecrits/spark3-dates-anciennes.html https://chafiqmadkour.com/ecrits/spark3-dates-anciennes.html Tue, 28 Jul 2026 09:00:00 +0000 Spark Spark 3 a change de calendrier : sur des dates anciennes, le meme code renvoie une valeur differente sans lever d erreur. Une ligne écartée dans un déclaratif, c'est une sous-déclaration https://chafiqmadkour.com/ecrits/ligne-ecartee-sous-declaration.html https://chafiqmadkour.com/ecrits/ligne-ecartee-sous-declaration.html Tue, 14 Jul 2026 09:00:00 +0000 Qualité de données Dans une chaine reglementaire, une jointure interne ne nettoie pas la donnee : elle retire des lignes qu on avait l obligation de declarer. AQE, DPP, skew join : ce que Spark 3 règle vraiment https://chafiqmadkour.com/ecrits/aqe-dpp-skew-join.html https://chafiqmadkour.com/ecrits/aqe-dpp-skew-join.html Thu, 18 Jun 2026 09:00:00 +0000 Spark AQE rattrape de mauvaises estimations, pas une mauvaise modelisation : ce qu il fait, a quelles conditions, et ce qui reste a reecrire. Java 8 → 17 sous Spark : la liste des surprises https://chafiqmadkour.com/ecrits/java8-java17-spark.html https://chafiqmadkour.com/ecrits/java8-java17-spark.html Wed, 10 Jun 2026 09:00:00 +0000 Plateforme Passer un job Spark de Java 8 a Java 17 : le systeme de modules, le ramasse-miettes, et les surprises qui arrivent a l execution. Introduire le TDD dans une équipe qui n'en a jamais fait https://chafiqmadkour.com/ecrits/introduire-tdd-equipe.html https://chafiqmadkour.com/ecrits/introduire-tdd-equipe.html Fri, 22 May 2026 09:00:00 +0000 Méthode Passer de 0 a 95 % de couverture : commencer par figer le comportement existant plutot que par demander des tests. VaR : la forme du calcul passe avant l'optimisation https://chafiqmadkour.com/ecrits/var-forme-du-calcul.html https://chafiqmadkour.com/ecrits/var-forme-du-calcul.html Thu, 14 May 2026 09:00:00 +0000 Finance de marché Sur un moteur de VaR, le volume n est pas ce qu on lit mais ce qu on engendre : ou se trouve reellement le cout. Construire un lakehouse de paiement seul : ce que ça oblige à trancher https://chafiqmadkour.com/ecrits/lakehouse-paiement-seul.html https://chafiqmadkour.com/ecrits/lakehouse-paiement-seul.html Thu, 16 Apr 2026 09:00:00 +0000 Architecture Construire seul un lakehouse paiements et anti-fraude : les decisions d architecture qui ont tenu, et pourquoi.