par Verhelst, Theo 
Président du jury Defrance, Matthieu
Promoteur Bontempi, Gianluca
Publication Non publié, 2024-01-29
Président du jury Defrance, Matthieu
Promoteur Bontempi, Gianluca
Publication Non publié, 2024-01-29
Thèse de doctorat
| Résumé : | Customer churn is an important concern for large companies, especially in the telecommunications sector. Customer retention campaigns are often used to mitigate churn, but targeting the right customers based on their historical profiles presents an important challenge. Companies usually have recourse to two data-driven approaches: churn prediction and uplift modeling. In churn prediction, customers are selected on the basis of their propensity to churn in the near future. In uplift modeling, only customers who react positively to the campaign are considered. Uplift modeling is used in various other domains, such as marketing, healthcare, and finance. Despite the theoretical appeal of uplift modeling, its added value with respect to conventional machine learning approaches has rarely been quantified in the literature.This doctoral thesis is the result of a collaborative research project between the Machine Learning Group (ULB) and Orange Belgium, funded by Innoviris. This collaboration offers a unique research opportunity to assess the added value of causal-oriented strategies to address customer churn in the telecommunication sector. Following the introduction, we give the necessary background in probability theory, causality theory, and machine learning, and we describe the state of the art in uplift modeling and counterfactual identification. Then, we present the contributions of this thesis: - An empirical comparison of various predictive and causal models for selecting customers in churn prevention campaigns. We perform several benchmarks of different state-of-the-art approaches on real-world datasets and in live campaigns with our industrial partner, we propose a new approach that exploits domain knowledge to improve predictions, and we make available the first public churn dataset for uplift modeling, whose unique characteristics make it more challenging than the few other public uplift datasets. - Counterfactual identification allows one to classify the different behaviors of customers in response to a marketing incentive. This can be used to establish profiles of customers sensitive to the campaign, and subsequently improve marketing operations. We derive novel bounds and point estimators on the probability of counterfactual statements based on uplift models. - A comprehensive comparison of predictive and uplift modeling, starting from firm theoretical foundations and highlighting the parameters that influence the performance of both approaches. In particular, we provide a new formulation of the measure of profit, a formal proof of the convergence of the uplift curve to the measure of profit, and an illustration, through simulations, of the conditions under which predictive approaches still outperform uplift modeling.Our theoretical and empirical assessments of uplift modeling suggest that it often fails to deliver the anticipated advantages over predictive modeling, especially in scenarios such as customer churn within the telecom sector, characterized by class imbalance, limited separability, and cost-benefit considerations. These results are broadly aligned with the practical experience of our industrial partner and with the existing scientific literature. Our counterfactual probability estimators allow us to characterize customers at a level inaccessible to conventional predictive modeling, revealing new insights on the behavior and preferences of customers. |
| L'attrition de la clientèle est une préoccupation importante pour de nombreuses entreprises, notamment dans le secteur des télécommunications. Des campagnes de fidélisation sont souvent utilisées pour réduire le taux de désabonnement, mais cibler les bons clients en fonction de leur profil représente un défi majeur. Les entreprises ont généralement recours à l'une de deux approches : la prédiction de churn (attrition) et la modélisation de l'uplift. Dans la prédiction de churn, les clients sont sélectionnés sur la base de leur propension estimée à se désabonner dans un avenir proche. Dans la modélisation de l'uplift, seuls les clients qui réagissent positivement à la campagne sont pris en compte. Les prédictions de ces deux approches sont basées sur les caractéristiques des clients. La modélisation de l'uplift est aussi utilisée dans d'autres domaines tels que le marketing, la médecine et la finance. Malgré son attrait théorique, la valeur ajoutée de la modélisation de l'uplift par rapport à l'approche plus conventionnelle de prédiction de churn a rarement été quantifiée dans la littérature.Cette thèse doctorale est le résultat d'un projet de recherche collaborative entre le Machine Learning Group (ULB) et Orange Belgique, financé par Innoviris. Cette collaboration offre une opportunité unique pour évaluer la valeur ajoutée de stratégies causales pour prévenir l'attrition de la clientèle dans le secteur des télécommunications. Après l'introduction, nous présentons les base théoriques nécessaires en théorie des probabilités, théorie de la causalité et apprentissage automatique, et nous décrivons l'état de l'art en matière de modélisation de l'uplift et d'identification contrefactuelle. Nous présentons ensuite les contributions de cette thèse : - Une comparaison empirique de divers modèles prédictifs et causaux pour la sélection des clients dans les campagnes de prévention du désabonnement. Nous comparons différentes approches de pointe sur des jeux de données réels et dans des campagnes de rétention avec notre partenaire industriel, nous proposons une nouvelle approche qui exploite la connaissance du domaine pour améliorer les prédictions, et nous rendons public un jeu de données de churn pour la modélisation de l'uplift, dont les caractéristiques uniques le rendent plus difficile que les quelques autres jeux de données d'uplift publics. - L'identification contrefactuelle permet de classer les différents comportements des clients en réponse à une incitation marketing. Elle peut être utilisée pour établir des profils de clients réagissant positivement à la campagne et, par la suite, améliorer les opérations de marketing. Nous dérivons de nouvelles bornes et plusieurs estimateurs ponctuels de la probabilité de propositions contrefactuelles basées sur des modèles de l'uplift. - Une comparaison de l'approche prédictive et de la modélisation de l'uplift à partir de fondements théoriques, mettant en évidence les paramètres influençant la performance des deux approches. En particulier, nous donnons une nouvelle formulation de la mesure de profit, une preuve formelle de la convergence de la courbe d'uplift vers la mesure de profit, et une illustration, par des simulations, des conditions dans lesquelles l'approche prédictive reste plus performante que la modélisation de l'uplift.Nos évaluations théoriques et empiriques de la modélisation de l'uplift suggèrent que cette dernière n'apporte souvent pas les avantages escomptés par rapport à la modélisation prédictive, en particulier dans des scénarios tels que la prédiction d'attrition de clientèle dans le secteur des télécommunications, caractérisée par un déséquilibre entre les classes, une séparabilité des classes limitée, et des considérations de coût-bénéfice. Ces résultats sont largement conformes à l'expérience pratique de notre partenaire industriel et à la littérature scientifique existante. Nos estimateurs de probabilités contrefactuelles nous permettent de caractériser les clients à un niveau inaccessible à la modélisation prédictive conventionnelle, révélant de nouvelles perspectives sur le comportement et les préférences des clients. |
