« Retourner aux résultats de recherche

• Citer

Influence-Driven Data and Input Attribution for Explainability in Machine Learning and Large Language Models.

par Nematov, Ikhtiyor
Président du jury Dhont, Jennifer
Promoteur Sacharidis, Dimitrios ;Hose, Katja
Co-Promoteur Sagi, Tomer
Publication Non publié, 2026-07-14

Thèse de doctorat

• Accès en ligne
• Détails
• Contenu
• Statistiques

Résumé :

This thesis investigates the problem of data attribution for explainability in machine learning, with a particular focus on influence-based explanations and their extension to modern Large Language Models (LLMs). As machine learning systems are increasingly deployed in high-stakes domains, understanding the relationship between model predictions and the data that drives them has become essential for transparency, debugging, and trust. However, existing data attribution methods suffer from critical limitations, including sensitivity to outliers, lack of user-centric explanations, fragmentation between global and local interpretability, and limited applicability to generative models.The thesis first establishes a systematic evaluation framework for influence-based explainability, revealing that many state-of-the-art methods are highly susceptible to class outliers, which can dominate attribution scores while providing little semantic relevance. To address this, the thesis introduces AIDE, a novel framework for intent-aware and contrastive explanations that integrates influence signals with semantic proximity and diversity, producing robust and user-tailored explanations aligned with human reasoning.Building on this, the thesis addresses the long-standing divide between global and local interpretability. It proposes Influence-aware Prototypes (InfProto), a unified framework that bridges``what'' a model has learned and ``why'' it makes specific predictions. By discovering behavioral cohorts through shared influence patterns, InfProto generates explanations that simultaneously capture global structure and local decision rationale, leading to improved user understanding and more accurate mental models of model behavior.The thesis then extends data attribution to the emerging paradigm of Retrieval-Augmented Generation (RAG) in LLMs. It formalizes document attribution as a cooperative game and evaluates the applicability of methods based on Shapley Values in this setting, highlighting their limitations in capturing inter-document dependencies. To overcome these challenges, the thesis introduces FACILE, an efficient, interaction-aware attribution framework based on Factorization Machines. FACILE models both marginal contributions and pairwise interactions between documents, enabling faithful attribution in the presence of redundancy, complementarity, and multi-hop reasoning.Extensive empirical evaluations and user studies demonstrate that the proposed methods improve robustness, faithfulness, and usability of explanations across both traditional machine learning and LLM-based systems. Collectively, this thesis advances the foundations of data attribution by moving from isolated, instance-level explanations toward unified, interaction-aware, and user-centric frameworks, bridging the gap between classical explainability methods and the demands of modern generative AI.

Cette thèse étudie le problème de l’attribution des données pour l’explicabilité en apprentissage automatique (ML), avec un accent particulier sur les explications fondées sur l’influence et leur extension aux modèles de langage de grande taille (LLMs). À mesure que les systèmes d’apprentissage automatique sont déployés dans des domaines à forts enjeux, comprendre la relation entre les prédictions des modèles et les données qui les sous-tendent devient essentiel pour assurer transparence, diagnostic et confiance. Cependant, les méthodes existantes d’attribution des données présentent des limites importantes, notamment leur sensibilité aux valeurs aberrantes, l’absence de prise en compte de l’utilisateur, la fragmentation entre interprétabilité globale et locale, ainsi que leur applicabilité limitée aux modèles génératifs.La thèse établit d’abord un cadre systématique d’évaluation des méthodes d’explicabilité fondées sur l’influence, montrant que de nombreuses méthodes de pointe sont fortement sensibles aux valeurs aberrantes de classe, qui dominent les scores d’attribution tout en offrant une faible pertinence sémantique. Pour remédier à ce problème, la thèse propose AIDE, un cadre novateur d’explications contrastives et orientées par l’intention de l’utilisateur, qui combine les signaux d’influence avec la proximité sémantique et la diversité afin de produire des explications robustes, personnalisées et taillées au raisonnement humain.Ensuite, la thèse s’attaque au fossé persistant entre interprétabilité globale et locale. Elle introduit Influence-aware Prototypes (InfProto), un cadre unifié qui relie ce que le modèle a appris (``what'') aux raisons de ses prédictions (``why''). En identifiant des cohortes comportementales à partir de schémas d’influence partagés, InfProto génère des explications qui capturent simultanément la structure globale et le raisonnement local de décision, améliorant ainsi la compréhension des utilisateurs et leur capacité à former un modèle mental fidèle du comportement du système.La thèse étend ensuite l’attribution des données au paradigme émergent de la génération augmentée par récupération (RAG) dans les LLMs. Elle formalise l’attribution des documents comme un problème de théorie des jeux et évalue l’applicabilité des méthodes basées sur les valeurs de Shapley dans ce contexte, en mettant en évidence leurs limites pour modéliser les dépendances entre documents. Pour surmonter ces difficultés, la thèse propose FACILE, un cadre d’attribution efficace et sensible aux interactions, fondé sur les machines de factorisation (FM). FACILE modélise à la fois les contributions marginales et les interactions par paires entre documents, permettant une attribution fidèle en présence de redondance, de complémentarité et de raisonnement multi-étapes.Des évaluations empiriques approfondies ainsi que des études utilisateurs démontrent que les méthodes proposées améliorent la robustesse, la fidélité et l’utilisabilité des explications, tant pour les modèles de ML traditionnels que pour les systèmes basés sur les LLMs. Dans son ensemble, cette thèse fait progresser les fondements de l’attribution des données en passant d’explications isolées au niveau de l’instance à des cadres unifiés, sensibles aux interactions et centrés sur l’utilisateur, comblant ainsi le fossé entre les méthodes classiques d’explicabilité et les exigences des systèmes d’intelligence artificielle générative modernes.