Soutenance de thèse de FOSSE Loïc
Titre de thèse
Une compréhension informationnelle et géométrique de la structure de l'espace des tâches dans les modèles de réseaux neuronaux profonds appliqués au traitement automatique du langage naturel
An informational and geometrical understanding of task space structure in Deep Neural Network models applied to Natural Langage Processing
Résumé de la thèse
Le concept de tâche a toujours occupé une place centrale dans le domaine du traitement automatique du langage naturel (TALN). Une grande partie des travaux développés dans ce domaine vise à créer des systèmes ou modèles capables de réaliser des tâches, c'est-à-dire de prédire une valeur de sortie à partir d'une donnée d'entrée.
Dans cet objectif, le TALN a subi d'importantes transformations depuis ses débuts. Alors que l'approche dominante a longtemps consisté à traiter chaque tâche de manière indépendante -- avec notamment la construction de modèles ad hoc pour chaque tâche --, le développement à grande échelle des architectures d'apprentissage profond a introduit un nouveau paradigme : celui du pré-entraînement d'un modèle généraliste avant de le spécialiser aux différentes tâches.
Ce paradigme s'est rapidement imposé comme un standard en raison des gains de performance et de simplicité de construction qu'il permet sur une grande partie des tâches classiques de TALN.
Aujourd'hui, un tel modèle généraliste est également pré-entraîné à réaliser plusieurs milliers (voire plusieurs dizaines de milliers) de tâches. Cela conduit l'espace des paramètres du modèle à encoder implicitement les nombreuses interactions entre ces tâches.
Cet espace est de plusieurs milliers de dimensions et structuré autour d'architectures neuronales complexes et lourdes.
Ainsi, en dépit de leurs performances manifestes, la compréhension du fonctionnement des modèles actuels reste encore largement à établir et leur comportement demeure particulièrement difficile à appréhender intuitivement.
Afin d'adresser ces enjeux, le présent manuscrit de thèse développe l'idée de travailler dans l'espace des tâches, c'est-à-dire l'espace décrit par les tâches que ces modèles doivent réaliser, afin de mieux caractériser les informations qu'ils doivent encoder.
En postulant que les tâches sont des objets qui possèdent une certaine structure, c'est-à-dire une certaine manière d'être comparées les unes aux autres, je propose différents points de vue et outils afin de mieux comprendre cette notion de structure.
Le premier point de vue est informationnel, emprunté à la théorie de la décision statistique. Il permet de fournir une formalisation des questions suivantes : la maîtrise d'une tâche fournit-elle des informations utiles pour en réaliser une autre ? Et si tel est le cas, ces informations peuvent-elles être quantifiées ?
Le second est géométrique et s'appuie cette fois sur le domaine de la géométrie de l'information. Il permet de mieux comprendre comment combiner, au sein d'un même modèle, des informations provenant de différentes tâches sources, de manière à obtenir de bonnes performances sur ces mêmes tâches.
Thesis resume
The concept of a task has always occupied a central position in the field of natural language processing (NLP). A substantial proportion of the work conducted in this field aims to develop systems or models capable of performing tasks, that is, of predicting an output value from an input data.
To this end, NLP has undergone significant transformations since its beginnings. Whereas the dominant approach long consisted in treating each task independently -- notably through the construction of ad hoc models for each task --, the large-scale development of deep learning architectures has introduced a new paradigm: the pre-training of a general model prior to its specialization for different tasks.
This paradigm rapidly became standard because of the performance improvements and the greater simplicity of model construction that it enables across a broad range of classical NLP tasks.
Today, such a general model is also pre-trained to perform several thousand, or even several tens of thousands, of tasks. As a result, the model's parameter space implicitly encodes the numerous interactions between these tasks.
This space has several thousand dimensions and is structured around complex and computationally intensive neural architectures.
Thus, despite their manifest performance, the functioning of current models remains largely to be understood, and their behavior remains particularly difficult to apprehend intuitively.
To address these challenges, this thesis develops the idea of working in task space, that is, the space described by the tasks that these models are required to perform, in order to better characterize the information that they must encode.
Under the assumption that tasks are objects possessing a certain structure, that is, a particular way of being compared with one another, I propose different perspectives and tools to improve the understanding of this notion of structure.
The first perspective is informational and is borrowed from statistical decision theory. It provides a formalization of the following questions: does mastery of one task provide useful information for performing another? If so, can this information be quantified?
The second perspective is geometric and draws on the field of information geometry. It provides a better understanding of how information originating from different source tasks can be combined within a single model in order to achieve good performance on those tasks.