par Picco, Enrico 
Président du jury Mognetti, Bortolo Matteo
Promoteur Massar, Serge
Publication Non publié, 2024-07-05
Président du jury Mognetti, Bortolo Matteo
Promoteur Massar, Serge
Publication Non publié, 2024-07-05
Thèse de doctorat
| Résumé : | In recent years, the rapid advancement of Artificial Intelligence (AI) technologies has produced a significant impact on our society. However, as AI systems increase in complexity, they encounter significant challenges, especially concerning energy efficiency and computational demands. These challenges predominantly stem from the reliance of AI systems on conventional digital processors, which are based on the von Neumann architecture. To overcome these limitations, there is a growing interest in exploring unconventional computing methods that leverage diverse physical substrates for computation. A possible source of inspiration comes from biological neural networks, which are far more efficient than their artificial counterparts. In this context, Reservoir Computing has emerged as one of the bio-inspired alternatives to implement machine learning using physical substrates. This PhD thesis centers on benchmarking Reservoir Computing across new applications and exploring innovative methodologies. At the heart of my research is the experimental implementation of an optoelectronic reservoir computer, which combines photonic hardware with a high-speed electronic device, a field-programmable gate array board. This experimental system is used to address three research questions. (1) The development of a training procedure called ‘Timesteps of Interest’ to solve a complex task, the recognition of human actions in video sequences. This approach achieves results that are comparable to those obtained with more complex neural networks implemented on conventional digital hardware. (2) The investigation of Reservoir Computing architectures featuring hierarchical interconnections of reservoirs, which demonstrate enhanced performance over standard Reservoir Computing schemes. (3) The adoption of a new optimization technique for the reservoir, based on the use of a delayed input. This method proves to be simpler and more effective than the optimization traditionally used for Reservoir Computing.With this work, I hope to make a small contribution in advancing the potential of Reservoir Computing and addressing the practical challenges that hinder its transition into real-world applications. |
| Ces dernières années, le développement rapide des technologies de l'Intelligence Artificielle (IA) a eu un impact significatif sur notre société. Cependant, à mesure que les systèmes d'IA deviennent plus complexes, ils rencontrent d'importants défis, notamment en termes d'efficacité énergétique et de demandes computationnelles. Ces défis découlent principalement du fait que les systèmes d'IA dépendent des processeurs numériques conventionnels, qui sont basés sur l'architecture de von Neumann. Pour surmonter ces limitations, un intérêt croissant est porté à l'exploration de méthodes de calcul non conventionnelles qui tirent parti de substrats physiques divers pour le calcul. Une source possible d'inspiration provient des réseaux neuronaux biologiques, qui sont bien plus efficaces que leurs homologues artificiels. Dans ce contexte, le Reservoir Computing est l'une des alternatives bio-inspirées actuellement étudiée pour mettre en œuvre l'apprentissage automatique à l'aide de substrats physiques.Cette thèse de doctorat est axée sur l’étude de nouvelles applications du reservoir computing et sur l'exploration de méthodologies innovantes. Au cœur de ma recherche se trouve la mise en œuvre expérimentale d'un reservoir computer optoélectronique, qui combine du matériel photonique avec un dispositif électronique à grande vitesse, un field-programmable gate array. Ce système expérimental est utilisé pour répondre à trois questions de recherche. (1) Le développement d'une procédure d'entraînement appelée "Timesteps of Interest" pour résoudre une tâche complexe, la reconnaissance d'actions humaines dans des séquences vidéo. Cette approche permet d'obtenir des résultats comparables à ceux obtenus avec des réseaux neuronaux plus complexes mis en œuvre sur du matériel numérique conventionnel. (2) L'étude d'architectures de reservoir computing comportant des interconnexions hiérarchiques de réservoirs, qui démontrent des performances accrues par rapport aux schémas standard. (3) L'adoption d'une nouvelle technique d'optimisation pour le réservoir, basée sur l'utilisation d'une entrée retardée. Cette méthode s'avère plus simple et plus efficace que l'optimisation traditionnellement utilisée pour le reservoir computing.Avec ce travail, j'espère apporter une petite contribution à l'avancement du potentiel de reservoir computing et relever les défis pratiques qui entravent sa transition dans les applications du monde réel. |
