Sparse and Archetypal Decomposition Algorithms for Hyperspectral Image Restoration and Spectral Unmixing
Algorithmes de décomposition parcimonieuse et archétypale pour la restaurationd'images hyperspectrales et le démélange spectral
Résumé
Hyperspectral imagery has emerged as a powerful tool for monitoring remote areas and accurately identifying materials within a scene, contributing significantly to our understanding of the environment.While it finds applications in fields as diverse as precision farming, astronomy and plastics recycling, there are still considerable challenges to address for its wider adoption.Traditionally confined to domain experts, the increasing volume of hyperspectral data requires more efficient processing methods than manual labor can provide to assist decision-makers effectively.The rise of deep learning, primarily driven by advancements in understanding natural images from the computer vision research community, has introduced new techniques able to automatically handle the inherent complexity of hyperspectral images in tasks such as land cover classification, image restoration, spectral unmixing or data fusion.The main ingredients for the success of artificial neural networks include a massive quantity of data, improved computing hardware and advances in learning algorithms.Moreover, these purely data-driven systems rely on sophisticated design choices based on prior knowledge about the task at hand.Yet, the rationale behind deep model predictions is often missing, hindering their usability in key scientific applications where accountability is crucial.Conversely, model-based learning methods rely on a set of core assumptions that the predictor uses to output a value given an unseen input, allowing the prediction to be logically explained and providing a potentially useful pattern to inform end-users.In this thesis, we contribute novel algorithms based on a matrix factorization framework designed to address hyperspectral image restoration and spectral unmixing, two fundamental tasks prevalent in applications leveraging hyperspectral data.We begin by introducing T3SC, a novel deep unfolding architecture derived from a sparse coding model, specifically tailored to overcome challenges posed by hyperspectral images.This hybrid approach, mixing deep learning and classical model-based image processing principles, enables efficient end-to-end training of model parameters without requiring massive data.Moving on to spectral unmixing, a critical step in further analyzing hyperspectral images, we first develop an efficient approach for blind linear unmixing, EDAA, based on archetypal analysis, an insufficiently investigated model formulation.Under this framework, the spectra of the materials of interest, i.e. endmembers, are modeled as convex combinations of pixels present in the scene.Our method achieves state-of-the-art results on a broad range of unmixing by leveraging an adequate model selection procedure and without requiring extensive hyperparameter tuning.Our next contribution extends the archetypal analysis framework to the semi-supervised unmixing setting, assuming knowledge of the number of materials of interest in the scene.Despite the non-convex nature of the associated minimization problem, our approach, SUnAA, demonstrates its viability in tackling hard unmixing scenarios in which traditional sparse unmixing techniques tend to fail.Finally, we conduct a comprehensive comparison of various unmixing techniques across diverse scenarios, highlighting the advantages of supervised, semi-supervised, and blind unmixing categories depending on the specific setup. To facilitate exploration and application of these methods, we provide an open-source Python package named HySUPP.All these contributions have led to the development of an open-source software package, enhancing accessibility, reproducibility and usability in the hyperspectral research community.
L'imagerie hyperspectrale est devenue un puissant outil pour surveiller les zones éloignées et identifier avec précision les matériaux présents dans une scène, contribuant ainsi de manière significative à notre compréhension de l'environnement.Bien qu’elle trouve des applications dans des domaines aussi variés que l’agriculture de précision, l’astronomie et le recyclage des plastiques, il reste encore des défis considérables à relever pour son adoption à plus grande échelle.Traditionnellement réservé aux experts du domaine, le volume croissant de données hyperspectrales nécessite des méthodes de traitement plus efficaces que celles que le travail manuel peut fournir pour aider les décideurs.L'essor de l'apprentissage profond a introduit de nouvelles techniques capables de gérer automatiquement la complexité inhérente des images hyperspectrales dans des tâches telles que la classification des sols, la restauration d'images et le démélange spectral.Les principaux ingrédients du succès des réseaux de neurones artificiels tiennent en l’abondance de données, l’amélioration des capacités de calculs informatiques ainsi qu’aux progrès dans les algorithmes d’apprentissage.De plus, ces systèmes qui reposent exclusivement sur les données nécessitent des choix de conception sophistiqués fondés sur une connaissance préalable de la tâche à accomplir.Pourtant, la justification des prédictions des modèles profonds fait souvent défaut.À l'inverse, les méthodes d'apprentissage dites classiques, fondées sur des modèles, reposent sur un ensemble d'hypothèses de base que le prédicteur utilise pour générer une valeur à partir d'une nouvelle entrée, permettant d'expliquer logiquement la prédiction aux utilisateurs finaux.Dans cette thèse, nous proposons de nouveaux algorithmes qui reposent sur la notion de décomposition parcimonieuse et archétypale du signal, et qui ont été spécifiquement conçus pour traiter la restauration d'images hyperspectrales et le démélange spectral.Nous commençons par présenter T3SC, une nouvelle architecture dite déroulée, qui repose sur un modèle de codage parcimonieux, conçue pour surmonter les défis spécifiques posés par les images hyperspectrales.Cette approche hybride, mêlant apprentissage profond et principes classiques de traitement d'images permet un entraînement efficace de bout en bout des paramètres du modèle sans nécessiter une quantité massive de données.Dans le cadre du démélange spectral, une étape critique dans l'analyse plus approfondie des images hyperspectrales, nous développons d'abord une approche efficace pour le démélange linéaire dit aveugle, EDAA, fondé sur l'analyse archétypale.Sous cette formulation, les spectres des matériaux d'intérêt sont modélisés sous forme de combinaisons convexes de pixels présents dans la scène.Notre méthode permet d'obtenir des résultats état-de-l’art sur une large gamme de jeux de données en tirant parti d'une procédure de sélection de modèle adéquate et sans nécessiter un réglage fastidieux des hyperparamètres.Notre contribution suivante étend le cadre précédent au contexte de démélange semi-supervisé. Malgré la nature non convexe du problème de minimisation associé, notre approche, SUnAA, démontre sa pertinence dans la résolution de scénarios de démélange difficiles dans lesquels les techniques traditionnelles de démélange dites parcimonieuses ont tendance à échouer.Enfin, nous effectuons une comparaison poussée de diverses techniques de démélange dans plusieurs scénarios simulés, mettant en évidence les avantages des catégories de démélange supervisé, semi-supervisé et aveugle en fonction de la configuration expérimentale. Pour encourager l’adoption de ces méthodes, nous proposons un package Python open source : HySUPP.Toutes ces contributions ont conduit au développement d'un logiciel libre dédié, améliorant l'accessibilité et la reproductibilité au sein de la communauté d'utilisateurs et de chercheurs en imagerie hyperspectrale.
| Origine | Version validée par le jury (STAR) |
|---|