Automatic analysis of image quality criteria in natural scenes using deep neural networks - Equipe Multimédia
Thèse Année : 2023

Automatic analysis of image quality criteria in natural scenes using deep neural networks

Analyse automatique de critères de qualité d'image sur scènes naturelles par réseaux de neurones profonds

Résumé

As smartphone cameras became more prevalent than traditional camera systems, the demand for precise measurements increased. This Ph.D. dissertation proposes using deep learning systems to evaluate image-quality criteria specific to smartphone camera evaluation, and more specifically texture evaluation. This dissertation addresses several limitations in current image-quality assessment methods for smartphone cameras. Deep learning systems struggle with computational complexity due to high-resolution smartphone images, and downsizing would lead to information loss for evaluating noise and details preservation. Consequently, it is essential to find the relevant image regions to assess a camera attribute to alleviate these problems. Additionally, the lack of suitable datasets hinders the development of learning-based methods aimed at benchmarking smartphone cameras.Furthermore, when comparing cameras, it is essential to capture the same content to facilitate direct comparison. In standard camera benchmarking protocols, multiple shots are collected from the same content. This setting deviates from traditional machine learning approaches, where training and test data are assumed to be independent and identically distributed (iid). However, the non-independent nature of our data is frequently overlooked in the image-quality assessment literature.To overcome these challenges, this research introduces several contributions: (i). A region selection method is introduced to automatically detect relevant regions for evaluating specific quality attributes. Adapting the class activation map method for a regression problem, we outperform traditional chart-based approaches in evaluating texture quality and permitting the usage of deep learning methods on charts shot in laboratory conditions. In this work, we use texture quality as an illustrative example of camera quality attributes. However, our methodology is designed to be applicable to other attributes, such as noise, as well. (ii) A new in-the-wild dataset is created to accurately reflect the complex mixture of defects commonly found in smartphone camera images and reflect the scenario of camera benchmarking, where several different scenes are shot by multiple camera devices. This dataset, annotated through pairwise comparisons, allows us to perform a large evaluation of different methods in different practical scenarios, setting guidelines for the usage of deep learning systems for camera quality evaluation. (iii) We introduce a new image quality assessment setup and method where we go beyond the traditional iid assumption. We consider multiple images with varying quality of the same content available at test time. We use the specificity of this camera quality estimation setting to enhance the quality prediction accuracy by introducing a batch-based pseudo-reference which allows us to use full-reference methods in the no-reference setting.
Alors que les caméras de smartphones sont devenues plus répandues que les systèmes de caméras traditionnels, la demande de mesures précises de qualité a augmenté. Cette thèse de doctorat propose d'utiliser des systèmes d'apprentissage profond pour évaluer de manière plus approfondie les critères de qualité d'image spécifiques à l'évaluation des caméras de smartphones, et plus particulièrement l'évaluation de la texture, là où les approches précédentes reposaient sur la photographie de mires en laboratoire ou bien n'évaluaient qu'une qualité globale de l'image. Cette thèse aborde de manière exhaustive plusieurs limites des méthodes actuelles d'évaluation de la qualité d'image pour les caméras de smartphones. Les systèmes d'apprentissage profond se heurtent à une complexité de calcul accrue due à la haute résolution des images de smartphones, et une réduction de la taille entraînerait inévitablement une perte d'informations pour apprécier pleinement la préservation du bruit et des détails. Par conséquent, il est essentiel de développer des stratégies pour identifier les régions d'image pertinentes pour évaluer les attributs d'un appareil photo afin d'atténuer ces problèmes. En outre, le manque d'ensembles de données appropriés constitue un obstacle majeur qui entrave le développement de méthodes basées sur l'apprentissage visant à évaluer de manière robuste les appareils photo de smartphones.Par ailleurs, lors de la comparaison des appareils photo, il est essentiel de photographier le même contenu pour faciliter la comparaison directe et garantir une comparaison juste et équitable. Dans les protocoles standard d'évaluation comparative des appareils photo, plusieurs photos sont prises à partir du même contenu. Ce cadre méthodologique s'écarte des approches traditionnelles d'apprentissage automatique, dans lesquelles les données d'apprentissage et de test sont supposées être indépendantes et identiquement distribuées (iid). Cependant, la nature non indépendante de nos données est souvent négligée dans la littérature sur l'évaluation de la qualité des images.
Fichier principal
Vignette du fichier
114620_TWORSKI_2023_archivage.pdf (78.12 Mo) Télécharger le fichier
Origine Version validée par le jury (STAR)

Dates et versions

tel-04517691 , version 1 (22-03-2024)

Identifiants

  • HAL Id : tel-04517691 , version 1

Citer

Marcelin Tworski. Automatic analysis of image quality criteria in natural scenes using deep neural networks. Signal and Image Processing. Institut Polytechnique de Paris, 2023. English. ⟨NNT : 2023IPPAT031⟩. ⟨tel-04517691⟩
99 Consultations
2 Téléchargements

Partager

More