Résultats du premier Essai national d’Aptitude des micro-Capteurs (EAµC) pour la surveillance de la qualité de l’air
L’émergence sur le marché de micro-capteurs connectés a conduit le dispositif national de surveillance de la qualité de l’air à s’intéresser à la fiabilité de ces nouveaux dispositifs. Il n’existe à l’heure actuelle aucun cadre normatif national ou européen permettant de comparer les performances de ces différents appareils commercialisés aux appareils de mesures de référence.
Le premier essai d’aptitude national sur le terrain de micro-capteurs de gaz et de particules installés en site fixe, coordonné par le Laboratoire Central de Surveillance de la Qualité de l’Air (LCSQA), s’inscrit dans la continuité des travaux amorcés ces deux dernières années en laboratoire pour déterminer les caractéristiques de performance des micro-capteurs[1]. Ces travaux ont notamment permis de comprendre les effets de différents paramètres de mesures sur les systèmes capteurs mais il est cependant difficile en laboratoire de reproduire l’ensemble des facteurs d’influences sur la mesure. C’est pourquoi, les essais sur le terrain utilisant une comparaison directe avec des mesures de référence permettent d’obtenir une meilleure représentativité de ces effets.
Cet essai, conduit de début janvier à mi-février 2018, avait pour objectif de placer en conditions réelles sur un site de typologie urbaine, un grand nombre de systèmes différents afin d’évaluer leur aptitude à suivre les principaux polluants d’intérêt pour l’air ambiant : le dioxyde d’azote (NO2), l’ozone (O3) et les particules (PM2,5 et PM10).
Organisé par le LCSQA/IMT Lille Douai sur la station de mesure de la qualité de l’air de son Centre de Recherche, cet essai a regroupé 16 participants qui ont mis en œuvre 44 dispositifs au total, réplicas inclus. 17 systèmes étaient de conception et d’origines différentes (France, Pays-Bas, Royaume-Uni, Espagne, Italie, Pologne, États-Unis). Les systèmes mis à disposition ont été fournis par des fabricants, des distributeurs ou des utilisateurs volontaires œuvrant dans le cadre du dispositif national de surveillance (Associations Agréées de surveillance de la qualité de l’air, AASQA, et membres du LCSQA). Les systèmes mis à disposition présentaient ainsi des historiques d’utilisation différents. Cet essai ayant été réalisé conformément aux pratiques en vigueur pour l’organisation des comparaisons inter-laboratoires ou des essais d’aptitude, chaque système testé est identifié à l’aide d’un code alphanumérique unique. Les résultats ainsi obtenus ont tout d'abord fait l'objet d'une synthèse[2] en 2018 se concentrant sur les données NO2, O3 et PM2,5.
Ce premier travail a ensuite été complété par l’exploitation des données PM1 et PM10 ainsi que la levée de confidentialité d'une partie des participants permettant de dresser une liste de correspondance entre code alphanumérique et participant. Ce document présente donc la méthodologie mise en œuvre avec un comparatif des notations qualitatives et les résultats pour l’ensemble des polluants étudiés. Il inclut également l’intégralité des fiches individuelles d’évaluation produites, avec l’ensemble des données chiffrées comme décrites ci-dessous.
Ainsi, les données ont été exploitées par le LCSQA/Ineris par comparaison aux mesures d’instruments de référence ou équivalents à la méthode de référence. Un volume de plus de 70 millions de données minutes a dû être traité par des méthodes élaborées spécifiquement. Outre les performances métrologiques de ces instruments, une attention particulière a été portée à d’autres paramètres tels que la simplicité de mise en œuvre, l’autonomie, la portabilité, la fiabilité de communication (GSM, Wifi, Bluetooth, filaire, …), la convivialité des applications de récupération des données en tenant compte de l’objectif recherché. Chaque système a fait l’objet d’une fiche d’évaluation par polluant mesuré. Cette fiche inclut un descriptif technique succinct, un tableau récapitulatif des performances métrologiques, un radar « papillon » affichant des notations de 0 à 5 pour 8 critères qualitatifs ou quantitatifs, les relevés des séries temporelles de chacun des réplicas testés comparés aux données de l’instrument pris en référence, les graphiques de corrélation, et enfin un avis général.
Il est important de rappeler que les systèmes micro-capteurs ont été testés en conditions fixes. Ainsi, les résultats obtenus ne peuvent pas être extrapolés à une mise en œuvre en mobilité. Par ailleurs, les radars d’évaluation construits pour cette évaluation donnent une vision de l’ensemble des critères de performance à prendre en compte qui ont un poids plus ou moins important selon l’usage auquel les micro-capteurs sont destinés.
En termes de perspectives de ces travaux et afin de compléter cette première évaluation, un second essai d’aptitude a été réalisé durant l’été 2018 afin de tenir compte d’un potentiel effet de saisonnalité, notamment dans la composition de la matrice d’air (concentrations plus élevées en O3 et moins élevées en NO2 et PM). Ces résultats seront disponibles courant 2020.
Néanmoins, la dépendance des conditions environnementales ne permet d’évaluer les systèmes capteurs que dans des situations très précises. Il semble donc nécessaire pour une évaluation complète des systèmes de mesures de pouvoir combiner la complexité d’une matrice réelle aux spécificités de concentrations contrôlées. Ainsi, une étude sur la faisabilité d’un dopage de matrice réelle par des mélanges gazeux et particulaires est en cours de réalisation par le LCSQA/Ineris
Results of the 1st French Intercomparison Exercise for Air Quality Monitoring sensors (EAµC)
The emergence of connected sensors on the market led the French national air quality monitoring network to focus on the reliability of these new devices. Currently, no national or European normative framework is able to establish a comparison between the performances of the commercially available devices and the reference measurement systems.
This first national intercomparison campaign of fixed site gas and particulate sensors coordinated by the French Central Laboratory of Air Quality Monitoring (Laboratoire Central de Surveillance de la Qualité de l’Air LCSQA) follow the works initiated two years ago in laboratory to determine the performance characteristics of sensors[1]. These works gave a better understanding of the effects of different measurement parameters on the sensors’ systems, though it is still difficult to reproduce all the measurement interferent in laboratory. That’s the reason why the field tests using a direct comparison with reference measurements help to get a better representativeness of these effects.
The purpose of this test, carried out from early January to mid-February 2018, was to test numerous sensor systems under real conditions, on an urban typology site, in order to evaluate their ability to monitor the main pollutants of interest for ambient air: nitrogen dioxide (NO2), ozone (O3) and particulate matter (PM2.5 and PM10).
Led by the LCSQA/IMT Lille Douai on the air quality monitoring station of its research centre, this test gathered 16 participants who in total implemented 44 systems in total, including replicas. 17 systems coming from different origin and with different design (France, Netherlands, United-Kingdom, Spain, Italy, Poland, United States). The available systems were provided by manufacturers, distributors or volunteer users working in the national monitoring network (Approved Air Quality Monitoring Association, AASQA and members of the LCSQA). They presented different usage hystory. This test has been made in accordance with the established practice for the organization of inter-laboratory comparisons or proficiency test. Each system is thus identified through a unique alphanumeric code. The results obtained were first summarized[2] in 2018 with a focus on the NO2, O3 and PM2.5 data.
This first work has then been completed by the evaluation of PM1 et PM10 data and the waiver of confidentiality for a part of the participants in order to establish a correlation list between alphanumeric code and participant. This document presents the implemented methodology including a comparison between the qualitative ratings and the results for all pollutants studied. It also includes all the individual evaluation sheets produced, with all the figures as described below.
The entire data set have been then processed by the LCSQA/Ineris in comparison with the reference measurement instruments or equivalent methods. More than 70 million of minute data had to be processed using methods specifically developed. Besides the metrological performances of these systems, a careful attention was paid to other parameters such as an easy implementation, autonomy, portability, reliability of the communication (GSM, Wi-Fi, Bluetooth, wired connexion, ...), data recovery friendliness taking into account the target objective. An evaluation sheet for each system and each individual pollutant has been produced. Each sheet includes a brief technical description, a summary table of the metrological performances, a “butterfly” radar presenting ratings from 0 to 5 for 8 qualitative or quantitative criteria, time series data for each of the tested replicas compared with the selected reference instrument’s data, correlation graphs and finally a general comment.
It must be reminded that the sensors systems have been tested in fixed-conditions. The results obtained can’t be extrapolated to a mobile implementation. Moreover, the evaluation radars built for this exercise give a vision of all the performance criteria that must be taken into account, and which are more or less essential depending on the intended use of the sensors.
In terms of work’s perspective, and in order to compete this first evaluation, a second intercomparison campaign has been made during summer 2018 in order to consider a potential seasonality effect, in particular within the air matrix composition (higher concentrations of O3 and lower concentrations of NO2 and PM). These results will be made available during 2020.
Nevertheless, dependence on environmental conditions means that sensor systems can only be evaluated in very specific situations. In order to get a complete systems evaluation, it is then necessary to be able to combine the complexity of a real air matrix to the specifications of controlled concentrations. A study on the feasibility of enhanced ambient air matrix with gaseous and PM mixtures is being carried out by LCSQA/Ineris.
[1] N. REDON, F. DELCOURT, S. CRUNAIRE, N. LOCOGE, Protocole de détermination des caractéristiques de performance métrologique des micro-capteurs - étude comparative des performances en laboratoire de micro-capteurs de NO2, Rapport LCSQA, mars 2017. https://www.lcsqa.org/fr/rapport/2016/mines-douai/protocole-determination-caracteristiques-performance-metrologique-micro-cap
N. REDON, S. CRUNAIRE, B. HERBIN, E. MORELLE, F. GAIE-LEVREL, T. AMODEO, Faisabilité de la mise en œuvre d'un protocole pour l'évaluation en laboratoire de micro-capteurs pour la mesure des concentrations massiques particulaires, Note technique LCSQA, juillet 2018. https://www.lcsqa.org/fr/rapport/faisabilite-de-la-mise-en-oeuvre-dun-protocole-pour-levaluation-en-laboratoire-de-micro
[2] S. CRUNAIRE, N. REDON et L. SPINELLE, 1er Essai national d’Aptitude des micro-Capteurs (EAµC) pour la surveillance de la qualité de l’air : synthèse des résultats, Rapport LCSQA DRC_18_174307_09689A, novembre 2018.
https://www.lcsqa.org/system/files/rapport/LCSQA2017-CILmicrocapteurs-synthese_resultats.pdf