Article original datant du 01/06/22

Des chercheurs de l’Organisation Mondiale de la Santé expliquent des erreurs dans des estimations de mortalité très médiatisées pour l’Allemagne et la Suède.

Des scientifiques travaillant avec l’Organisation Mondiale de la Santé (OMS) ont corrigé certaines erreurs surprenantes dans ses estimations du nombre de décès causés par la pandémie, après une avalanche de questions sur le rapport original de l’OMS, publié début mai.

Dans la révision d’un document technique sur leurs méthodes, les chercheurs ont réduit de 37 % l’estimation des décès liés à la pandémie pour l’Allemagne, ramenant son taux de surmortalité en dessous de ceux du Royaume-Uni et de l’Espagne. Ils ont également augmenté de 19 % leur estimation pour la Suède (voir « Estimations corrigées des taux de mortalité liés à la pandémie »).

L’étude de l’OMS publiée le 5 mai avait estimé les taux de décès excédentaires – c’est-à-dire l’augmentation de la mortalité au-delà des niveaux attendus – pour 194 pays. L’organisation a indiqué qu’entre 13,3 millions et 16,6 millions de personnes étaient décédées dans le monde de janvier 2020 à décembre 2021 à cause de la pandémie, soit plus de 2,5 fois le nombre de décès signalés dans le cadre du COVID-19. Cette estimation était plus prudente que d’autres analyses de la surmortalité (voir « Le véritable bilan du COVID » dans le graphique ci-après).

Mais certains observateurs n’ont pas tardé à s’inquiéter des chiffres concernant certains pays, notamment l’Allemagne. On pensait qu’elle avait mieux supporté le COVID-19 que de nombreux autres pays d’Europe, mais l’OMS a estimé que son taux de mortalité excédentaire était plus élevé que celui de nombre de ses voisins.

« Nous nous sommes presque immédiatement rendu compte qu’il y avait un problème », déclare Jon Wakefield, statisticien à l’Université de Washington à Seattle, qui dirige le projet de l’OMS sur les décès mondiaux dus au COVID-19 et a publiquement tweeté le document révisé le 18 mai. Il précise que l’équipe est maintenant en train de réexaminer toutes ses estimations.

Le projet de l’OMS est un modèle vivant, qui, selon les chercheurs, allait toujours être mis à jour au fur et à mesure que les démographes obtenaient plus d’informations. L’organisation n’a pas encore modifié les chiffres sur le site Web de son projet (voir go.nature.com/3azupk5). Les mises à jour systématiques officielles des estimations de la surmortalité – y compris pour l’Allemagne et la Suède – suivront « lors de la prochaine itération prévue plus tard cette année », déclare Somnath Chatterji, conseiller principal à la Division des données, de l’analyse et de la diffusion pour l’impact de l’OMS à Genève, en Suisse.

Les erreurs sont importantes car l’étude de l’OMS a rapidement reçu l’attention des médias du monde entier en tant qu’estimation officielle du nombre réel de vies perdues à cause de la pandémie. Le projet est également politiquement sensible : certains critiques ont utilisé la première série d’estimations incorrectes pour remettre en question la politique allemande en matière de pandémie. Et le gouvernement indien conteste l’estimation de l’OMS, qui fait état de 3,3 millions à 6,5 millions de décès dans le pays, soit environ 10 fois plus que le bilan officiel de l’Inde pour le COVID-19. (D’autres chercheurs affirment que l’estimation de l’OMS est plus digne de foi que celle du gouvernement indien ; le chiffre de l’OMS est également conforme à plusieurs autres études).

Dans une interview accordée à Nature, Wakefield a expliqué les problèmes que son équipe a trouvés dans son travail. « Nous voulons que cela sorte parce que c’est faux. Nous devons le corriger », déclare-t-il.

Le tableau d’ensemble

Pour savoir combien de personnes sont mortes à cause de la pandémie, les chercheurs modélisent tous les décès survenus au cours de la période et soustraient une base de référence de décès attendus (ceux qui se seraient produits en l’absence de pandémie). Ce qui reste, ce sont les décès hors norme : une mesure plus fiable de la mortalité liée à la pandémie que les chiffres officiels, car de nombreux pays ont sous-déclaré ou omis de déclarer les décès liés au COVID.

Ce type de projet ne peut donner que des approximations grossières, car il nécessite une modélisation complexe et une révision régulière au fur et à mesure de l’arrivée de nouvelles données. Par exemple, selon l’OMS, seuls 100 des pays du monde ont jusqu’à présent communiqué des données nationales sur les décès chaque mois pendant au moins une partie de la période pandémique. Les chiffres de l’OMS ont tout de même montré que certains pays, comme l’Inde, la Russie et l’Égypte, avaient massivement sous-reporté leurs décès dus au COVID-19 : les décès excédentaires de ces pays au cours de la période 2020-21 étaient bien plus élevés que leurs chiffres officiels. Les estimations ont également montré les pays qui ont connu beaucoup plus de décès que les niveaux normaux – dont plusieurs en Amérique du Sud. Le Pérou se distingue, avec une flambée des décès qui a presque doublé sa mortalité habituelle pour ces deux années.

Ce qui a surpris les critiques, cependant, ce sont certains des résultats pour les pays riches qui communiquent des données sur les décès en temps opportun, comme l’Allemagne et la Suède. Le problème semblait provenir de la façon dont les décès attendus avaient été modélisés. Dans les heures qui ont suivi la publication des résultats de l’OMS, des commentateurs sur Twitter ont souligné que la prédiction de l’organisation concernant la mortalité attendue en Allemagne en 2020-21 était étonnamment basse, ce qui a fait grimper les chiffres de la surmortalité.

Où l’OMS s’est trompée

Les chercheurs modélisent la mortalité attendue en extrapolant les tendances historiques. Par exemple, le World Mortality Dataset (WMD), un projet largement cité, utilise une extrapolation linéaire à partir des décès survenus en 2015-19 pour tenir compte des tendances sous-jacentes de la mortalité. Un chercheur de ce projet, l’économiste Ariel Karlinsky de l’Université hébraïque de Jérusalem en Israël, faisait également partie de l’équipe technique de Wakefield. Cependant, le groupe de l’OMS a utilisé une fonction mathématique appelée spline à plaque mince pour estimer les décès attendus pour 2020-21. Malheureusement, comme l’ont noté les commentateurs sur Twitter, cette fonction semblait trop sensible à une légère baisse des décès en Allemagne en 2019 ; elle prévoyait également une baisse des décès en 2020 et 2021 (voir « L’énigme allemande » dans le graphique ci-après).

« Extrapoler une spline est une mauvaise pratique connue », déclare Jonas Schöley, démographe à l’Institut Max Planck de recherche démographique de Rostock, en Allemagne. Nature a parlé à d’autres démographes, qui sont d’accord.

Schöley a été invité à examiner le document technique de l’OMS en avril dernier et affirme avoir averti Wakefield à l’époque que les extrapolations splines peuvent conduire à des « prévisions de tendances erratiques ». Mais à cette époque, les données et les estimations avaient été gravées dans le marbre par l’équipe de l’OMS ; Schöley était consulté pour vérifier un aspect différent du travail.

Après les critiques, Wakefield et l’équipe de l’OMS ont réexaminé leur méthode d’extrapolation. Mais ils ont alors découvert un deuxième problème, qui s’est avéré plus préoccupant : leurs données concernant les décès réels en Allemagne ne correspondaient pas aux données brutes des bureaux statistiques allemands, également rassemblées dans des projets tels que l’ADM. Cette discordance affectait non seulement les décès déclarés en 2020 et 2021, mais aussi les données historiques de 2015-19. Cela avait joué un rôle majeur dans leur faible extrapolation des décès attendus.

La discordance s’est produite parce que les scientifiques de l’OMS avaient ajusté – ou « mis à l’échelle » – les données brutes sur la mortalité. L’OMS procède souvent de la sorte pour les données qu’elle reçoit des pays, explique Wakefield. Cela peut être pour une bonne raison : l’organisation essaie d’ajuster la sous-déclaration, les incohérences avec d’autres flux de données ou les erreurs  » d’exhaustivité  » – lorsque les données de mortalité des derniers mois sont censées augmenter à mesure que d’autres résultats arrivent, par exemple. Mais il était moins évident que ce processus s’applique à l’Allemagne, un pays qui dispose de rapports détaillés sur la mortalité. « Nous devons examiner la manière dont l’ajustement pour la sous-déclaration est effectué », déclare Wakefield.

L’équipe de Wakefield est revenue aux données brutes et a utilisé une extrapolation linéaire en 2020 et 2021 (voir ‘Les décès révisés de l’Allemagne’). Ironiquement, l’extrapolation spline sur les données brutes donne des résultats similaires, ajoute Wakefield. L’effet global réduit les estimations de la surmortalité de l’Allemagne en 2020-21 de 195 000 à 122 000 (avec une fourchette comprise entre 101 000 et 143 000). Son taux de décès excédentaire tombe à 72,7 pour 100 000 personnes par an, contre 116 par an dans le précédent rapport de l’OMS.

Les chercheurs ont également corrigé les chiffres de l’OMS pour la Suède, suite à des critiques similaires. L’un des groupes qui a pesé dans la balance est le COVID-19 Actuaries Response Group – un forum composé principalement d’actuaires (spécialistes de l’application du calcul des probabilités et de la statistique aux questions de prévoyance sociale, d’assurances et de finances, NdT) basés au Royaume-Uni qui ont régulièrement examiné l’impact de la pandémie sur la mortalité. Le 16 mai, le groupe a publié un blog notant que les chiffres de mortalité de la Suède dans le rapport de l’OMS ne correspondaient pas à ceux de Statistics Sweden (go.nature.com/3nctx5s). En fait, les chiffres de l’OMS semblaient différer des sources officielles de déclaration pour de nombreux pays européens.

Il s’est avéré qu’il s’agissait des deux mêmes problèmes : la technique spline et la mise à l’échelle. Une fois de plus, l’équipe de Wakefield a révisé son approche pour utiliser l’extrapolation linéaire sur les données brutes (voir « Les décès révisés de la Suède »). Dans ce cas, le taux de décès excédentaire annuel de la Suède est passé de 55,8 à 66,1 pour 100 000. Schöley attribue à Wakefield le mérite de s’être rapidement attaqué au problème. « Un modèle sur la façon de gérer un examen public honnête par les pairs », a tweeté Schöley.

D’autres pays européens pourraient encore être affectés par la mise à l’échelle des chiffres de décès par l’OMS – la Norvège est un autre pays sur lequel les critiques ont soulevé des questions. M. Wakefield indique que son équipe va maintenant revoir les procédures de mise à l’échelle de l’OMS, ainsi que la manière dont elle extrapole à partir des données historiques. « Je ne pense pas que cela fasse une grande différence pour la plupart des pays », dit-il.

Les révisions rapprochent les chiffres de l’OMS pour l’Allemagne de ceux d’un autre modèle, produit par The Economist. Mais un troisième modèle, de l’Institute for Health Metrics and Evaluation (IHME) de Seattle, dans l’Etat de Washington, publié dans The Lancet, fait figure d’aberration. Il estime à plus de 200 000 le nombre de décès excédentaires pour l’Allemagne. « La méthode de The Economist est la plus transparente et la plus défendable », a écrit l’équipe de Wakefield dans son document technique.

Interrogé pour un commentaire, Haidong Wang, démographe et spécialiste de la santé de la population à l’IHME, a seulement répondu que les différences dans les estimations globales peuvent provenir de la manière dont les modèles traitent les données de mortalité, y compris la manière dont les chiffres sont ajustés pour les problèmes de sous-enregistrement et d’exhaustivité, et la manière dont les modèles estiment la mortalité attendue.

Comment comparer les pays

Dès que les résultats de l’OMS sont sortis, les chercheurs, les politiciens, les journalistes et autres les ont utilisés pour comparer les pays. Certains y ont vu un moyen d’évaluer les réponses politiques des nations à la pandémie.

Une des subtilités est que les taux de décès excédentaires ne sont pas la seule métrique utile. Une autre est la proportion de décès supérieurs à la norme dans un pays, ce qui peut donner des résultats légèrement différents. Par exemple, le nombre de décès en Allemagne pendant la pandémie était de 6,5 % supérieur à la normale, alors qu’en Suède, il était de 7,5 % supérieur (même si le taux de mortalité excédentaire par habitant de l’Allemagne est plus élevé que celui de la Suède ; voir « Décès supérieurs à la normale »). Ces chiffres sont assortis d’une marge d’incertitude – ou « intervalles crédibles », comme les chercheurs les appellent. Néanmoins, même lorsque les intervalles crédibles de deux pays se chevauchent, le pays dont l’estimation centrale est la plus élevée a une plus grande probabilité d’avoir réellement un taux de mortalité excédentaire plus élevé, explique Wakefield.

Les démographes expérimentent d’autres façons de montrer ces fourchettes (voir « Visualiser l’incertitude »). Ce graphique, qui présente les taux de mortalité excédentaire, y compris les chiffres révisés de l’Allemagne et de la Suède, a été généré par Victoria Knutson, une doctorante de l’Université de Washington qui a co-écrit le document technique révisé sur les méthodes d’étude de l’OMS.

Un problème plus important avec les comparaisons est que, bien que les chiffres des taux de mortalité montrent à quel point les nations ont été touchées par la pandémie les unes par rapport aux autres, cela reflète en partie les différences démographiques entre elles. Si l’on veut estimer le succès relatif de la stratégie d’atténuation de la pandémie d’un pays, dit Schöley, il est crucial d’utiliser des chiffres ajustés en fonction de la démographie particulière de ce pays, car le risque de mortalité lié au COVID-19 est plus élevé chez les personnes âgées et chez les hommes. Wakefield affirme que cet ajustement donnerait une image plus nuancée, mais que l’OMS n’a pas publié les taux de mortalité excédentaire mondiaux ajustés en fonction de l’âge parce que des estimations fiables de la mortalité par âge ne sont pas disponibles dans de nombreux endroits.

Certaines organisations rapportent des données provisoires en utilisant des taux de mortalité normalisés par âge. Par exemple, l’Office for National Statistics du Royaume-Uni le fait dans ses comparaisons de la mortalité toutes causes confondues en Europe, bien qu’il n’ait pas encore inclus les données jusqu’à la fin de 2021.

D’autres chercheurs, dont Schöley, ont adopté une approche similaire, en rapportant dans des articles non encore évalués par des pairs comment l’espérance de vie moyenne – qui est calculée à partir des taux de mortalité par âge – a évolué au cours de la pandémie dans plus de 20 pays. Sur la base de ces calculs, par exemple, le Royaume-Uni a fait pire que l’Espagne et l’Italie en termes d’espérance de vie perdue au cours des deux dernières années, même si les trois pays ont des chiffres de surmortalité largement similaires. L’Espagne, l’Italie et l’Allemagne ont des valeurs d’espérance de vie à peu près égales, et la Suède et les autres nations scandinaves avaient récupéré, fin 2021, les pertes moyennes d’espérance de vie causées par la pandémie (voir « Pertes d’espérance de vie » dans le graphique ci-après).

Les chiffres montrent également que les États-Unis ont obtenu de moins bons résultats que de nombreuses nations riches comparables – ayant perdu plus de deux ans d’espérance de vie moyenne par rapport à 2019.

Les calculs de l’espérance de vie ont toutefois tendance à donner plus de poids aux décès prématurés chez les personnes plus jeunes – parce que le nombre d’années de vie perdues est plus élevé dans ce cas. Les États-Unis ont également connu un excès notable de décès dans les groupes d’âge plus jeunes, selon les démographes.

En réfléchissant aux corrections, Wakefield concède que les erreurs étaient malheureuses. « Écoutez, nous nous sommes trompés », dit-il. « Et je n’ai pas de problème avec cela, pour être honnête. Parce que c’est la science, n’est-ce pas ? Si quelqu’un vous critique, corrigeons-le. Cela ne veut pas dire que tout est faux. Ce que cela signifie en fait, selon moi, c’est que nous avons une approche très transparente et que nous sommes prêts à prendre note des critiques raisonnées. »

« J’espère que les gens se rendent compte qu’il n’est pas possible d’avoir raison pour tous les pays du premier coup, et je pense définitivement que nos estimations sont plus fiables que celles de l’IHME et de The Economist« , ajoute-t-il.

Les plus grandes incertitudes dans les études sur la surmortalité, dit-il, ne concernent pas les nations européennes riches en données, mais les pays qui ne publient aucune donnée opportune sur la mortalité toutes causes confondues. Pour ces pays, les démographes doivent utiliser des modèles informatiques pour estimer ce qu’était probablement la mortalité, en se basant sur d’autres pays aux caractéristiques similaires, et sur toute enquête qui donne un indice des décès régionaux.

C’est à cette procédure difficile que l’équipe de l’OMS a consacré la majeure partie de son temps, indique Wakefield. Ce sont ces résultats qui sont les plus susceptibles de changer dans les mises à jour ultérieures si d’autres données sur la mortalité peuvent être recueillies, en utilisant des mesures telles que des enquêtes ainsi que des statistiques officielles. « Si nous pouvions obtenir des données pour de nombreux pays d’Afrique, ce serait un grand changement », dit-il.

Nature 606, 242-244 (2022)

doi: https://doi.org/10.1038/d41586-022-01526-0