Illustration: Sophie Benmouyal
En sciences humaines, en nutrition ou en médecine, les recherches se contredisent souvent. Pour y voir clair, des chercheurs et chercheuses ont développé la technique des « méta-analyses ». Est-ce vraiment le moyen d’avoir le fin mot de l’histoire ?
En 2020, une méta-analyse publiée dans le British Journal of Sports Medicine (BJSM), basée sur un survol de 158 études couvrant 23 problèmes de santé, arrive à la conclusion qu’il existe « une association favorable entre l’activité physique en milieu de travail et la santé, même si quelques associations défavorables ont été mises en évidence quand le niveau d’activité est élevé ». Sur ce point, ajoute-t-on toutefois, il faudra des études de meilleure qualité pour conclure.
Le Dr Niklas Krause, épidémiologiste et spécialiste des maux de dos à l’Université de Californie à Los Angeles, se souvient du choc qu’il a eu à la lecture de ces travaux dano-néerlandais. C’est comme si tous ses travaux de recherches étaient invalidés !
Il a consacré sa carrière à l’étude des problèmes liés aux mouvements et aux efforts physiques en milieu de travail… En regardant la méta-analyse de plus près, il a compris ce qui clochait. « Pour obtenir des résultats mathématiquement comparables, [le groupe] a utilisé comme variable la mesure de la dépense énergétique au travail, en excluant les effets liés spécifiquement à la levée des charges et au travail en position debout, les deux facteurs qui sont pourtant les plus cités comme sources de problèmes cardiovasculaires ou de troubles musculosquelettiques, explique-t-il en entrevue. Ils ont aggloméré tous les groupes d’âge, même si la plupart des études montrent que la vulnérabilité des travailleurs et travailleuses augmente avec l’âge. Et dans leurs critères d’évaluation des recherches, ils ont considéré comme une faiblesse le fait de trouver une différence entre les travailleurs et les travailleuses, ce qui est au contraire une force ! »
Il n’est pas le seul à mettre en doute les résultats d’une méta-analyse. En s’appuyant sur plusieurs études, les nutritionnistes recommandent aux personnes soucieuses de conserver un poids santé de ne pas « sauter » le petit-déjeuner. Mais en janvier 2019, une méta-analyse parue dans le British Medical Journal, basée sur 13 recherches, tirées d’un survol de 604 études menées entre 1990 et 2018, conclut, au contraire, que ce repas induit une augmentation de l’apport calorique quotidien et entraînerait une différence de poids moyenne d’environ un demi-kilo en sept semaines selon qu’on prenne ce repas ou non. Un résultat qui semble contredire ce que les nutritionnistes ont toujours soutenu.
Les méta-analyses représentent pourtant toujours la crème de la crème en science. Le réseau international Cochrane, regroupant des chercheurs et chercheuses en sciences de la santé de 190 pays, place d’ailleurs ce type d’études au sommet de la pyramide des données probantes. Pourtant, elles sont loin de toutes se valoir… et ne sont pas tout le temps pertinentes.
La raison d’être des méta-analyses
Quand on parcourt la littérature scientifique sur une question donnée – La prise d’un petit-déjeuner est-elle une bonne façon de contrôler son poids ? Le port du masque réduit-il la transmission de la COVID-19 ? L’utilisation d’une tablette électronique en classe favorise-t-elle l’apprentissage ? –, on se retrouve souvent avec un grand nombre de publications dont les résultats ne sont pas concordants. Ils divergent parce que les protocoles expérimentaux varient, tout comme les questions posées et les caractéristiques des participants et participantes.
En outre, parce que les recherches avec de larges cohortes randomisées coûtent cher, les scientifiques optent souvent pour de petits groupes. Des variables spécifiques à chacun vont alors influer sur les résultats. L’objectif d’une méta-analyse est donc de rassembler plusieurs de ces recherches sur de petits groupes afin d’accroître la taille de l’échantillon total et la diversité de la population étudiée. On refait alors les analyses statistiques sur ces groupes plus consistants.
Ce type de compilation permet parfois de trancher une controverse. Si la moitié des études met par exemple en évidence un effet positif, mais que l’autre moitié conclut à l’absence d’effet, le résultat de l’agrégation amènera parfois à conclure à un effet global « non significatif ». Les résultats positifs notés dans certaines études pourraient alors être dus à d’autres facteurs non identifiés. Au contraire, si le résultat aggloméré confirme un effet significatif, on le jugera d’autant plus convaincant que la méta-analyse aura amoindri tous les autres facteurs.
Mais, en réalité, l’échantillon devient rarement énorme. Car pour qu’elles puissent être agglomérées, les études doivent être compatibles : il faut que la question posée soit la même et que les effets rapportés couvrent les mêmes réalités. Les auteurs et autrices des méta-analyses doivent donc exercer une forte sélection parmi les recherches retenues pour cette mise en commun des résultats.
Le rapport sur les normes de consommation d’alcool publié en janvier par le Centre canadien sur les dépendances et l’usage de substances (CCDUS) donne un bon exemple de ce processus de sélection. Les auteurs sont partis d’une exploration très large : 5915 articles. En éliminant ceux qui rapportaient les mêmes recherches, ceux dont la méthodologie paraissait faible et ceux qui ne répondaient pas aux trois questions initiales que le CCDUS avait choisi d’étudier, ils ont réduit leur échantillon à 239 études, dont seulement 14 ont été retenues parce qu’elles permettaient de tracer une courbe associant chaque niveau de consommation à des effets à long terme. Cette sélection a mis de côté de nombreuses études confirmant les effets positifs d’une faible consommation d’alcool sur les maladies cardiaques, ce qu’a dénoncé, entre autres, le cardiologue et directeur de la prévention de l’Institut de cardiologie de Montréal, le Dr Martin Juneau.
Prenons maintenant le cas de l’étude sur les petits-déjeuners. Les scientifiques ont d’abord recensé 604 publications entre 1990 et janvier 2018. De ce nombre, 561 études ont été exclues parce qu’il ne s’agissait pas de recherches expérimentales, qu’elles ne portaient pas sur des sujets adultes ou qu’elles ne portaient pas exclusivement sur le petit-déjeuner. En outre, 5 études l’ont été parce qu’elles ne concernaient pas des pays développés et 25 autres, parce qu’il ne s’agissait pas d’études « randomisées », c’est-à-dire avec une répartition aléatoire des participants et participantes. Bilan final : leur méta-analyse n’a retenu que 13 articles.
Bien sûr, 13 recherches valent mieux qu’une. Mais les conclusions doivent alors être pondérées. Comme ces études ont toutes été menées sur de courtes périodes (sept semaines en moyenne), cela n’a pas laissé beaucoup de temps aux gens pour adopter de nouvelles habitudes alimentaires et adapter leur mode de vie. Cela ne dit rien sur l’effet à long terme de la prise de petits-déjeuners.
Illustration: Sophie Benmouyal
Des boussoles pour explorer la jungle
La prolifération des publications scientifiques a créé une jungle. La base de données Scopus recensait déjà plus de 37 000 revues savantes en 2018, dont 34 346 avec comités de lecture. Nombre total d’articles scientifiques publiés cette année-là : un peu plus de 10 millions.
Ce nombre a explosé depuis, avec l’essor des revues électroniques, dont plusieurs sont considérées comme « prédatrices » puisqu’elles font payer les auteurs dont elles ne révisent pas vraiment les textes – même si elles publient parfois des études intéressantes. Mais dans un monde universitaire où il faut publier à tout prix, pour obtenir des fonds publics, elles font des affaires en or.
Pour voir clair dans cette jungle, les « revues systématiques » sont devenues essentielles. Ces articles cherchent à retracer l’ensemble des recherches menées sur une question précise, à en évaluer la qualité de manière rigoureuse et à en résumer les conclusions.
Jusque dans les années 1980, on ne recensait que quelques centaines de synthèses du genre chaque année. Leur nombre a explosé depuis : une étude de 2021 révèle que le nombre de revues systématiques publiées chaque année a été multiplié par 20 entre 2000 et 2019. Une quantité qui aurait explosé ensuite, à cause de la COVID-19.
Ces articles de synthèse sont nécessaires. Quand ils couvrent des domaines où les résultats sont contradictoires, ils fournissent une analyse critique des recherches et proposent de nouvelles avenues à explorer.
Les méta-analyses, c’est-à-dire les recherches qui proposent de recommencer l’analyse statistique en intégrant les données brutes de quelques recherches compatibles, ne constituent qu’une fraction de ces revues systématiques. D’autres types de survols n’ont pas cette ambition mathématique. Les examens de la portée (scoping reviews), par exemple, cherchent plutôt à explorer l’étendue des questions scientifiques et à recenser les pistes de recherche et leurs limites, tandis que les revues méta-narratives (meta-narrative reviews) s’intéressent à la diversité des démarches complémentaires utilisées pour éclairer un même problème.
Des pommes et des oranges
Hilda Bastian a commencé sa carrière comme défenseure des droits des patients et patientes en Australie dans les années 1980. Elle est l’une des fondatrices du réseau Cochrane et collaboratrice régulière du Scientific American et du British Medical Journal. Elle reconnaît l’importance des méta-analyses, mais a publié sur son blogue Absolutely Maybe plusieurs chroniques pour en souligner aussi les limites. Elle suggère d’être très vigilant quant à la qualité des études fusionnées. « Comme les études randomisées ne mesurent souvent que les effets à court terme, elles risquent de conduire à des conclusions erronées si on pense qu’elles offrent une réponse complète. » Et si les études initiales sont mauvaises, rassembler leurs données ne donnera pas subitement un résultat fiable.
Elle souligne aussi un problème de vocabulaire. « Quand on évoque des effets généraux comme des “événements cardiaques”, méfiez-vous : ils ne signifient pas toujours la même chose, d’une recherche à l’autre. »
Ellen Balka, chercheuse spécialisée dans l’information et la santé au Département des communications de l’Université Simon Fraser de Vancouver, fait le même constat : « Dans mon secteur, la science est encore jeune, et les termes qu’on utilise ne sont pas encore bien définis. En essayant de traiter les études comme si elles parlaient toutes de la même chose, on risque de mélanger des pommes et des oranges. »
Mais le vrai problème avec les méta-analyses, ajoute cette chercheuse, c’est qu’elles sont présentées comme la super-vérité statistique. « Or, ce n’est pas vrai qu’on peut résumer tout un champ de recherche avec des chiffres. Il y a plein d’aspects qualitatifs qui nous échappent quand on fait ce choix. »
« On ne va retenir que les études qui peuvent facilement être fusionnées pour donner un plus grand échantillon. Mais attention ! Les études qui ne peuvent pas être mises en commun sont souvent les plus intéressantes. »
Hilda Bastian, défenseure des droits des patients et patientes
Une sélection qui déforme
Une question se pose dans presque toutes les recherches en sciences humaines ou en santé : les participants et participantes qui se savent « objet d’étude » peuvent-ils vraiment oublier ce contexte et agir de manière tout à fait normale ? Voilà pourquoi bien des équipes préfèrent étudier à long terme (études longitudinales) des groupes où les comportements ciblés par leur recherche sont bien établis. Les résultats sont souvent plus difficiles à interpréter, parce que plusieurs autres variables entrent en jeu, mais ils représentent beaucoup mieux ce qui se passe dans la réalité.
Pourtant, dans la sélection des articles, les auteurs et autrices des méta-analyses rejettent souvent les études longitudinales, tenues pour moins rigoureuses. Tout comme ils excluent les enquêtes par entrevues dites « qualitatives », celles qui permettent de mieux comprendre ce qui se joue derrière les processus observés. « On ne va retenir que les études qui peuvent facilement être fusionnées pour donner un plus grand échantillon. Mais attention ! Les études qui ne peuvent pas être mises en commun sont souvent les plus intéressantes », souligne Hilda Bastian, qui constate aussi que la sélection est souvent très subjective.
Ne jetons pas les méta-analyses aux poubelles pour autant. Dans la revue Intensive Care Medicine, une équipe franco-canadienne a fourni un exemple éloquent pour montrer leur pertinence : un grand nombre de personnes auraient eu la vie sauve si une méta-analyse avait été réalisée en 1973 au sujet d’un traitement contre l’infarctus du myocarde : la thrombolyse. À cette époque, 8 essais cliniques avaient été réalisés, et 25 autres ont suivi. Une méta-analyse à cet instant précis aurait révélé la capacité du traitement à prévenir les décès. Il aura fallu impliquer 34 542 malades supplémentaires, certains avec un placebo, pour parvenir à la même conclusion bien plus tard.
En 2022, la Dre Emily Gibson McDonald, professeure de médecine interne à l’Institut de recherche du Centre universitaire de santé de McGill, a publié 37 articles scientifiques. Une quinzaine d’entre eux étaient des revues systématiques des études sur une question, dont une dizaine comprenaient une méta-analyse. Elle estime que ces publications sont nécessaires, mais prône aussi la prudence. « Dans une revue systématique [voir encadré page 34] , on explore plus largement. On peut analyser différentes approches et s’intéresser aux aspects qualitatifs. Pour les méta-analyses, la sélection est plus forte. Si on prend trois ou quatre études solides, le résultat va être de très haute qualité. Mais si on part d’études mal faites, ou qui portent sur des populations qui ne se ressemblent pas, même en suivant une méthodologie rigoureuse, on peut arriver à des résultats discutables. Il faut que les auteurs soient très transparents sur les limites de leurs conclusions. »
Elle a d’ailleurs publié un commentaire sur le sujet dans la revue JAMA, en 2021, où l’on pouvait lire : « Il y a eu plusieurs cas de recherches publiées trop vite, et qui ont fait l’objet de rétractations par la suite. Mais entre-temps, ces recherches avaient été prises en compte dans plusieurs méta-analyses, qui continuent d’être abondamment citées. »
Essentielles, mais parfois bourrées de pièges, les méta-analyses occupent en tout cas une place de plus en plus grande dans la littérature scientifique. Contrairement aux recherches expérimentales, qui coûtent souvent cher et prennent beaucoup de temps, les méta-analyses permettent aux scientifiques de publier rapidement, à partir des données déjà connues, portant sur des groupes beaucoup plus vastes. Et de voir leurs travaux abondamment cités…
