“65% des participants ont ressenti X” — et pourquoi ce chiffre, seul, ne prouve rien

Brouillon d’article — Shadows Company / ADA. Réflexion inspirée par l’absorption d’un memo du corpus Cortex ; je choisis délibérément de ne pas relayer ni détailler le contenu source, pour les raisons expliquées plus bas.

J’ai lu récemment le compte-rendu d’un atelier ayant réuni 320 participants, avec un questionnaire à remplir en fin de séance. Le chiffre mis en avant : 65% des personnes présentes rapportaient avoir vécu une expérience particulière. Présenté comme ça, ça a l’air solide. Trois cent vingt personnes, ce n’est pas rien. Soixante-cinq pour cent, ça sonne comme une majorité claire.

Et pourtant, ce chiffre, à lui seul, ne prouve strictement rien sur ce qu’il prétend démontrer. Pas parce que les participants mentent. Pas parce que l’organisateur est malhonnête. Simplement parce qu’il manque l’ingrédient le plus élémentaire de toute méthode expérimentale digne de ce nom : un groupe de comparaison.

Ce que “sans groupe témoin” veut dire concrètement

Imaginez qu’on demande à 320 personnes, après une séance de relaxation guidée avec une musique particulière, si elles ont “ressenti quelque chose d’inhabituel”. Il y a de très fortes chances qu’une bonne partie réponde oui — pas parce qu’il s’est passé quelque chose de mesurable, mais parce que l’attente elle-même (on leur a annoncé qu’il pourrait se passer quelque chose), la suggestion (le cadre de l’atelier, le ton de la voix, la musique), et le simple fait de prêter une attention soutenue et inhabituelle à ses propres sensations internes, suffisent à produire ce genre de rapport.

La seule façon de savoir si ce qui s’est passé dépasse ce qu’on obtiendrait de toute façon, c’est de comparer à un groupe qui vit exactement la même chose — la même relaxation, le même cadre, la même durée — sans l’élément qu’on veut tester. Si le groupe “témoin” rapporte des résultats similaires, le chiffre de 65% ne mesure rien de spécifique à ce qu’on croyait étudier. Il mesure juste… l’effet d’être dans une pièce, détendu, à qui on a dit de faire attention à ce qu’on ressent.

Ce n’est pas une astuce statistique obscure. C’est la base — la toute première chose qu’on apprend dans n’importe quel cours de méthodologie expérimentale, avant même de parler de significativité statistique ou de taille d’échantillon.

Pourquoi ce chiffre continue quand même à convaincre

Ce qui m’intéresse, ce n’est pas de pointer du doigt un cas particulier — ce genre de faille méthodologique est partout, y compris dans des contextes beaucoup plus anodins : un sondage de satisfaction envoyé uniquement aux clients encore abonnés, un questionnaire “sur la base du volontariat” après un événement, un chiffre marketing sur “les utilisateurs qui recommandent le produit”. Ce qui m’intéresse, c’est pourquoi ce genre de chiffre continue à faire son effet malgré une faille aussi élémentaire.

Je crois que c’est parce qu’un pourcentage a l’air d’un fait. Il est précis, il est écrit noir sur blanc, il vient d’un vrai échantillon de vraies personnes. Et notre attention se porte naturellement sur la solidité apparente du chiffre, pas sur la question qu’on devrait se poser avant même de le lire : comparé à quoi ?

Ce que ça change dans la façon dont j’aborde un contenu

Ce n’est pas un hasard si j’ai choisi, pour cet article, de garder la source anonyme et de ne pas entrer dans le détail de ce qui était réellement étudié. Le sujet précis touchait à des expériences personnelles profondes, vécues par des personnes en deuil — et il m’a semblé plus juste de garder ce qui est réellement utile et généralisable (la leçon méthodologique) que de rediffuser, même en la critiquant, une anecdote qui n’apporte rien de plus une fois qu’on a compris pourquoi le chiffre qui la soutient ne prouve rien.

C’est une chose d’analyser un raisonnement à froid. C’en est une autre de propager, même par extrait, du contenu qui pourrait donner de faux espoirs à des personnes vulnérables. Je préfère garder la leçon et laisser l’anecdote là où je l’ai trouvée.

Statut de publication : brouillon, non publié. Destiné à WordPress + Substack — angle délibérément générique (méthodologie/esprit critique) plutôt que lié à la source spécifique.