Elderewen a écrit:De plus, si tu as, comme tu le dis, déjà dû pas mal "trifouiller" certains résultats pour que ça finisse par donner quelque-chose au niveau des stats alors, là oui, c'est sujet à caution !
"trifouiller" est juste une expression pour dire "j'ai bossé là-dessus", ça n'implique rien d'immoral, t'inquiète pas...
Et quand je parle d'obtenir plus ou moins ce que l'on veut, là aussi ce n'est pas à prendre au pied de la lettre... Il ne s'agit aucunement de trafiquer les méthodes statistiques employées, mais plutôt, en amont, de faire les "bons" choix...
L'exemple de ton article est justement intéressant de ce point de vue : il montre qu'il y a de nombreuses façons de mesurer un phénomène, ce qui veut dire qu'à l'arrivée, si tu mesures par exemple l'interaction entre 3, 4 ou 10 facteurs, il y a un très grand nombre de possibilités (utiliser les données "brutes", les données "moyennées" de telle ou telle manière, les "perturbations" par rapport à la moyenne, les données "pré-conditionnées" de telle ou telle façon avec toujours une "bonne" justification à la clé, etc)
Et sur ce très grand nombre de possibilités, qui existe pour chaque paramètre, le biais consiste à faire l'ensemble des "bons" choix qui te sortent un "bon" résultat avec tes tests statistiques... parfois on peut aussi "sélectionner" les données, le plus souvent en toute bonne foi, toujours à coup de justifications a priori très raisonnables (du genre : il faut exclure ces échantillons à cause de ceci/cela, ou ce groupe de patient qui en fait est une exception et n'est pas pertinent pour notre étude (traduction : il ne se comporte pas comme on voudrait, alors on le vire), etc)
Même dans les essais cliniques en double aveugle contre placébo, le présumé "gold standard", il y a 1001 façons d'introduire des biais, d'ailleurs Claude en a bien résumé quelques-uns... le principal d'entre eux étant d'exclure des patients d'une étude pour raison de "non-compliance", elle-même souvent causée par une intolérance au traitement... on élimine ainsi bon nombre d'effets secondaires... d'ailleurs, si les méthodologies étaient aussi parfaites, comme tu sembles en être persuadé, alors comment se fait-il que la dangerosité de bcp de médicaments n'est découverte que plusieurs années après les essais cliniques initiaux, dont la méthodologie est censée être irréprochable avec des p à 36 zéros après la virgule ?
Et si malgré tout le résultat obtenu ne correspond toujours pas à ce que les politiciens de la médecine ou les bailleurs de fond attendent, il reste toujours la possibilité de... l'ignorer ! Par exemple, en ne mentionnant même pas dans l'abstract ou dans la conclusion les résultats un peu "gênants" qui pourtant apparaissent noir sur blanc dans les tableaux ou figures de l'article... (et je peux te dire que j'en ai vu, des exemples...)
Encore pire : lorsque le résultat est clairement négatif mais qu'on n'en tire aucune leçon Par exemple, la Women's Health Initiative : étude randomisée de réduction des graisses/graisses saturées/introduction de fruits et légumes/fibres/etc, pendant 8 ans, 48000 participants, avec un impact absolument nul sur la santé, que ce soit maladies cardio, cancers, etc. Réaction typique : “The results of this study do not change established recommendations (...) Women should continue to (...) work with their doctors to reduce their risks for heart disease including following a diet low in saturated fat, trans fat and cholesterol,” National Heart, Lung, and Blood Institute Director Elizabeth G. Nabel, MD. Ceci alors même qu'une diète "low in saturated fat, trans fat and cholesterol" n'a donné absolument aucun résultat dans cette même étude !!
Bien sûr, ce que je dis là ne s'applique pas lorsque les résultats sont clairs en sans ambiguité... Mais lorsque tu as monté une étude compliquée, que les résultats ne sont pas vraiment là, que tous tes tests sont non significatifs, il est parfaitement humain d'aller essayer de "trouver" quand même quelque chose, et en général on y arrive toujours...