Pierre Barthélémy Le scandale Stapel & 500 millions de pseudosciences et moi et moi et moi…

Frans Tassigny

Description

Commençons d’abord par tracer les contours de ce que l’on appelle généralement « bonne » science, en gardant en tête que ces critères ne sont que des points de repères et que cette liste n’est absolument pas exhaustive. La « bonne » science
  [Moins]

Informations

• Publié par: Une-Universite-de-la-Psychanalyse
• Nombre de lectures: 26
• Langue: Français

Extrait

500 millions de pseudosciences et moi et moi et moi…et quelques autres…

TEDest une conférence qui réunit des scientifiques de renoms et cherche à propager de nouvelles idées pour l’avenir.

Peu connu en France, ces conférences ont un impact significatif dans les pays anglophones et de nombreux conférenciers de qualité y apparaissent. Je profite justement d’une lettre ouverte adressée à TEDpour aborder le thème à l’origine de ce blog: les différences entre science et pseudo-science. Cet article est en effet largement inspiré de cette lettre qui relève un ensemble d’éléments permettant de mieux cerner les différences entre les deux domaines. Car, au grand damne des sceptiques dont je fais partie, il n’existe aucun critère irréfutable pour séparer les deux notions comme il n’existe pas de critère définitif pourséparer religion et secteou encore érotisme et pornographie. Notre seule arme reste donc l’argument de bon sens,I know when I see it. Bon sens néanmoins aiguisé par un ensemble d’éléments que nous allons tenter de parcourir ici.

La « bonne » science

Commen çons d’abord par tracer les contours de ce que l’on appelle généralement « bonne » science, en gardant en tête que ces critères ne sont que des points de repères et que cette liste n’est absolument pas exhaustive. La « bonne » science



formule des hypothèses qui peuvent être vérifiées et testées. Le complexe d’Oedipe, pour reprendre un thème cher à la psychanalyse, n’est pas une hypothèse qui peut être testée ou vérifiée, si le patient conteste, il peut alors être accusé de refouler inconsciemment cette idée.











publie des résultats dans des journaux « réputés » à comité de lecture. Bien sûr, il existe de nombreuxcontre exemplesmais généralement cela donne une bonne indication de la qualité des travaux.

base ses résultats sur des théories qui sont discutées et argumentéespar de nombreux experts du domaine. Latélékinésie, aussi fascinante qu’elle puisse paraître, ne passionne plus grand monde si ce n’est les scénaristes à Hollywood.

défend ses résultats par des expériencesqui ont généré suffisamment de données pour convaincre d’autres experts de leur validité (origine anthropique du réchauffement climatique).

est suffisamment sûre de ses résultats pourreconnaître que certaines parties peuvent être moins bien définieset mériteraient des recherches plus importantes (cf. l’humilité dont parlait Feynam dans notre précédent article). C’est un point extrêmement important et le péché mignon de certaines médecines alternatives.

propose des résultats qui ne vont pas à l’encontre de tout le bagage scientifique existant. A l’inverse, notre chère médecine homéopathique est basée sur des«lois»qui contredisent toute la physique actuelle.

La « mauvaise » science

Faisons maintenant un petit tour du côté de la « mauvaise » science. Les mêmes remarques s’appliquent ici (les critères ne sont qu’une indication et cette liste n’est pas exhaustive). Vous trouverez évidemment une certaine similarité. La « mauvaise » science







ne réussit pas à convaincre beaucoup de chercheurs dans le domaine en question.

n’est pas basée sur des expériences qui peuvent être reproduites par d’autres (comme c’est le cas lorsque des témoignages sont avancés pour faire office de « preuves »).

souffre d’un excès de confiance caractéristique (« nous avons démontré que les OGMs sont des poisons »).





utilise des interprétations trop simplifiées de recherches légitimes en les mélangeant avec destermes imprécis, à la mode, ou spirituels,pour en déduire une nouvelle théorie qui n’a plus aucun sens.

parle de manière dédaigneuse des scientifiques du courant dominant (Séralini me revient de nouveau en tête et sonleitmotivqui se résume plus ou moins à « vendu à Monsanto »).

Comportement douteux

Il est probable que vous ne soyez pas un expert sur le sujet que votre interlocuteur va présenter, mais vous pouvez facilement identifier une attitude qui doit vous pousser à la méfiance.













bombardements de données non reliées au thème en étant sûr que personne ne prendra le temps de les vérifier.

prétention à détenir un secret, une connaissance que d’autres veulent cacher (ce qui va généralement de pair avec les théories du complot).

révélations de sources non référencées sur des sites « classiques » du genre Wikipedia.

1 accumulation d’anecdotes et de témoignages , un grand classique qui marche à tous 2 les coups .

proposition de produits pour résoudre un (faux) problème soulevé précédemment (par exemple lepowerbalance).

appel à la notion dujuste milieu, autre grand classique très utilisé par exemple chez les créationnistes qui demandent à ce qu’on accorde autant de place aux théories créationnistes qu’à l’évolution.

Comment lutter efficacement contre les pseudosciences?

Exposer des arguments rationnels ne suffit malheureusement pas à faire disparaître une pseudoscience. On sait par exemple qu’aligner les arguments peut provoquer l’effet inverse, renforcer la croyance initiale et ce, d’autant plus si ces arguments sont très techniques et difficiles à suivre. Or, dans la plupart des cas, la

science n’est pas simple et démonter un argument fallacieux demande toujours de revenir sur des bases scientifiques parfois complexes, notamment si on ne dispose pas du bagage nécessaire pour les comprendre. Cinq éléments sont à retenir pour éviter d’être contre-productif:











éviter de familiariser la croyance: plus on parle d’une pseudoscience, plus elle devient connue, et plus on a tendance à y croire, un peu à l’image de la publicité qui permet à un produit de gagner en crédibilité.

ne pas tomber dans l’excès d’arguments: l’afflux d’argument a un effet contre-productif. A propos de l’affaire Séralini, certains de mes collègues avaient des raisonnements du type « c’est pas possible qu’il y ait tant de critiques, c’est qu’il y a forcément quelque chose de juste dans cette étude qui dérange ».

ne pas tenir compte des biais culturels.

donner une explication alternative: quand on démonte une croyance, comme par exemple l’idée que les attaques du 11 septembre ont été commises par le gouvernement américain, il est important de proposer une théorie « alternative ».

rester simple (ou KISS en anglais, « Keep It Simple, Stupid » assez explicite…).

Unexcellent manifesteest publié sur le site des sceptiques américains que je vous invite à parcourir, une version française se trouveici.

PS: je voudrais remercier publiquementte«esilruetsopmI»qui a permis à ce blog d’avoir une visibilité inespérée et tous les commentateurs, en particulier ceux à qui je n’ai pas directement répondus, vos soutiens ou vos remarques (positifs ou non) sont toujours très appréciés.

Notes:

1.

2.

L’accumulation d’anecdotes et de témoignages n’est pas en soit problématique, c’est quand cette accumulation cherche à remplacer, voire refuser, l’étude scientifique que cela devient dangereux.↩

Séralini, dans sa conférence donnée à l’université de Poitiers en novembre dernier, a commencé son discours en demandant aux personnes dans le public de lever la main s’ils connaissaient quelqu’un dans leur entourage souffrant de cancer ou de maladie de type Alzheimer. Je vous laisse imaginer la suite.↩

UN COMMENTAIRE SUR “500 MILLIONS DE PSEUDOSCIENCES ET MOI ET MOI ET MOI…ET QUELQUES AUTRES…”

1.

Le23 décembre 2012 à 20 h 26 min, Philippe le belge a dit :

Bonne mise au point jamais superflue. Merci et longue vie à votre blog ! Petite remarque à propos de » il n’existe pas de critère définitif pour séparer (…) érotisme et pornographie. » Je vous suggère de regarder ce documentaire avec le philosophe Raphaël Enthoven : http://apostasie.over-blog.fr/article-philoso

Pierre Barthélémy Le scandale Stapel, ou comment un homme seul a dupé le système scientifique

Si l'on devait choisir un cas d'école récent pour la fraude scientifique, le scandale lié aux travaux du Néerlandais Diederik Stapel ferait un excellent candidat. A lui seul, ce chercheur a durablement écorné l'image de toute une discipline, la psychologie sociale, et mis en lumière quelques failles du système scientifique. L'affaire a éclaté à la fin du mois d'août 2011, à l'université de Tilburg, où Diederik Stapel enseignait : trois jeunes chercheurs ont alors fait état de leur suspicion pour les données de ses expériences, tant celles qui figuraient dans les études qu'ils publiait que celles qu'il fournissait à ses étudiants. Très rapidement, il s'est avéré que le professeur avait falsifié voire inventé des jeux entiers de données, ce que Diederik Stapel, auteur de quelques articles retentissants, a d'ailleurs rapidement reconnu, dès septembre 2011. Démis de ses fonctions, il a fait l'objet d'une enquête poussée, menée à la fois par l'université de Tilburg et par celles d'Amsterdam et de Groningue où il avait auparavant travaillé. Les commissions ont rassemblé tout le matériel scientifique disponible utilisé et publié par Diederik Stapel entre 1993 et 2011 : questionnaires pour les expériences, jeux de données, hypothèses testées, messages électroniques... Tous les chiffres ont été confiés à une batterie de statisticiens qui les ont épluchés.

Les résultats de cette enquête ont été rendus publics le 28 novembre dans un rapport d'une centaine de pages et ils sont édifiants : sur les 137 articles que Diederik Stapel a publiés, 55 contiennent des données inventées ou trafiquées. L'analyse statistique fait peser de très forts soupçons sur une dizaine d'autres travaux, mais l'absence des données originales ne permet pas d'aller plus loin. A l'heure qu'il est, 31 études ont fait l'objet d'une rétractation dans les revues où elles sont parues. Mais il y a plus grave : Diederik Stapel a fourni de fausses données pour les thèses de dix étudiants qu'il supervisait, dont le travail est donc définitivement entaché. Selon les commissions d'enquête, aucun des co-auteurs de ses articles ou de ses thésards n'a été complice de cette fraude massive.

Pour masquer ses agissements, le chercheur, qui était une petite vedette dans son domaine, avait une technique bien rodée. Il élaborait les expériences de psychologie avec ses collègues et ses étudiants puis leur expliquait qu'il les réaliserait dans d'autres universités, où il avait de bons contacts. Mais d'expériences il n'y avait pas. Diederik Stapel remplissait

lui-même les tableaux de données, jetait les questionnaires vierges à la poubelle et, révèle Science, mangeait les paquets de friandises censées servir de récompenses aux participants de ses tests ! Comme il se débrouillait pour faire ressortir les effets recherchés, ses résultats étant bien plus parlants (et pour cause) que ceux des expériences menées par ses étudiants, ils prenaient systématiquement le pas sur les autres.

Une fois dressé cet accablant constat se pose très vite la question suivante : comment tout cela a-t-il été possible ? Comment, pendant plus de dix ans, Diederik Stapel a-t-il pu berner ses collègues, ses étudiants et les revues scientifiques dont la particularité est de confier, avant publication, les articles qui leur sont soumis à des spécialistes censés les relire avec un regard critique ? Le rapport suggère en effet que la fraude était grosse comme le nez au milieu de la figure : "Les données et les découvertes étaient, à bien des égards, trop belles pour être vraies. Les hypothèses de recherche étaient presque toujours confirmées. L'importance des effets était improbable. (...) Il est presque inconcevable que des co-auteurs ayant analysé les données de manière intensive ou que des relecteurs de revues internationales "majeures", qui sont considérés comme étant des experts dans leur domaine, aient échoué à voir qu'une expérience était quasiment infaisable en pratique, qu'ils n'aient pas remarqué ces impossibles résultats statistiques (...). Aucune des impossibilités, aucune des bizarreries, aucun des manques de rigueur mentionnés dans ce rapport n'a été détecté par tous ces spécialistes du domaine, locaux, nationaux ou internationaux, et aucun soupçon de la moindre fraude n'est apparu."

Pour être juste, le rapport précise tout de même que quelques personnes s'étaient posé des questions. Non sans prendre des risques pour leur carrière, trois jeunes chercheurs avaient évoqué, auprès de l'université de Tilburg, des irrégularités dans les jeux de données fournis par Diederik Stapel. De même, deux enseignants s'étaient étonnés de ses chiffres trop bons pour être honnêtes. Mais, comme c'est souvent le cas avec les lanceurs d'alerte et comme on l'a aussi constaté dans la récente affaire Annie Dookhan qui a secoué la police scientifique américaine, personne n'a tenu compte de ces mises en garde précoces...

Ainsi que l'écrit, fort directement, le rapport d'enquête sur le scandale Stapel, on ne peut "tirer d'autre conclusion que de dire que, de la base jusqu'au sommet, on a négligé les règles fondamentales de la science et les obligations méthodologiques". C'est tout le système de production, de contrôle et de critique interne de la science qui, pendant plus d'une décennie, a été pris en défaut par un seul homme. Sans vouloir chercher d'excuse aux chercheurs, les commissions d'enquête notent que les relecteurs des revues scientifiques ont souvent encouragé des pratiques irrégulières, notamment en demandant aux auteurs que certaines variables soient retirées des articles pour que la lecture en soit plus fluide et le raisonnement plus "cohérent". Une incitation, donc, à passer sous silence les résultats n'allant pas dans le bon sens ou les expériences n'ayant pas mis en évidence l'effet escompté, comme si cette absence de résultat n'était pas un résultat en soi ! "Il n'était pas rare, lit-on sous la plume impitoyable des auteurs du rapport, qui ont interrogé tous les chercheurs impliqués dans l'affaire, que les revues plaident fortement en faveur de sujets intéressants, élégants, concis et irrésistibles, sans doute aux dépens de la rigueur scientifique."

C'est donc tout le secteur de la psychologie sociale qui a été secoué par l'affaire Stapel. Au cours des derniers mois, les appels se sont multipliés pour une plus grande vigilance vis-à-vis des expériences menées dans cette discipline, et notamment pour que les chercheurs confrontés à des études aux résultats spectaculaires tentent systématiquement de les répliquer. C'est tout le sens d'une lettre ouverte publiée en septembre par le psychologue américano-israélien Daniel Kahneman, Prix Nobel d'économie. S'adressant à ses confrères de la psychologie sociale, il leur tient le discours suivant : votre problème, dit-il, est lié aux nombreux chercheurs "qui, par le passé, ont pris vos résultats surprenants comme des faits dès qu'ils étaient publiés. Ces gens ont maintenant accroché un point d'interrogation au domaine et il est de votre responsabilité de l'enlever." Pour Daniel Kahneman, les laboratoires doivent s'associer pour que chacun duplique l'expérience du voisin, ce afin de restaurer la confiance dans les résultats de la psychologie sociale et de réhabiliter le secteur.

Quant à Diederik Stapel, sa carrière est brisée. Il a présenté des excuses à ses collègues et à ses étudiants, reconnaissant que le système manquait de garde-fous. Science raconte que, dans un livre autobiographique paru le même jour que le rapport révélant toute l'ampleur de sa fraude, l'ancien chercheur, sans rien nier de ses agissements, explique qu'il était devenu "accro" au succès scientifique : "Chercher, découvrir, tester, publier, avoir du succès et être applaudi." Pris dans l'engrenage de la reconnaissance que lui apportait la fraude, il ne savait plus comment en sortir. Sa famille a explosé avec le scandale et il a pensé au suicide, sans passer à l'acte : "J'étais trop faible, dit-il, même pour cela."

Pierre Barthélémy (@PasseurSciences sur Twitter)

Frans Tassigny

source : http://passeurdesciences.blog.lemonde.fr/2012/12/09/le-scandale-stapel-ou-comment-un-ho mme-seul-a-dupe-le-systeme-scientifique/