LATITUDES

La politique à l’épreuve de la science

Inspiré par la méthode scientifique, le mouvement de l’evidence-based policy entend tester de manière rigoureuse toute décision administrative. Mais science et pouvoir ne font pas toujours bon ménage.

«En pratique, la politique consiste à ignorer les faits.» Dans ses mémoires publiées en 1907, l’historien Henry Adams — descendant direct de deux présidents des Etats-Unis — résumait une opinion aussi désabusée que populaire. Les hommes d’Etat, hélas, ne s’intéressent guère à la réalité.

Mais un mouvement veut changer la situation — et révolutionner la manière dont les autorités prennent leurs décisions. L’evidence-based policy (EBP, ou «politique basée sur les faits») propose que toute mesure, avant d’être implémentée à large échelle, soit d’abord testée de manière rigoureuse par des essais sur le terrain. Après la politisation de la science, qui a vu des gouvernements influencer les recherches, voici donc venu le temps de la «scientifisation» de la politique.

La méthode séduit un nombre croissant de domaines, de la santé publique à l’aide au développement en passant par les services sociaux, l’éducation, la justice et la protection de l’environnement. Une étude canadienne indiquait par exemple en 1995 que la promesse de toucher un soutien financier après avoir retrouvé un emploi motivait les chômeurs de manière efficace tout en réduisant les coûts supportés par l’Etat. Une campagne menée auprès de 75 écoles kenyanes concluait en 2001 que la meilleure manière d’augmenter la fréquentation scolaire des enfants était de les débarrasser de leurs parasites intestinaux. Une recherche suisse publiée en 2010 indiquait que le taux de récidive chez des petits délinquants n’était pas plus élevé après des mesures de surveillance à domicile (via des bracelets électroniques) qu’avec des programmes d’occupation. Même les correspondances gouvernementales font désormais l’objet d’études rigoureuses: en 2012, le Ministère britannique de la justice a mis en évidence que le simple envoi d’un rappel par SMS pouvait convaincre quatre fois plus de gens à payer leur amende.

«Il est crucial que les autorités utilisent toutes les données scientifiques disponibles, ajoute Eamon Noonan, directeur de la Campbell Collaboration, une organisation basée à Oslo qui évalue l’efficacité des interventions sociales. Il est nécessaire d’adopter une attitude empirique: évaluer les mesures, regarder si elles fonctionnent et les adapter.» L’argument est irrésistible: qui pourrait déclarer s’opposer à des «faits scientifiques» recueillis de manière objective et non partisane?

Vers une gouvernance objective

Ce nouveau paradigme pourrait changer en profondeur la manière dont le pouvoir fonctionne. Confrontées à des domaines complexes tels que la macro-économie ou le développement, les autorités naviguent le plus souvent à l’aveugle. «L’extrême pauvreté persiste, malgré les 30 milliards de dollars dépensés en aide internationale ces 30 dernières années, souligne le spécialiste Dean Karlan de l’Université de Yale. Nous ne savons toujours pas bien quels programmes ont fonctionné, et lesquels non.» Mais même des initiatives apparemment évidentes s’avèrent parfois trompeuses. Offrir aux enfants des activités extrascolaires semble être une bonne idée, mais une méta-analyse publiée par la Campbell Collaboration en 2006 ne put relever aucun effet significatif dans 84% des 97 critères considérés, qui évaluaient le niveau scolaire des élèves, leur état émotionnel ou encore leur intégration sociale. Bref, en politique, le bon sens ne suffit pas.

Après une période d’essor sous le gouvernement travailliste de Tony Blair à la fin des années 1990, le mouvement de l’EBP s’est répandu dans les pays anglo-saxons, encouragé par des think tanks tels que la «Coalition for Evidence-Based Policy» américaine ou le «Behavioural Insights Team» instauré par l’Etat britannique, qui veut pousser les fonctionnaires à systématiquement prendre en compte les résultats de la recherche scientifique avant de formuler de nouvelles mesures. L’aide internationale a également embrassé la doctrine et un nombre croissant de bailleurs de fonds exigent désormais que l’efficacité d’un projet soit rigoureusement démontrée avant d’en accepter le financement à large échelle.

L’art des essais rigoureux

Mais la pratique s’avère plus difficile que la théorie, car elle exige de suivre une méthode contraignante directement inspirée de «l’evidence-based medicine». Depuis quelques décennies, cette dernière a transformé en profondeur la manière d’effectuer les recherches cliniques et s’est imposée comme un paradigme incontournable dans le milieu médical. L’evidence-based policy se base sur les mêmes quatre piliers: estimer de manière quantitative l’effet recherché, évaluer les pratiques en cours, effectuer des essais contrôlés «randomisés» (aléatoires) et rassembler les études afin d’en tirer une conclusion unique (les «examens systématiques»).

Le troisième composant — les essais contrôlés randomisés — constitue l’élément le plus frappant. Au lieu de mettre simplement en place un programme et de l’évaluer, il est nécessaire de former deux groupes de manière aléatoire: le premier bénéficie de l’intervention, alors que le second appelé «groupe contrôle» ne sert que de point de référence. La comparaison des deux populations permet théoriquement de distinguer l’impact de la mesure de l’évolution normale de la situation. Afin de prévenir des biais des chercheurs (qui pourraient inconsciemment assigner des candidats peu prometteurs au groupe contrôle), l’attribution dans les deux groupes se fait au hasard. Par exemple, les 5’700 participants de l’étude canadienne ont été assignés aléatoirement à l’un des deux groupes, et la moitié des chômeurs seulement ont bénéficié d’une incitation financière à retrouver un emploi. En comparant systématiquement différentes mesures, l’étude kenyane conclut que 100 dollars consacrés à l’éradication de vers intestinaux rajoutait 14 années de fréquentation scolaire, contre moins d’un an avec la distribution d’uniformes ou l’instauration de bourses au mérite.

Le dernier pilier de la méthode consiste à rassembler toutes les recherches publiées sur un sujet pour en extraire une conclusion unique, grâce à une méta-analyse statistique. L’exercice a parfois pour effet d’interrompre une politique jugée inefficace ou même contre-productive. En 2002 par exemple, un article basé sur neuf études dénonçait le programme «Scared straight», qui organisait depuis les années 1970 des visites de prison à l’inttention de jeunes délinquants. L’objectif était de les remettre dans le droit chemin, mais c’est l’inverse qui se produisait: comparés au groupe contrôle, les jeunes prenant part au projet commettaient par la suite en moyenne davantage de crimes.

Trop beau pour être vrai?

Pour ses avocats, l’evidence-based policy représente la panacée: «Les essais contrôlés randomisés constituent la meilleure manière de déterminer si une politique fonctionne», écrit le Behavioural Insights Team. Mais la méthodologie est très difficile à appliquer en dehors des sciences dures avec des sujets humains hors laboratoire. Une multitude de facteurs sociaux sont difficiles à contrôler, et ce qui fonctionne dans un pays à un moment donné ne marchera pas forcément dans un autre. «Le système d’apprentissage allemand est très efficace, mais une tentative de le transplanter dans la région italienne germanophone de Bolzano s’est soldée par un échec, illustre Emma Clarence, politologue à l’OCDE. Il est difficile de prendre en compte les interactions d’une intervention avec les autres mesures en place.» John Young de l’Overseas Development Institute souligne également les limites de l’approche: «Des experts estiment que seuls 5% des programmes dans le domaine de l’aide internationale peuvent être examinés à travers des essais randomisés.»

Le sociologue britannique Ray Pawson critique fortement la portée des études rétrospectives systématiques. «Les méta-analyses accouchent d’une sorte de boîte magique qui établit un lien entre une action et certains effets, mais sans que l’on comprenne vraiment comment tout cela fonctionne. Il est illusoire de vouloir isoler un facteur unique, car on se débarrasse de nombreux facteurs qui s’avèrent cruciaux dans la réalité, tels que le contexte de l’intervention et les détails pratiques de sa mise en œuvre. Or, c’est d’après moi justement ces points qu’il faudrait étudier en renversant la question: ne pas essayer de démontrer l’efficacité d’une mesure universelle, mais plutôt comprendre quel contexte peut la faire marcher ou au contraire échouer. Je plaide pour un retour à la théorie.» A force de tout simplifier, on risque de ne plus rien comprendre, dénonce le sociologue.

Certains critiques craignent que cette «scientifisation» de la politique n’affaiblisse la démocratie — après tout, le peuple n’est jamais expert — et néglige les perceptions de la population qui peuvent diverger notablement de l’opinion scientifique. L’approche tend également à amoindrir l’importance donnée à l’expérience des professionnels. «L’intuition doit se baser sur des faits, mais ne pas perdre sa place», plaide Emma Clarence.

Le danger d’une science prétexte

Adepte enthousiaste des essais contrôlés, le gouvernement britannique lance de nombreuses initiatives pour tester de subtiles variantes dans sa correspondance avec la population — où placer la ligne de signature dans un formulaire, utiliser un message personnalisé ou des photographies, rajouter un message sur l’enveloppe… Il s’agit bien sûr d’«économiser l’argent des contribuables», mais le nombre infini de combinaisons fait planer le spectre que cette approche échappe à tout contrôle et devienne une machine à créer et à entretenir des programmes de recherche sans fin, voire un cauchemar orwellien basé sur une transparence (c’est-à-dire surveillance) permanente du gouvernement et de ses sujets.

Le plus grand danger est que la démarche ne serve finalement que de faire-valoir, un exercice auquel il faut se plier mais qui ne porte à aucune conséquence. Les programmes de «démarche-qualité» qui essaiment dans les administrations exigent des évaluations systématiques, mais celles-ci s’avèrent, invariablement, positives… Le milieu de la recherche lui-même éprouve parfois des difficultés à prendre acte de résultats négatifs: l’échec d’une étude majeure («Star*d») à déterminer la meilleure stratégie thérapeutique pour des personnes dépressives n’empêcha guère les commentateurs d’affirmer que l’exercice avait tout de même apporté des éléments «importants et utiles pour les décisions cliniques» — en contradiction flagrante avec les résultats objectifs.

Pour l’instant, rares sont les évaluations qui ont abouti à des changements concrets. «Les politiciens tendent à choisir les résultats qui leur conviennent et à négliger ceux qui contredisent leur programme», glisse Ray Pawson. Les recherches montrent, par exemple, que la taille des classes n’a pas de grand impact sur les résultats scolaires, mais cela n’a pas empêché le gouvernement Blair — pourtant adepte de l’EBP — de réduire le nombre d’élèves. «Les politiciens doivent savoir comment utiliser les résultats de la recherche, ce qui inclut aussi le fait de rester critique et de comprendre les limitations inhérentes à la méthode», note Dean Karlan.

«Les résultats scientifiques ne sont jamais neutres, mais toujours le produit d’un contexte politique, rappelle Emma Clarence. Inconsciemment, nous voulons démontrer ce que nous pensons.» La manière de concevoir les protocoles de recherche, de formuler les questions et de définir les échelles de mesure influencent nécessairement les résultats. Le risque: que l’evidence-based policy se transforme en policy-based evidence, à savoir des preuves scientifiques basées sur la politique.

La proposition d’utiliser l’esprit scientifique pour fonder une administration éclairée est des plus rationnelles. Mais dans les faits, elle se voit récupérée par les idéologies politiques afin de justifier leurs agendas. «Où l’on crie, il n’y a pas vraie science», avait écrit Léonard de Vinci. La quête de la vérité se veut neutre — mais le pouvoir ne l’est jamais.

_______

Evaluer, tester, analyser

L’approche «basée sur les faits» (tiré de l’anglais «evidence-based») s’articule en quatre axes. Il faut d’abord concevoir des manières d’évaluer de manière quantitative l’effet recherché, comme le taux de scolarisation, le nombre de récidives chez des criminels ou encore l’employabilité de personnes au chômage. C’est un point crucial, car les résultats doivent passer au crible de l’analyse statistique afin de distinguer les effets «significatifs» de phénomènes simplement dus au hasard. Seconde étape: évaluer de manière chiffrée les programmes en cours (aide aux chômeurs, réinsertion de délinquants, etc.).

Le troisième composant consiste à effectuer des essais randomisés contrôlés. Cette procédure directement inspirée des protocoles utilisés en médecine ou en psychologie doit être définie avant mise en œuvre de l’intervention. Elle assigne les participants à deux groupes de manière aléatoire: le premier bénéficiera de la mesure à évaluer tout au long de l’essai alors que le second, appelé «groupe contrôle», sert de point de référence. Comme l’évolution naturelle de la situation ou un changement dû à des facteurs externes (comme une crise économique globale qui fait monter le taux de chômage) aura un impact sur les deux groupes en même temps, une comparaison permet en principe d’isoler l’effet de l’intervention.

Le dernier pilier passe par les examens systématiques (ou «systematic reviews»), qui consistent à rassembler toutes les études réalisées au sujet d’une politique afin d’en tirer une conclusion générale et d’éviter qu’une étude anecdotique, peu rigoureuse ou due au hasard ne prenne trop d’importance. Des méta-analyses statistiques permettent de faire une moyenne pondérée de tous les résultats. Dans le monde médical, la Cochrane Collaboration s’est imposée comme l’autorité en matière d’examens systématiques. Sa petite sœur, la Campbell Collaboration, veut faire de même dans le domaine des sciences sociales.

_______

Des citrons pour le premier essai clinique de l’histoire

Le 20 mai 1747, le Salisbury patrouille au large du golfe de Gascogne. Le navire de guerre britannique a quitté le port de Plymouth huit semaines plus tôt, et déjà un dixième de son équipage est atteint de scorbut. Le médecin de bord James Lind sélectionne alors 12 malades «les plus similaires possibles». Il les divise en six groupes qui reçoivent exactement la même nourriture à part six traitements différents: un litre de cidre quotidien, deux fois 25 gouttes d’acide sulfurique, six cuillères de vinaigre, un quart de litre d’eau de mer, une concoction d’épices, deux oranges et un citron. Après six jours, le dernier groupe est pratiquement guéri — au contraire des cinq autres. Cette petite expérience est célébrée comme le premier essai clinique de l’histoire de la médecine: une comparaison rigoureuse de différents traitements effectués en parallèle sur des patients semblables.

A tort, de nombreux médecins voient James Lind comme la personne ayant démontré le rôle de la vitamine C dans la prévention du scorbut, mais il ne fut découvert en réalité qu’un demi-siècle plus tard. Malgré son essai clinique réussi, il manquait au praticien le cadre théorique nécessaire pour tirer la bonne conclusion. De quoi rappeler qu’une preuve, même «scientifique», ne fait pas tout.

_______

Une version de cet article est parue dans le magazine Reflex.