Dans le métier de l'évaluation, nous avons un dicton un poil chaud mais très sérieux : "un indicateur qui est mesuré, s'améliore".
Et la réalité elle-même ? Celle qu'on voulait améliorer ? Celle pour laquelle on décide, paye, conduit des politiques ? Les politiques dont on veut mesurer les résultats par des indicateurs ?
Ça, c'est autre chose.
L'exemple célébrissime de la sécurité publique revient une fois de plus au devant de l'actualité. On ne sait pas mesurer la sécurité publique, en tout cas en France (aux Etats-Unis, cette mesure est à elle seule un secteur économique et académique). Donc on mesure des dépôts de plainte et des taux d'élucidation. Donc les commissariats dissuadent les dépôts de plainte et se concentrent sur les affaires minuscules, les plus faciles à élucider. C'est délirant ? Mais oui[1].
Dans le cas de la police, c'est du pur made by Nicolas Sarkozy™. Pas dans celui des hôpitaux. Je me souviens de l'avoir rappelé alors que j'assistais à un débat sur l'évaluation des hôpitaux, il y a 8 ans : ce qui intéresse les patients qui ont telle maladie ou blessure, c'est de savoir où ils ont le plus de chance d'y survivre, où ils ont le moins de risques de complications. Et comment le service public leur répond ? En leur disant dans quel hôpital on consomme le plus de solutions hydro-alcooliques. C'est délirant ? Oui, et c'est dans Le Monde daté d'aujourd'hui. Nul doute que cet indicateur s'améliorera.
Le plus (tristement) drôle est l'argumentaire : pour pouvoir publier des "taux d'infection et de mortalité ..., il faut trouver le moyen de prendre en compte la gravité des cas traités pour ne pas défavoriser certaines structures. Une réflexion, qui prendra du temps, est en cours." C'est cela, oui. Un statisticien démographe stagiaire vous réglerait l'affaire en un mois. En tout cas, en beaucoup moins de 8 ans. Ce qui freine ? Peut-être certains imaginent-ils défendre l'idéal de service public en entretenant l'opacité sur la performance de chaque service individuel (voir dans le colloque en lien, les réponses à ma question)[2]...
Il y a des cas plus simples en principe. Toujours dans l'actualité : les grandes écoles refusent qu'on leur impose un quota de 30% d'élèves boursiers. Le niveau baisserait, expliquent-elles. Et une chose est sûre : le niveau moyen de leurs promotions au concours d'entrée baisserait, puisque ce quota les obligerait à abaisser la barre pour les boursiers. Elles en ont "entre 10 et 15%" actuellement, alors qu'environ 35% des étudiants sont boursiers.
Richard Descoings a pris pour son institution, Sciences Po, cet engagement de 30%, et proteste : "C'est la réaction antisociale dans toute sa franchise ! ... Les dirigeants du lobby des grandes écoles assurent que (leur) système inégalitaire est... juste. ... L'intelligence, la curiosité intellectuelle, la capacité de travail seraient donc l'apanage des "riches"..." Et une chose est sûre : si 35% des étudiants sont boursiers et que moins de 15% des admis aux concours le sont, il est improbable que cet énorme écart soit causé uniquement par une différence de capacités entre pauvres et riches.
Derrière ces indignations croisées, en fait tout le monde me semble d'accord : les grandes écoles devraient recruter à capacités égales, et les concours existants ne recrutent pas à capacité égale, ils favorisent[3] les enfants de la bourgeoisie.
Alors, comment ajuster le système ? Tout simplement à partir du niveau de sortie. Si les boursiers doivent aujourd'hui franchir une barre plus haute que les autres à l'entrée, on peut imaginer qu'ils sont meilleurs que les autres à la sortie. Ce serait à mesurer (un taux de corrélation négative entre revenu et niveau de sortie). Et si c'est le cas, il faudrait améliorer progressivement les concours d'entrée, leur contenu, leur organisation, leur préparation, et la communication sur tout cela, pour supprimer cette corrélation négative.
Il y a un dicton qui n'existe pas en évaluation des politiques publiques, mais qui serait bien sympa : "une politique qui veut s'améliorer, doit améliorer ses indicateurs."
Notes
[1] Sur ce blog, voir aussi sur la police : sur son recrutement et les concours, "J'crois qu'on embauche dans la police" (nov. 2005) ; un extrait du rapport venant du 93 "La police sur les blogs, la police au rapport." ; un indicateur d'activité : "Pour que la police délivre une attestation en cas de contrôle" (déc. 09).''
[2] J'avais déjà fait un billet sur ce sujet, hélas excessivement optimiste.
[3] par des mécanismes sans doute divers dont le biais d'autosélection : ne pas oser passer le concours, si l'on vient d'un milieu social trop éloigné de celui dont proviennent la plupart des étudiants de grandes écoles.
C'est bien écrit, bravo. Mais je vois tout de même un problème avec ce dicton "un indicateur qui est mesuré, s'améliore". Si on l'améliore, cela signifie qu'on modifie la méthode de mesure. Et si on modifie la méthode de mesure chaque fois qu'on découvre une nouvelle amélioration, les résultats ne sont plus comparables entre eux. Si bien qu'on ne peut plus raisonner sur l'évolution de la mesure. Vous me direz: on peut très bien recalculer l'indice pour toutes les années antérieures. Soit. Mais je crains que les données ne soient pas forcément disponibles à postériori... L'exemple d'école de la police illustre surtout une chose: la tentation de triche est forte quand on sait qu'on est surveillé par un indice chiffré. C'est vrai pour les individus, encore plus pour les gouvernements. Corollaire: les citoyens ne doivent jamais relâcher leur vigilance face à l'administration.
Avec internet, ça devient diablement plus dur de tricher, car tout se sait, hihi.
Bonjour et merci pour cette analyse. En fait, le dicton "un indicateur qui est mesuré, s'améliore" s'applique à méthode constante. Il signifie que les décideurs, sachant ce que leurs supérieurs mesurent, concentrent leurs efforts là-dessus.
Par exemple, je ne sais pas comment sera mesurée la consommation de solution hydro-alcoolique des hôpitaux, mais si elle est simplement mesurée en hectolitres par an, attendons-nous à ce que, dans l'intérêt supérieur de l'établissement, de ses emplois et donc de ses patients et leur santé,... quelques personnels responsables mettent au caniveau quelques dizaines d'hectolitres de solution hydro-alcoolique (ça ne coûte pas cher et ça ne pollue guère). Et là, même avec internet, ce sera invisible.
concernant le dernier point, le serpent de mer des grandes ecoles, cette exception française de l'education : j'ai entendu ce matin une partie du debat entre Descoing (Science Po, se voulant chevalier blanc des quotas comme panacée de la discrimination positive à la française) et Tapie (Essec, donnant la réplique au nom de la Conference des grandes ecoles), et je me rengeai presque parmi les "mal-pensants" selont Marianne selon ma perception de la coherence des propos exposes (Descoings : 30% de boursiers établissement par etablissement mais on ne parle pas de quota).
http://www.marianne2.fr/Sur-France-...
Le bon sens et l'elevation au dessus de la polemique (reflexe pavlovien du Sciencepo?) m'a paru plutot venir par les remarques d'auditeurs, en proposant de travailler sur l'égalité des chances (en amont) plutot que de plaquer un vernis et un diplome qui ne changera pas le ressort conduisant aux inégalités dénoncées (d'ordre socio-culturelles pour faire court).
Et je ne fait pas plus confiance à Chatel qu'à Pecresse pour prendre la dimension longue de l'éducation ou de la recherche et poser les bonnes questions ou apporter quelques bribes de réponse appropriée, et encore moins au Président pour qui tout n'est qu'immediateté : le resultat qui se présage est une fois de plus l'imposition de la methode Sarkozy, creer un antagonisme comme rideau de fumée.
"Ce qu'apporte à Sciences Po la mixité sociale de son corps étudiant ? L'ouverture d'esprit, la connaissance de la société, la diversité des talents, des tempéraments. Et l'humilité."
Est-ce que l'humilité se mesure ?! Parce que si c'était le seul indicateur (qui n'apparaitrait qu'à la sortie donc) pour mesurer l'excellence, nous serions certains d'avoir une autre politique !