Une excellente interview de Claude Thélot sur le blog Education du Monde. Je la découvre avec retard, mais c'est un régal !
Oui, les décideurs politiques devraient, non pas dissuader et cacher les évaluations, mais les demander et les financer, car pour améliorer les services publics, ils ont besoin de savoir où aller !
C'est précisément le but de l'évaluation : détecter et valider ce qui marche, mettre en rapport les coûts et les avantages de différentes décisions ou méthodes, distinguer ce qui est durable de ce qui est artificiel, etc.
Un Etat central moderne doit informer, évaluer et prévoir.
Plaidoyer pro domo peut-être.
Je suis, comme Claude Thélot, évaluateur de métier. Donc, sensible aux critiques comme celles qui figurent en commentaires du même billet. L'évaluateur, je le comprends bien, est un empêcheur de tourner en rond. Peut-être le citoyen devrait-il être seul à évaluer, par son vote, les politiques conduites. Mais comment fera-t-il pour s'informer, si aucune information n'est constituée ?
Claude Thélot souligne à juste titre l'importance du rôle de la Cour des Comptes, et l'audience qu'elle a obtenue : elle est rarement soupçonnée, que je sache, de trahir l'intérêt des citoyens ! En revanche, depuis des années qu'elle se soucie officiellement d'évaluer (et pas seulement de contrôler les comptes), je ne crois pas qu'elle ait développé de compétence professionnelle, méthodologique, en évaluation.
Même chose pour les services successifs du Parlement qui ont été créés pour faire des évaluations. S'ils étaient eux-mêmes évalués…
En France, la figure de l'Inspecteur bénéficie du pouvoir de sanction qui lui a été conféré (aussi incompétent qu'il puisse être en matière d'évaluation) ; la figure de l'Expert, celui auquel le Ministre demande un rapport, bénéficie du prestige du savoir dont il est détenteur et dont son rapport comprendra une minime partie.
Face à ces représentants des deux Ordres qui se partagent notre Ancien Régime, l'évaluateur, démuni de savoir et de pouvoir, muni de sa seule compétence, ne fait pas le poids.
Ta conclusion est étonnante ! Je pensais que lorsqu'on faisait appel à ta compétence d'évaluateur, on t'accordait en quelque sorte "le savoir" d'un expert. J'imaginais un rapport contenant des analyses, conclusions et recommandations réellement suivies.
Merci pour cet article !
Oui à l'évaluation par des experts compétents :
http://kollectif7janvier.blogspot.f...
La Cour des comptes a remplacé le journalisme d'investigation en matière de comptes publics. Il me semble que le rapport doit contenir une évaluation, même si elle est modérée par l'appartenance à l'organisation, et l'inspecteur se borne à sanctionner par rapport à une norme sans aller au-delà. L'évaluateur serait plus proche du rapporteur, mais avec plus de distance, et une méthodologie. Mais est-ce que la méthodologie est fondamentale : on doit mesurer le résultat d'une politique par rapport à un objectif, ou revenir sur l'objectif ?
@ triton, Françoise Boulanger : ce qui caractérise le métier d'évaluateur, c'est effectivement la méthode pour arriver à des réponses fiables, à des questions évaluatives qui peuvent être diverses : telle méthode pédagogique améliore-t-elle le niveau des élèves plus que telle autre ? quel est le coût moyen des centres publics d'accès à internet, par utilisateur qui en bénéficie ? l'accompagnement des bus par des "agents d'ambiance" dans les quartiers difficiles, améliore-t-il le service perçu par les voyageurs ? le remplacement du RMI par le RSA facile-t-il la reprise d'un emploi par les personnes concernées ? la privatisation des autoroutes a-t-elle globalement bénéficié ou coûté à la collectivité ? parmi les dépenses liées à la route et à l'automobile, lesquelles sauvent le plus de vies ? etc. etc.
@ triton : l'objectif initialement poursuivi n'est effectivement pas essentiel, ce qui compte est l'objectif *actuellement* poursuivi. Ceci dit, c'est souvent utile de connaître l'objectif initial pour interpréter correctement les résultats !
@ Françoise Boulanger, luciolebrune : l'essentiel est selon moi la compétence méthodologique (et le budget pour mettre en oeuvre une méthode fiable…), non l'expertise dans le domaine étudié. Ceci dit l'évaluateur professionnel s'associera, très généralement, avec un expert, cela accélère grandement la compréhension du sujet. Mais selon mon expérience, il faut absolument que l'analyse finale revienne à l'évaluateur, non à l'expert : rares sont les experts d'un domaine qui ont assez de recul par rapport à ce qui se fait, pour préconiser des changements radicaux, la suppression de programmes ou de financements, etc. ; or cette conclusion devrait toujours rester possible, sans quoi l'évaluation se réduit… à un plaidoyer pro domo.
Effectivement, Frédéric, je n'avais pas vraiment fait la distinction entre évaluateur et expert.
Tu parles d'avoir une bonne "méthodologie" mais de laisser le mot final à l'évaluateur. Eh bien je suis entièrement d'accord avec toi ! Lors de ma formation en Q/S/E (qualité/sécurité/environnement) mon mémoire a porté sur un outil-qualité d'aide à la décision -adapté surtout à l'innovation- qui parvient non seulement à identifier une attente mais aussi et surtout à la mesurer.
Lorsque j'ai utilisé cette méthodologie (au centre technique municipal de la ville de Nancy comptant 350 salariés et reflétant à la fois le fonctionnement public et celui du privé) j'ai eu la (bonne !) surprise d'avoir un retour des questionnaires de plus de 70%. Ce qui ne se voit habituellement jamais. On reste en général autour de 30 à 35% de réponses quel que soit le panel interrogé... Le directeur du CTM à qui j'ai remis gracieusement ma consultance en a été tout étonné.
Il faut deux conditions pour avoir un tel résultat :
- Que d'abord la méthodologie soit bonne, ce qui est en effet le cas de la CEM (conception à l'écoute du marché, basée sur le double questionnement "mathématique" de Kano).
- Mais surtout que l'évaluateur soit suffisamment compétent.
Jusqu'à présent je ne me sentais pas experte dans un domaine particulier. Mais maintenant je prétends le contraire. Si j'ai eu un tel résultat, c'est qu'en raison de mon vécu j'ai connu pratiquement tous les secteurs professionnels et surtout ai pu vivre dans quantité de groupes différents : tranches d'âges différentes évidemment mais catégories sociales, ethniques, religieuses et donc culturelles différentes. C'est mon expérience de la vraie vie qui est devenue mon principal capital (en industrie...).
Le problème est que si j'ose me considérer comme "une experte de la vie réelle", il n'y a pas de diplôme pour ce titre ! Je suis bien obligée de me le décerner moi-même...
@ Françoise Boulanger : effectivement, la compétence méthodologique pour évaluer ce qui se passe dans la société (politiques, problèmes au travail etc.) n'est pas très loin de cette "expertise de la vie réelle" que tu revendiques !
Et 70% c'est effectivement un taux de participation record. Je crois que c'est celui de la 1ère enquête "risques psycho-sociaux" chez France Telecom alors au coeur de l'actualité : c'est dire.