Évaluation des politiques publiques : comment cela fonctionne ?

Pour pouvoir améliorer ses actions menées sur le terrain, le Département d’Ille-et-Vilaine les évalue et en mesure les effets. La démarche d’évaluation des politiques publiques (EPP) se traduit par un véritable travail d’enquête, mené par des agents du Département au sein d’un service dédié. Comment travaillent-ils ? Avec quelle méthode ? Quels objectifs ? À quoi servent les résultats de ces évaluations ? On fait le point.

Qu’est-ce que l’évaluation des politiques publiques ?

Engagée depuis les années 1990 au Département d’Ille-et-Vilaine, la démarche d’évaluation des politiques publiques consiste à analyser les effets d’une politique publique, d’un dispositif, ou d’une mesure; par rapport aux objectifs initiaux, puis à produire des préconisations pour l’améliorer, en tirer les enseignements et, enfin, à relayer les résultats de cette évaluation auprès de tous les usagers et acteurs ayant participé à cette démarche d’évaluation.

La mission d’évaluation des politiques déployées par la collectivité répond donc :

à une volonté d’amélioration continue : les résultats d’évaluation servent à ajuster, modifier la mise en œuvre d’une politique pour qu’elle réponde mieux aux besoins
à une volonté de transparence démocratique : en évaluant sa politique et en rendant publics les résultats, la collectivité s’auto-saisit et questionne ses objectifs stratégiques et les orientations prises, et rend transparente l’action publique.

Il n’est parfois pas évident pour un citoyen de comprendre les effets d’une politique menée à l’échelle de son département. Le principe d’évaluation des politiques publiques vise à rendre plus perceptible l’impact réel des décisions prises par une assemblée départementale et mises en œuvre par les services. Chaque Bretillien.ne peut ainsi connaître les résultats d’un dispositif mis en place par la collectivité et juger si cela a permis d’améliorer son quotidien.

Qui a pour mission d’évaluer les politiques menées par le Département ?

Trois questions à … Murielle Arrivé, chargée d’études et d’évaluation

Comment décririez-vous votre métier ?

Murielle Arrivé : « Si j’évalue, c’est parce que je veux produire de la connaissance sur un sujet, je vais capitaliser cette connaissance pour la rendre intelligible. L’évaluation, c’est une observation et une analyse à un moment donné de ce qui se passe, et de ce qui s’est passé. En évaluant, on va aller regarder 5 choses : est-ce que c’est cohérent, efficient, pertinent, utile et efficace ? L’idée derrière, c’est d’améliorer les choses ».

Qu’est-ce qui est le plus important pour vous dans la manière de faire de l’évaluation?

Murielle Arrivé : « Quand on est évaluateur ou évaluatrice, on a des devoirs qui s’imposent à nous et qui font qu’on doit aller évaluer avec la neutralité et l’objectivité la plus entière possible. On n’est jamais des êtres complètement neutres car c’est impossible, mais il faut se comprendre en tant qu’évaluateur ou évaluatrice, s’interroger sur les raisons qui nous poussent à faire ce métier.

La déontologie nous impose plusieurs choses. D’abord, il faut faire attention à la donnée que l’on collecte. Il faut que cette donnée soit anonymisée, conservée dans un endroit sûr. Il y a tout un travail autour de la sécurité collectée, à la fois statistique, mais aussi la donnée terrain. Les gens peuvent confier des choses, et je dois m’assurer qu’elles restent confidentielles. D’autre part, quand je vais sur le terrain, je ne viens pas inspecter, mais récolter de la matière sur quelque chose, ce qui implique de prendre en compte les représentations culturelles, la réalité des personnes interrogées.

Sur un même sujet, on a des points de vue différents, d’où l’intérêt d’aller interroger un maximum de personnes en typologie d’interlocuteurs pour mieux cerner l’action publique qui est par nature subtile et complexe. Il faut aussi permettre à la personne de s’exprimer librement en ayant une posture explicative sur la démarche, préciser à la personne qu’elle peut interrompre l’entretien à tout moment, que ses paroles resteront anonymes, qu’elle sera destinataire des résultats… Il est aussi essentiel de mettre de côté ses propres points de vue. Cette posture ouvre le regard que l’on peut porter sur les choses et contribue à sa propre ouverture d’esprit. En faisant de l’évaluation, on s’ouvre sur le monde.

Au niveau de la déontologie, il y a aussi un grand principe, c’est que chacun peut s’exprimer, même si ce sont des personnes dites vulnérables ou souffrant d’un handicap, on adapte la façon de les aborder, en utilisant le FALC (Facile à lire et à comprendre) par exemple, des pictogrammes… Le lieu des entretiens est aussi important, les personnes choisissent l’endroit où l’on réalise l’entretien pour favoriser la liberté d’expression. »

Qu’est-ce qui vous plait dans ce métier d’évaluatrice ?

Murielle Arrivé : « Je suis vraiment passionnée par ce métier. À la base, j’ai un grand centre d’intérêt pour les politiques sociales, mais aussi pour le lien qu’il peut y avoir entre les politiques menées et la réalité sur le terrain. Et puis, c’est une perpétuelle découverte, je suis en veille, je lis beaucoup et je découvre toujours des choses. Quand je rencontre les acteurs sur le terrain, qui ont tous des parcours, des formations différentes, ils vont apporter une telle densité dans leurs réponses que je trouve ça passionnant. En tant qu’évaluatrice, je vais aussi pouvoir rencontrer tous ceux qui participent à une action commune et puis tous ceux qui peuvent en bénéficier, cela m’intéresse de voir comment tout cela s’articule. Il y a la nécessité de comprendre, décortiquer un sujet, cela demande un vrai effort de recherche, car parfois les sujets sont complexes. Et puis, il y a toute une partie pédagogique, car il faut rendre un matériau dense, complexe, le plus clair et intelligible possible. Il y a aussi un travail de conviction, de résistance aussi, car parfois les résultats ne plaisent pas. Je peux toujours sourcer mes résultats via des éléments factuels. Nous faisons le lien entre le terrain et la politique globale, nous sommes des capteurs. »

Comment évaluer une politique publique ?

Concrètement, comment procède-t-on pour évaluer une politique ? Evaluer une politique publique nécessite un véritable travail d’enquête, s’effectuant par étapes, suivant une méthodologie rigoureuse. Collecte de données (à travers des témoignages, des statistiques…), exploitation et analyse des données recueillies, mise en perspective par rapport aux objectifs de départ, aux enjeux et au contexte, synthèse des résultats… L’évaluateur.trice réalise un travail minutieux d’analyse à partir d’informations d’acteurs du terrain.

Les différents types d’évaluation

Une évaluation peut être réalisée à plusieurs moments et stades d’intervention publique :

Avant – évaluation ex-ante : l’évaluation constitue alors une aide à la conception de la politique publique, c’est un outil de mesure de la cohérence et de la pertinence de celle-ci
Pendant – évaluation in itinere : réalisée au moment du déploiement de la politique, cette évaluation vise à vérifier que la politique menée correspond bien aux objectifs fixés et à en apprécier les premiers effets et à ajuster si besoin
Après – évaluation finale (juste après l’action) ex-post (plus tard, avec du recul) : ce type d’évaluation prend en compte l’ensemble de la politique publique à l’issue de sa mise en œuvre et cherche à mettre en évidence ses résultats

Qui choisit la politique à évaluer ?

La décision d’évaluer telle ou telle politique ou dispositif est prise après un passage par différentes instances :
•   Les délégations générales des pôles
•   Le comité de gestion de la direction générale
•   Le comité d’évaluation des politiques publiques composé de 7 élus issus de la majorité et de la minorité de l’assemblée départementale
•   Le groupe exécutif restreint composé d’élu.e.s départementaux.ales, il peut proposer des sujets d’évaluation et arbitre sur le programme final (en le priorisant)

Au terme de ces étapes, un programme annuel d’évaluation est établi. Deux évaluations sont lancées par an par les services du Département.

Les étapes d’une évaluation :

•   La demande : il s’agit de comprendre le choix du sujet et son approche générale
•   Le cadrage : il s’agit de comprendre les besoins du commanditaire (quel est le sujet ?), le contexte autour de la commande (que se passe-t-il en France sur ce sujet ? En local ? ), les motivations de l’évaluation, les attentes de cette évaluation, les délais à tenir. La méthodologie est définie (qui va-t-on rencontrer ? comment ?), avec des aspects liés à la déontologie et à la gouvernance de l’évaluation (instances de validation au fur et à mesure de l’évaluation)
•   Le lancement de l’évaluation : avec une réunion validant le démarrage de la mission et les modalités de travail
•   L’enquête sur le terrain : l’enquête consiste à la collecte de données statistiques auprès des services, lors d’entretiens avec des usagers, des familles, avec toutes les personnes en lien avec la politique/le dispositif évalué.e
•   L’analyse : qui aboutit à la rédaction du rapport d’évaluation et de sa synthèse de 4 pages
•   La restitution et la communication/diffusion de l’évaluation : les résultats sont communiqués à l’ensemble des usagers sur le site internet du Département, aux participants.tes de l’évaluation, et sont également présentés lors d’une session de l’assemblée départementale
•   Le suivi : les années suivant l’évaluation, l’évaluateur.trice va analyser ce qui a changé ou non, ce qui s’est passé depuis l’évaluation

Les outils d’évaluation :

Pour collecter des données auprès des acteurs concernés sur le terrain, les agents.es utilisent plusieurs méthodes :

Entretiens individuels et collectifs (directifs ou semi-directifs) de bénéficiaires, d’acteurs clés du dispositif…
Réunions de travail avec des partenaires, des agents.es ressources (finances, RH…)
Questionnaires en ligne
Observations sur le terrain pour constater et récupérer des informations sur place
Focus groupe
Lecture d’études/recherches menées sur ce sujet
Comparaison ou contacts avec d’autres collectivités sur le même sujet

Par exemple, pour évaluer le chantier départemental d’insertion au sein des espaces naturels, plus d’une centaine de personnes ont été interrogées, dont 44 salariés en insertion.

Pourquoi évaluer une politique ?

Pour une collectivité, évaluer les effets d’une politique publique a plusieurs intérêts.

L’évaluation constitue :

Un outil d’aide à la décision pour la collectivité les élu.es : Les analyses et préconisations concluant les travaux d’évaluation nourrissent la décision en vue d’améliorer, prolonger, réorienter ou arrêter l’intervention publique. L’évaluation intègre aussi une dimension gestionnaire, aidant à l’optimisation des ressources humaines et financières mobilisées par la collectivité.

Un outil d’amélioration continue : La finalité de la démarche d’évaluation est d’améliorer les politiques menées. En mesurant l’impact et l’efficacité sur le terrain d’un dispositif, notamment à travers des témoignages de professionnels.les et d’usagers directement concernés, la collectivité cherche à améliorer la performance du service rendu aux habitants.tes

Un outil de responsabilité démocratique : L’évaluation permet de rendre compte à tous des modalités de mise en œuvre d’une politique publique et des résultats obtenus.

Découvrez les travaux du comité d’évaluation

Le comité d’évaluation des politiques publiques mises en œuvre par le Département d’Ille-et-Vilaine a déjà suivi de nombreuses évaluations réalisées par les services du Département. Vous pouvez consulter et télécharger les rapports d’évaluation issus de ces travaux.

Chaque évaluation menée par le service évaluation donne lieu à une synthèse de 4 pages qu’il rédige, et qui permet d’avoir un aperçu clair et facilement compréhensible des principaux enseignements tirés de la mission d’évaluation.

La politique brétillienne de soutien en faveur des Jeunes à problématiques multiples en protection de l’enfance

L’évaluation du dispositif bretillien en faveur des Jeunes à problématiques multiples en protection de l’enfance, a été réalisée. Découvrez, en synthèse et dans le rapport final, les grandes conclusions…
Dans un contexte de mutation de la protection de l’enfance, le Département d’Ille-et-Vilaine a adapté son dispositif d’accueil des jeunes de la protection de l’enfance rencontrant des problématiques multiples depuis plusieurs années.
En 2022, il a souhaité s’interroger sur son dispositif et son adaptation aux besoins des mineurs en déployant une démarche d’évaluation. Par ailleurs, le Département ne pouvant agir seul, cette démarche a également été l’occasion de réunir les acteurs et tous les partenaires institutionnels concernés.
L’évaluation a été menée par nos collègues du service Evaluation, pilotage et audit en partenariat avec la Direction Enfance-Famille, pilote de ce dispositif.