Pour améliorer ses actions menées sur le terrain, le Département d’Ille-et-Vilaine les évalue et en mesure les effets. La démarche d’évaluation des politiques publiques (EPP) se traduit par un travail d’enquête, mené par des agents du Département au sein d’un service dédié. 

Qu’est-ce que l’évaluation des politiques publiques ?

Engagée depuis les années 1990 au Département d’Ille-et-Vilaine, la démarche d’évaluation des politiques publiques consiste à analyser les effets d’une politique publique, d’un dispositif, ou d’une mesure; par rapport aux objectifs initiaux, puis à produire des préconisations pour l’améliorer, en tirer les enseignements et, enfin, à relayer les résultats de cette évaluation auprès de tous les usagers et acteurs ayant participé à cette démarche d’évaluation. 

La mission d’évaluation des politiques déployées par la collectivité répond donc : 

  • À une volonté d’amélioration continue : les résultats d’évaluation servent à ajuster, modifier la mise en œuvre d’une politique pour qu’elle réponde mieux aux besoins.
  • À une volonté de transparence démocratique : en évaluant sa politique et en rendant publics les résultats, la collectivité s’auto-saisit et questionne ses objectifs stratégiques et les orientations prises, et rend transparente l’action publique. 

Il n’est parfois pas évident pour un citoyen de comprendre les effets d’une politique menée à l’échelle de son département. Le principe d’évaluation des politiques publiques vise à rendre plus perceptible l’impact réel des décisions prises par une assemblée départementale et mises en œuvre par les services. Chaque bretillien et bretillienne peut ainsi connaître les résultats d’un dispositif mis en place par la collectivité et juger si cela a permis d’améliorer son quotidien.

Qui a pour mission d’évaluer les politiques menées par le Département ? 

Trois questions à … Murielle Arrivé, chargée d’études et d’évaluation

Murielle Arrivé : « Si j’évalue, c’est parce que je veux produire de la connaissance sur un sujet, je vais capitaliser cette connaissance pour la rendre intelligible. L’évaluation, c’est une observation et une analyse à un moment donné de ce qui se passe, et de ce qui s’est passé. En évaluant, on va aller regarder 5 choses : est-ce que c’est cohérent, efficient, pertinent, utile et efficace ? L’idée derrière, c’est d’améliorer les choses ».

Murielle Arrivé : « Quand on est évaluateur ou évaluatrice, on a des devoirs qui s’imposent à nous et qui font qu’on doit aller évaluer avec la neutralité et l’objectivité la plus entière possible. On n’est jamais des êtres complètement neutres car c’est impossible, mais il faut se comprendre en tant qu’évaluateur ou évaluatrice, s’interroger sur les raisons qui nous poussent à faire ce métier. 

La déontologie nous impose plusieurs choses. D’abord, il faut faire attention à la donnée que l’on collecte. Il faut que cette donnée soit anonymisée, conservée dans un endroit sûr. Il y a tout un travail autour de la sécurité collectée, à la fois statistique, mais aussi la donnée terrain. Les gens peuvent confier des choses, et je dois m’assurer qu’elles restent confidentielles. D’autre part, quand je vais sur le terrain, je ne viens pas inspecter, mais récolter de la matière sur quelque chose, ce qui implique de prendre en compte les représentations culturelles, la réalité des personnes interrogées. 

Sur un même sujet, on a des points de vue différents, d’où l’intérêt d’aller interroger un maximum de personnes en typologie d’interlocuteurs pour mieux cerner l’action publique qui est par nature subtile et complexe. Il faut aussi permettre à la personne de s’exprimer librement en ayant une posture explicative sur la démarche, préciser à la personne qu’elle peut interrompre l’entretien à tout moment, que ses paroles resteront anonymes, qu’elle sera destinataire des résultats… Il est aussi essentiel de mettre de côté ses propres points de vue. Cette posture ouvre le regard que l’on peut porter sur les choses et contribue à sa propre ouverture d’esprit. En faisant de l’évaluation, on s’ouvre sur le monde.

 Au niveau de la déontologie, il y a aussi un grand principe, c’est que chacun peut s’exprimer, même si ce sont des personnes dites vulnérables ou souffrant d’un handicap, on adapte la façon de les aborder, en utilisant le FALC (Facile à lire et à comprendre) par exemple, des pictogrammes… Le lieu des entretiens est aussi important, les personnes choisissent l’endroit où l’on réalise l’entretien pour favoriser la liberté d’expression. »

Murielle Arrivé : « Je suis vraiment passionnée par ce métier. À la base, j’ai un grand centre d’intérêt pour les politiques sociales, mais aussi pour le lien qu’il peut y avoir entre les politiques menées et la réalité sur le terrain. Et puis, c’est une perpétuelle découverte, je suis en veille, je lis beaucoup et je découvre toujours des choses. Quand je rencontre les acteurs sur le terrain, qui ont tous des parcours, des formations différentes, ils vont apporter une telle densité dans leurs réponses que je trouve ça passionnant. En tant qu’évaluatrice, je vais aussi pouvoir rencontrer tous ceux qui participent à une action commune et puis tous ceux qui peuvent en bénéficier, cela m’intéresse de voir comment tout cela s’articule. Il y a la nécessité de comprendre, décortiquer un sujet, cela demande un vrai effort de recherche, car parfois les sujets sont complexes. Et puis, il y a toute une partie pédagogique, car il faut rendre un matériau dense, complexe, le plus clair et intelligible possible. Il y a aussi un travail de conviction, de résistance aussi, car parfois les résultats ne plaisent pas. Je peux toujours sourcer mes résultats via des éléments factuels. Nous faisons le lien entre le terrain et la politique globale, nous sommes des capteurs. »

Comment évaluer une politique publique ?

Évaluer une politique publique nécessite un véritable travail d’enquête, s’effectuant par étapes, suivant une méthodologie rigoureuse. Collecte de données (à travers des témoignages, des statistiques…), exploitation et analyse des données recueillies, mise en perspective par rapport aux objectifs de départ, aux enjeux et au contexte, synthèse des résultats… L’évaluateur ou l'évaluatrice réalise un travail minutieux d’analyse à partir d’informations d’acteurs du terrain.

Une évaluation peut être réalisée à plusieurs moments et stades d’intervention publique :

  • Avant – évaluation ex-ante : l’évaluation constitue alors une aide à la conception de la politique publique, c’est un outil de mesure de la cohérence et de la pertinence de celle-ci.
  • Pendant – évaluation in itinere : réalisée au moment du déploiement de la politique, cette évaluation vise à vérifier que la politique menée correspond bien aux objectifs fixés et à en apprécier les premiers effets et à ajuster si besoin.
  • Après – évaluation finale (juste après l’action) ex-post (plus tard, avec du recul) : ce type d’évaluation prend en compte l’ensemble de la politique publique à l’issue de sa mise en œuvre et cherche à mettre en évidence ses résultats.

La décision d’évaluer telle ou telle politique ou dispositif est prise après un passage par différentes instances :

  • Les délégations générales des pôles.
  • Le comité de gestion de la direction générale.
  • Le comité d’évaluation des politiques publiques composé de 7 élus issus de la majorité et de la minorité de l’assemblée départementale.
  • Le groupe exécutif restreint composé d’élues et élus départementaux, il peut proposer des sujets d’évaluation et arbitre sur le programme final (en le priorisant).

Au terme de ces étapes, un programme annuel d’évaluation est établi. Deux évaluations sont lancées par an par les services du Département.

  • La demande : il s’agit de comprendre le choix du sujet et son approche générale.
  • Le cadrage : il s’agit de comprendre les besoins du commanditaire (quel est le sujet ?), le contexte autour de la commande (que se passe-t-il en France sur ce sujet ? En local ? ), les motivations de l’évaluation, les attentes de cette évaluation, les délais à tenir. La méthodologie est définie (qui va-t-on rencontrer ? comment ?), avec des aspects liés à la déontologie et à la gouvernance de l’évaluation (instances de validation au fur et à mesure de l’évaluation).
  • Le lancement de l’évaluation : avec une réunion validant le démarrage de la mission et les modalités de travail.
  • L’enquête sur le terrain : l’enquête consiste à la collecte de données statistiques auprès des services, lors d’entretiens avec des usagers, des familles, avec toutes les personnes en lien avec la politique ou le dispositif évalué.
  • L’analyse : qui aboutit à la rédaction du rapport d’évaluation et de sa synthèse de 4 pages.
  • La restitution et la communication / diffusion de l’évaluation : les résultats sont communiqués à l’ensemble des usagers sur le site internet du Département, aux participants et participantes de l’évaluation, et sont également présentés lors d’une session de l’assemblée départementale.
  • Le suivi : les années suivant l’évaluation, l’évaluateur ou l'évaluatrice va analyser ce qui a changé ou non, ce qui s’est passé depuis l’évaluation.

Pour collecter des données auprès des acteurs concernés sur le terrain, les agents et agentes utilisent plusieurs méthodes :

  • Entretiens individuels et collectifs (directifs ou semi-directifs) de bénéficiaires, d’acteurs clés du dispositif…
  • Réunions de travail avec des partenaires, des agents.es ressources (finances, RH…).
  • Questionnaires en ligne.
  • Observations sur le terrain pour constater et récupérer des informations sur place.
  • Focus groupe.
  • Lecture d’études / recherches menées sur ce sujet.
  • Comparaison ou contacts avec d’autres collectivités sur le même sujet.

Par exemple, pour évaluer le chantier départemental d’insertion au sein des espaces naturels, plus d’une centaine de personnes ont été interrogées, dont 44 salariés en insertion.

Pourquoi évaluer une politique ?

Pour une collectivité, évaluer les effets d’une politique publique a plusieurs intérêts.

L’évaluation constitue :

  • Un outil d’aide à la décision pour la collectivité les élues et élus : les analyses et préconisations concluant les travaux d’évaluation nourrissent la décision en vue d’améliorer, prolonger, réorienter ou arrêter l’intervention publique. L’évaluation intègre aussi une dimension gestionnaire, aidant à l’optimisation des ressources humaines et financières mobilisées par la collectivité.
  • Un outil d’amélioration continue : la finalité de la démarche d’évaluation est d’améliorer les politiques menées. En mesurant l’impact et l’efficacité sur le terrain d’un dispositif, notamment à travers des témoignages de professionnels et d’usagers directement concernés, la collectivité cherche à améliorer la performance du service rendu aux habitantes et habitants.
  • Un outil de responsabilité démocratique : l’évaluation permet de rendre compte à tous des modalités de mise en œuvre d’une politique publique et des résultats obtenus.

À découvrir : les travaux du comité d’évaluation

Le comité d’évaluation des politiques publiques mises en œuvre par le Département d’Ille-et-Vilaine a déjà suivi de nombreuses évaluations réalisées par les services du Département. Les rapports d’évaluation issus de ces travaux sont disponibles en consultation et en téléchargement.

Chaque évaluation menée par le service évaluation donne lieu à une synthèse de 4 pages qu’il rédige, et qui permet d’avoir un aperçu clair et facilement compréhensible des principaux enseignements tirés de la mission d’évaluation.

L’évaluation du dispositif bretillien en faveur des Jeunes à problématiques multiples en protection de l’enfance, a été réalisée. Les grandes conclusions sont à découvrir en synthèse et dans le rapport final.
Dans un contexte de mutation de la protection de l’enfance, le Département d’Ille-et-Vilaine a adapté son dispositif d’accueil des jeunes de la protection de l’enfance rencontrant des problématiques multiples depuis plusieurs années.
En 2022, il a souhaité s’interroger sur son dispositif et son adaptation aux besoins des mineurs en déployant une démarche d’évaluation. Par ailleurs, le Département ne pouvant agir seul, cette démarche a également été l’occasion de réunir les acteurs et tous les partenaires institutionnels concernés.
L’évaluation a été menée par les agents et agentes du service Evaluation, pilotage et audit en partenariat avec la Direction Enfance-Famille, pilote de ce dispositif.

Autres évaluations

En savoir plus sur la démarche d’évaluation des politiques publiques

Le projet départemental