Le laboratoire des politiques publiques

Réflexions sur la Garantie jeunes

Quand le gouvernement annonce la création d’un nouveau dispositif afin de lutter, par exemple, contre la pauvreté ou le chômage, il peut soit le déployer en l’accompagnant des promesses d’un jour meilleur, soit chercher (et donner) la preuve que les jours seront meilleurs, et pour ce faire s’appuyer sur les résultats de travaux scientifiques. À titre d’illustration, les « emplois d’avenir » correspondent plutôt à la première possibilité, quand la « Garantie jeunes » renvoie plutôt à la seconde. Cette alternative, ici schématisée, permet de souligner que tous les dispositifs mis en œuvre dans le cadre des politiques publiques ne renvoient pas au même registre de légitimité. Elle pose également, en filigrane, la question de savoir ce qui, du discours politique ou du discours scientifique, importe le plus pour ses destinataires, à savoir les citoyens.

Le cas de la Garantie jeunes, mobilisée dans les débats récents autour de la loi travail, permet de revenir sur un des fondements rhétoriques des expérimentations sociales : le recours à la démonstration scientifique pour assurer la transparence et la simplicité du discours politique. À l’heure où la généralisation du dispositif a été annoncée de toutes parts, il convient de s’interroger sur ses raisons : est-elle due à son succès ?

Caractériser les expérimentations sociales

Les expérimentations sociales françaises qui se sont développées à partir de la deuxième moitié des années 2000, et dans la continuité desquelles se situe la Garantie jeunes, s’appuyaient explicitement sur le discours scientifique. Celui-ci devait, en effet, donner au politique les preuves sur lesquelles fonder ses dispositifs. Pour le comprendre, il convient de revenir sur ce que sont ces expérimentations sociales.

En France, après plusieurs manifestations éparses, les expérimentations sociales trouvent leur vitrine politique en 2007, avec l’expérimentation du revenu de solidarité active (RSA) et les appels à projets lancés notamment par le Fonds d’Expérimentation pour la Jeunesse (FEJ), constitué à l’initiative de Martin Hirsch. C’est l’ « appel à projets d’expérimentation sociale », publié en 2007, qui contribue à consacrer l’expression désormais usuelle : une expérimentation sociale désigne « une innovation de politique sociale initiée dans un premier temps à petite échelle, compte tenu des incertitudes existantes sur ses effets, et mise en œuvre dans des conditions qui permettent d’en évaluer les effets dans l’optique d’une généralisation » (HCSA, 2007). L’expérimentation sociale constitue donc, avant tout, un dispositif d’évaluation des politiques publiques.

En articulant un dispositif (comme le RSA ou la Garantie jeunes) à son évaluation, les expérimentations sociales prennent acte de la synchronisation de ces deux dimensions. Ce principe constitue un des éléments fondateurs de la rhétorique des promoteurs de l’expérimentation sociale : il permet de s’assurer qu’un dispositif n’est généralisé que si l’on a pu prouver que ses effets sont conformes à ceux qui sont attendus. En théorie donc, les expérimentations sociales permettraient d’inverser l’image hasardeuse des politiques publiques auxquelles sont prêtés des objectifs qui ne seraient évalués, quand ils le sont, qu’une fois la politique établie et ancrée.

Si le principe de simultanéité constitue une première caractéristique des expérimentations sociales, une deuxième touche au modèle expérimental lui-même. Celui-ci est en effet calqué sur celui des sciences de laboratoire, dans lequel un traitement n’est diffusé qu’après avoir été testé et approuvé. Les dispositifs publics expérimentés sont ainsi bornés (dans le temps et dans l’espace), et leur généralisation dépend de leurs résultats.

Enfin, le recours considérable au milieu académique (et essentiellement aux sciences sociales) pour procéder à l’évaluation de ces expérimentations constitue un troisième trait notable (Simha, 2016). Ce point mérite une attention particulière, tout d’abord parce qu’une partie des évaluateurs scientifiques a été à l’origine des expérimentations sociales en France (Devaux-Spatarakis, 2014 ; Simha, 2015), et ensuite parce qu’il illustre les liens tissés entre science et politique, et plus précisément, entre science économique et politique, dans la conduite des politiques publiques.

Expérimentations sociales et expérimentations aléatoires

La pratique des expérimentations sociales résulte d’une forte implication du milieu scientifique et, en son sein, d’un groupe d’économistes. Celui-ci, organisé depuis 2003 au sein d’un réseau d’envergure internationale, le J-pal, a remis au goût du jour une méthode utilisée depuis le début du XX^e siècle dans des champs aussi divers que la psychologie, l’agronomie, la médecine et l’économie (Jatteau, 2013 ; Labrousse, 2016). Progressivement abandonnée, cette méthode, l’assignation aléatoire, est donc réinvestie par de nouveaux acteurs, à partir des années 2000, qui en font le fer de lance de la lutte contre la pauvreté dans le monde. Elle consiste à assigner, de manière aléatoire (ce qui permet de réduire considérablement les biais auxquels sont exposés les résultats), la population participant à l’expérimentation à deux groupes, dont l’un seulement reçoit le traitement. L’effet de ce dernier est ensuite mesuré par comparaison des deux groupes. Appliquée à l’action publique, l’assignation aléatoire donne lieu aux « expérimentations aléatoires », dans lesquelles le J-pal s’est spécialisé.

Il ne faudrait pas pour autant confondre ces deux types d’expérimentations. En effet, un élément central les distingue : les expérimentations sociales n’ont pas systématiquement recours à la méthode de l’assignation aléatoire. Non seulement elles mobilisent un éventail large de méthodes, aussi bien qualitatives (entretien, observation) que quantitatives (statistique et modèle économétrique), mais encore, la méthode de l’assignation aléatoire y est finalement minoritaire.

Pourtant, paradoxalement, l’assignation aléatoire et le discours qui l’entoure ont été extrêmement prégnants dans la conception et le développement des expérimentations sociales en France. En effet, bien que minoritaire dans l’éventail des méthodes d’évaluation mobilisées, l’assignation aléatoire reste centrale dans le discours de promotion des expérimentations sociales. L’amalgame entre ces deux formes d’expérimentations a constitué un ressort argumentatif fondateur pour valoriser, dans le discours politique, l’expérimentation sociale comme un outil permettant de distinguer les dispositifs « qui marchent » de ceux qui « dysfonctionnent ».

La légitimation scientifique du politique

Les expérimentations sociales s’inscrivent donc dans des débats bien plus larges relatifs aux rapports complexes établis entre sciences sociales et politique. Leur mécanique est relativement simple à saisir : les évaluations scientifiques interviennent afin de mesurer et d’objectiver les effets des dispositifs d’action publique ; et d’assurer par là que ceux qui seront généralisés sont efficaces, voire efficients. Deux questions peuvent alors être adressées aux expérimentations sociales. La première touche à l’objectivité revendiquée de l’évaluation scientifique – et de ses résultats – et à l’indépendance des évaluateurs. La deuxième relève des suites données aux résultats des évaluations en matière d’action publique et a trait au « gouvernement par la preuve ».

Le recours à une évaluation scientifique par le politique peut s’apparenter à un processus de naturalisation de la décision politique (Robert, 2008) : celle-ci n’aurait plus de politique que le nom, dans la mesure où elle serait dépassionnée et dissociée des intérêts partisans.

Les discours de Martin Hirsch sur la généralisation du RSA à l’automne 2008 sont une bonne illustration de la manière dont les résultats scientifiques permettent au politique de situer le débat au delà des luttes partisanes. Le 22 octobre 2008 devant le Sénat, sont, par exemple, opposés « les procès d’intention » aux « faits » et aux « données » produits par les évaluations. Il s’agit alors de s’appuyer « sur des résultats, sur des faits, sur des témoignages, sur des trajectoires », à savoir « les expérimentations […] dont les résultats intermédiaires […] ont été transmis, dans un rapport du comité d’évaluation indépendant ».

Ces extraits soulignent un recours argumentatif au registre de la preuve (et à celui de sa démonstration) comme outil de gouvernement (Desrosières, 2008), renforcé par le caractère indépendant du comité d’évaluation.

Une indépendance à nuancer

Toutefois, proclamer l’indépendance des évaluateurs ne suffit pas à s’assurer qu’elle soit réelle, et force est de constater qu’il est bien plus facile de la remettre en question que de la justifier. Les multiples interactions des évaluateurs avec les porteurs des projets qu’ils ont à évaluer rendent, par exemple, leur indépendance discutable (Bureau et al., 2013 ; Devaux-Spatarakis, 2014). Dans le cas du RSA, les interventions multiples des Conseils généraux dans lesquels se déroulait l’expérimentation (Allègre, 2012) ont contraint les évaluateurs à modifier leur protocole et à abandonner l’assignation aléatoire.

On constate d’autres cas d’évaluateurs occupant des positions multiples dans le champ des expérimentations sociales (Simha, 2015). Certains étaient ainsi à la fois évaluateurs d’expérimentation sociale, membres du Conseil scientifique du Fonds d’Expérimentation pour la Jeunesse [1] et membres des jurys de sélection des projets d’expérimentation sociale. De fait, la question de leur indépendance ne se posait plus, et ne semblait pas déranger les acteurs politiques qui entendaient s’appuyer sur leurs évaluations.

L’indépendance, érigée en principe intangible en matière d’évaluation des politiques publiques, est en réalité bien difficile à garantir. Dès lors, ce sont l’objectivité et la neutralité supposées des résultats scientifiques qui sont mises en question. Deux figures archétypales, celle du savant reclus dans sa tour d’ivoire et celle de l’évaluateur qui participe à la vie et à l’action publiques, se font face et sont, dans le même temps, appelées à s’articuler. L’évaluateur scientifique doit à la fois porter les exigences d’objectivité et de neutralité, et participer à l’action publique. Ainsi, le chercheur en sciences sociales qui revêt les habits de l’évaluateur est bien partie prenante. Il se mobilise pour ou contre de nouveaux dispositifs, comme les expérimentations sociales et aléatoires. Les résultats qu’il obtient sont, de plus, loin d’être systématiquement suivis d’une traduction politique. Sur ce point aussi, les expérimentations sociales permettent d’observer la manière dont le politique a recours, ou non, aux évaluations scientifiques.

Évaluer les expérimentations sociales pour quelle généralisation ?

Pour reprendre l’exemple du RSA, une partie des chercheurs qui se sont penchés sur son expérimentation ont souligné une utilisation des résultats scientifiques plutôt dévoyée (Gomel et Méda, 2011), quand d’autres ont montré que la généralisation du RSA était assurée quels que soient les résultats de l’évaluation (Okbani, 2013). La décision de généraliser le RSA sur la base des seuls résultats intermédiaires (un taux de retour à l’emploi des bénéficiaires du RSA estimé 30 % supérieur à celui des non-bénéficiaires), pourtant qualifiés d’ « imprécis et provisoires » [2] par le président du comité d’évaluation, confirme une forme de préemption politique des résultats scientifiques. Dans cette perspective, la force de l’expérimentation résidait dans sa capacité à prétendre s’appuyer sur des résultats présentés comme irréfutables et indiscutables parce que scientifiques, et ce quand bien même les auteurs de ces résultats pouvaient les manier avec prudence.

Un regard transversal sur l’ensemble des expérimentations sociales réalisées dans le cadre du Fonds d’Expérimentation pour la Jeunesse délivre un résultat intéressant en ce qui concerne leur généralisation qui en constituait, rappelons-le, la finalité :

une expérimentation sociale n’a de sens que si elle poursuit un objectif de diffusion ou de généralisation. Ceci est fondamental car compte tenu de son coût de mise en œuvre, une expérimentation ne vaut que si elle peut dans un second temps profiter à un nombre d’individus beaucoup plus élevé, quitte à faire évoluer, conformément aux enseignements tirés de l’évaluation, les conditions de la mise en œuvre du dispositif initial. [3]

Or, sur les 550 expérimentations réalisées, moins de 1 % ont fait l’objet d’une généralisation (Simha, 2015). Le terme même de généralisation est peu présent dans les rapports d’activité publiés par le FEJ et son Conseil scientifique, comme si la réalité qu’il était censé recouvrir ne représentait plus un enjeu fort des expérimentations sociales. Si la question de la généralisation semble évacuée, c’est qu’elle n’intéresse pas toujours le politique.

En effet, les expérimentations sociales avaient notamment été envisagées comme des opportunités pour les acteurs dits « locaux » de tester et d’évaluer des dispositifs spécifiques (Bureau et al., 2013). Mais les questions posées à l’échelle d’un quartier ne recoupent pas nécessairement celles qui intéressent les « décideurs » au niveau national. Aussi, l’objectif de généralisation de ces dispositifs locaux spécifiques a-t-il laissé la place, dans les discours, à celui de « capitalisation » qui, lui, n’engage à étendre ni le dispositif, ni les financements afférents.

L’utilisation limitée ou partielle des résultats des évaluations d’expérimentations sociales permet alors de nuancer les discours affirmant l’avènement d’un gouvernement par la preuve. Qu’il s’agisse du RSA dont la généralisation a été décidée sur la base de résultats intermédiaires (et largement tempérés dans un second temps) ou des expérimentations lancées suite à des initiatives locales, force est de constater que la science est surtout mobilisée comme caution d’un discours existant.

Il ne faudrait pas pour autant se représenter une science purement passive, ses acteurs en étant réduits à être utilisés et instrumentalisés par le politique. En effet, nous l’avons évoqué plus haut, une partie de la communauté scientifique s’est beaucoup investie dans le développement des expérimentations sociales. Certains chercheurs ont, en outre, pu participer à la conception de dispositifs d’action publique, comme Marc Gurgand qui a présidé, avec Emmanuelle Wargon, le groupe de travail constitué pour dessiner les contours de la Garantie jeunes.

Le dispositif de la Garantie jeunes

Dans les débats concernant la loi Travail, la « Garantie jeunes » a fait partie de ces dispositifs régulièrement invoqués (par des organisations syndicales, des associations étudiantes et par des membres du gouvernement) pour souligner l’action du gouvernement en direction des jeunes « en situation de grande précarité ». C’est que la Garantie jeunes est présentée comme l’un de ces « nouveaux droits » (ce qu’elle n’est pas encore) que l’adoption de la loi Travail rendrait effectifs. Les discussions engagées semblent ainsi complètement occulter le statut expérimental de la Garantie jeunes, pourtant stipulé dans son décret de création. D’une certaine manière, la Garantie jeunes, comme le RSA avant elle, serait trop politique pour être vraiment expérimentale.

Créée par un décret du 1^er octobre 2013, la Garantie jeunes est un dispositif expérimental destiné aux jeunes âgés de 16 à 25 ans [4], qui ne sont ni étudiants, ni actifs, ni en formation, et qui se trouvent en situation de grande précarité. Elle propose un accompagnement individuel et collectif, social et professionnel doublé d’une allocation forfaitaire mensuelle de 431 euros en 2016, le tout encadré par un contrat de douze mois (éventuellement renouvelable six ou douze mois) liant chaque jeune et sa mission locale par un ensemble d’engagements respectifs. Une de ses caractéristiques renvoie, par ailleurs, à son contingentement (actuellement remis en cause) : à partir de sa généralisation, 100 000 jeunes pourront en bénéficier chaque année.

Initialement prévue jusqu’au 31 décembre 2015, l’expérimentation a finalement été prolongée jusqu’au 31 décembre 2017, date à partir de laquelle, selon les résultats de son évaluation, les modalités de sa généralisation pourront être envisagées [5].

S’il semble que les résultats intermédiaires du revenu contractualisé d’autonomie (expérimenté entre mars 2011 et décembre 2013) ont pu constituer un des éléments formant la base de la Garantie jeunes [6], celle-ci est également l’œuvre d’un groupe de travail co-présidé par l’ancien président du Conseil scientifique du Fonds d’Expérimentation pour la Jeunesse, Marc Gurgand, et d’une déléguée générale à l’emploi et à la formation professionnelle, Emmanuelle Wargon, qui a par ailleurs dirigé le cabinet de Martin Hirsch au sein du Haut-commissariat aux solidarités actives. Aussi, la dimension expérimentale de la Garantie jeunes ne fait aucun doute au moment de sa conception : non seulement elle est inscrite dans le décret de création de la Garantie jeunes, mais encore deux de ses concepteurs ont participé à la promotion des expérimentations sociales en France.

En revanche, les interventions régulières d’acteurs politiques à propos de la Garantie jeunes ne semblent plus faire grand cas de cette dimension expérimentale. Si la généralisation est bien évoquée par ces derniers, celle-ci n’est, en réalité, plus du tout conditionnée aux résultats de l’évaluation. Car, à l’instar des autres expérimentations sociales, la Garantie jeunes fait l’objet d’une évaluation, ici pilotée par un comité. Trois évaluations sont intervenues conjointement [7] (une évaluation quantitative mobilisant la méthode de l’assignation aléatoire, et deux évaluations qualitatives).

La Garantie jeunes dans le calendrier politique

Mais, en dépit de l’existence d’un dispositif d’évaluation qui articule analyses quantitatives et qualitatives et qui doit se prononcer sur les résultats de l’expérimentation, peu d’interventions le mentionnent, comme si la généralisation de la Garantie jeunes était d’ores et déjà assurée. L’historique du dispositif et des déclarations afférentes est à ce titre éclairant.

En tant que dispositif expérimental (mise en œuvre « à petite échelle […] et dans des conditions qui permettent d’en évaluer les effets dans l’optique d’une généralisation », pour reprendre les termes utilisés précédemment), la Garantie jeunes devait initialement être testée sur quelques territoires, dont la liste avait été arrêtée par décret. Toutefois, son histoire depuis 2013 témoigne d’une forme de généralisation territoriale précoce puisque, à la fin de l’année 2016, elle concerne 91 départements et 358 missions locales, soit 80 % du réseau [8]. Ces extensions successives remettent en cause le statut expérimental de la Garantie jeunes. Non seulement parce que l’objectif de généralisation à plus grande échelle n’a plus grand sens dès lors que l’expérimentation n’est plus menée à petite échelle. Mais également parce que les évaluations, et surtout l’évaluation quantitative par assignation aléatoire, a été contrainte de revoir son protocole qui prévoyait la constitution de zones « témoins » (dans lesquelles la Garantie jeunes est mise en œuvre) et de zones « tests » (dans lesquelles la Garantie jeunes n’est pas mise en œuvre) comparables. En effet, les extensions successives ont considérablement augmenté le nombre de zones-témoins, tout en réduisant d’autant le nombre de zones-tests potentielles. Or, ces dernières sont considérées comme essentielles afin de mesurer l’effet du dispositif sur le taux de retour en emploi des jeunes.

Ces éléments soulignent un intérêt ambigu pour la Garantie jeunes de la part des acteurs politiques : si le dispositif en tant que tel intéresse, en raison de son inscription dans la loi Travail, des négociations dont il a pu faire l’objet, du public auquel il s’adresse, son évaluation et a fortiori son expérimentation ont très vite été reléguées à l’arrière-plan, comme le suggèrent une série d’interventions médiatiques publiées dans le contexte des débats autour de la loi.

À l’occasion d’un colloque sur l’emploi des jeunes, Harlem Désir vantait, le 16 décembre 2015, « l’immense succès du programme ». De la même manière, un directeur de mission locale évaluait les bénéfices de la Garantie jeunes : « c’est quatre fois mieux qu’avec un parcours classique en mission locale ! » [9]. Dans le même esprit, l’exposé des motifs de l’amendement à la loi Travail proposant l’universalisation de la Garantie jeunes expliquait : « à travers la Garantie jeunes, le gouvernement souhaite généraliser une démarche d’accompagnement innovante, dont la pertinence est unanimement saluée, notamment par les principaux intéressés : les jeunes, les entreprises et les missions locales ». Cette universalisation (qui devait supprimer le contingentement à 100 000 jeunes par an) était d’ailleurs une des revendications de la FAGE (fédération des associations générales étudiantes) dans les débats autour de la loi travail, pour qui elle constituait « la plus grande avancée sociale pour les jeunes » [10].

Quelle place pour l’évaluation ?

Ces diverses déclarations autour de la Garantie jeunes qui, dans une logique de performativité, en vantent les mérites avant même la publication des résultats de l’évaluation témoignent d’une forme d’urgence politique qui s’articule difficilement avec le temps, plus long, de la recherche scientifique (Bureau et al., 2013). C’est probablement à cette aune qu’il faut analyser deux études du dispositif publiées au printemps 2015 : face au temps « long » de l’évaluation scientifique, la DGEFP a ainsi sollicité la réalisation d’une étude portant sur le déploiement opérationnel du dispositif (SGMAP, 2015) qui en identifie les points forts et faibles, et propose des pistes d’amélioration. Autant d’éléments qui soulignent l’importance de l’enjeu politique que représente la Garantie jeunes, et qui peuvent en affecter l’évaluation dans la mesure où celle-ci porte également sur les conditions de la mise en œuvre du dispositif. La deuxième étude, réalisée par le Conseil Économique, Social et Environnemental (Dulin, 2015) ne se substitue pas à l’évaluation en cours, mais n’en attend pas non plus les résultats pour préconiser une pérennisation du dispositif, et se prononcer sur plusieurs de ses modalités (durée de l’accompagnement, montant de l’allocation, etc.).

Dans cette perspective, l’évaluation scientifique, clé de voûte des expérimentations ne paraît plus centrale dans le processus de décision politique, contrairement à ce que laissait penser les discours de promotion des expérimentations sociales. Elle n’intéresse plus dans la mesure où il a été collectivement décidé que la Garantie jeunes fonctionnait. D’une certaine manière, les logiques partisanes gardent le dessus sur l’idéal, un temps affirmé, d’un gouvernement par la preuve. En effet, Les nombreuses déclarations relatives à la Garantie jeunes en ont fait un dispositif « qui marche ». Non pas au sens où l’évaluation de ses résultats – et donc son expérimentation – est positive, mais au sens où le discours politique qui l’entoure fonctionne et atteint sa cible. Les résultats de l’évaluation ne sont, dans cette perspective, qu’un détail qui viendra éventuellement alimenter le déploiement définitif du dispositif.

Ici aussi l’histoire semble se répéter, puisque l’expérimentation du RSA avait connu les mêmes déboires, conduisant au résultat que l’on connaît : son échec (Eydoux et Gomel, 2014). Toutes deux ont effectivement mobilisé des évaluations qualitatives et une évaluation par assignation aléatoire. Toutes deux ont rencontré une série d’obstacles imposés par les modalités de déploiement de l’expérimentation : dans le cas de la Garantie jeunes, la montée en charge progressive (de 10 à 91 départements) a conduit à revoir la liste des « territoires-témoins » après qu’une partie de ceux-ci sont devenus des « territoires-tests ». Dans les deux cas, les résultats définitifs de l’évaluation quantitative n’ont pas été attendus, alors même que, selon leurs promoteurs, c’est elle qui confère aux expérimentations leur force et leur légitimité. Ainsi, un journaliste des Échos [11] ayant eu accès au rapport d’évaluation insistait, début novembre, sur l’effet de la Garantie jeunes sur le retour à l’emploi de ses bénéficiaires : ces derniers connaîtraient « un taux d’accès à l’emploi 25 % plus élevé » que les jeunes éligibles mais non-bénéficiaires. Cette donnée, absente en tant que telle du rapport d’évaluation, constitue une traduction par le journaliste d’une partie des résultats. Elle rappelle, comme cela a été le cas pour le RSA, la place importante accordée au chiffre pour attester le succès (plus rarement l’échec) des dispositifs d’action publique. En 2008, le RSA avait ainsi été généralisé sur la base d’une donnée présente dans le rapport intermédiaire. L’effet du RSA (activité) sur le retour à l’emploi des bénéficiaires avait été estimé à 30 %… ce que les résultats définitifs avaient largement nuancé : au terme des 15 mois d’évaluation l’effet du RSA sur le retour à l’emploi n’étaient plus que de 9 %, à la limite de la significativité.

Pour la Garantie jeunes, il faudra donc attendre les derniers résultats de l’évaluation quantitative, en janvier 2017, c’est-à-dire quand le dispositif aura effectivement été généralisé, pour disposer d’une évaluation complète de ses effets (les résultats définitifs des deux évaluations qualitatives sont, quant à eux, d’ores et déjà consignés dans le rapport rendu début décembre à la ministre du Travail).

Dès lors, la place laissée à l’évaluation semble réduite à la portion congrue : il ne s’agit plus de lui demander d’éclairer la décision, puisque la décision est déjà prise. L’idéal du gouvernement par la preuve porté par les promoteurs des expérimentations sociales paraît bien éloigné. Celles-ci semblent ainsi condamnées : soit elles résultent de l’initiative locale et sont considérées comme trop spécifiques par un pouvoir central marqué du sceau du jacobinisme, soit elles relèvent d’une initiative centrale et deviennent alors, à l’instar de la Garantie jeunes, trop politiques pour être vraiment expérimentales.