Chiffrer pour évaluer ?

« Benchmarker, c’est la santé », disait Laurence Parisot, comme le rappellent Isabelle Bruno et Emmanuel Didier dans les premières lignes de leur introduction (p. 8). Benchmarker c’est pratiquer une évaluation systématique des processus, décisions, choix et stratégies, en assujettissant ce qui est produit, décidé, choisi ou envisagé à des mesures quantitatives. C’est également scruter les méthodes et les résultats de la concurrence pour s’en inspirer et chercher à faire mieux : le benchmarkeur décèle les « meilleures pratiques de la concurrence » afin d’améliorer sa propre performance. Cette pratique du management et de la gestion est née dans le monde de l’industrie nord-américaine dans les années 1980, avant de se diffuser dans la plupart des organisations sociales : commerce, industrie, associations, services publics ou parapublics, administrations d’État, collectivités territoriales... jusqu’au plus haut sommet de l’État. Rappelons-nous les propos de Nicolas Sarkozy, alors président de la République [1] : « Toute activité sans évaluation pose un problème » ; « Moi, je vois dans l’évaluation la récompense des performances. S’il n’y a pas d’évaluation, il n’y a pas de performance ». L’évaluation apparaît comme une nécessité absolue, comme une condition vitale pour les organisations, les administrations et le gouvernement des choses publiques.

« Benchmarker, c’est la santé » ; « évaluer, c’est vital ». Cette manière de gérer, d’administrer et de gouverner a fait l’objet d’assez nombreuses analyses critiques [2], sur lesquels nous ne souhaitons pas revenir en détail. Nous considérerons ici deux ouvrages conduisant des analyses serrées des usages et conséquences de l’évaluation dans le management public (data driven Policy) : le livre Benchmarking. L’État sous pression statistique d’Isabelle Bruno et d’Emmanuel Didier (2013) et Désacraliser le chiffre dans l’évaluation du secteur public publié par Albert Ogien (en 2013). Et nous nous proposons ici d’interroger l’articulation entre la posture évaluatrice et la production de chiffres, de statistique, de données quantitatives. Ces deux ouvrages ont en effet comme point commun fondamental de faire un lien explicite entre critique de l’évaluation et du benchmarking, et critique du chiffre. Les premiers parlent de « pression statistique », le second de « sacralisation du chiffre ». Mais, in fine, la statistique doit-elle faire les frais de la critique de la posture évaluatrice ?

Le chiffre, l’indicateur quantitatif, la statistique, se retrouvent souvent au cœur des dispositifs d’évaluation, comme l’illustre par exemple, l’analyse des quatre temps de la démarche du benchmarking : la détermination des indicateurs permettant de mesurer l’activité ; le chiffrage d’un objectif à atteindre ; la définition d’une période de temps pour atteindre l’objectif ; l’analyse des résultats atteints et la définition des futurs objectifs [3]. Dans leur ouvrage, Isabelle Bruno et Emmanuel Didier interrogent spécifiquement la diffusion des chiffres évaluatifs dans l’organisation de l’activité publique en France au cours des toutes dernières années et, plus précisément, sa mise en œuvre dans trois domaines précis, qui ont fait l’objet de minutieuses enquêtes empiriques collectives : la police, l’hôpital, l’enseignement supérieur. Les situations sont différentes et les formes d’implantation du management par le chiffre ne sont pas identiques. La police a vu apparaître de nombreux biais et effets pervers, mais le benchmarking semble solidement ancré dans les pratiques : les commissaires se présentent devant les préfets qui les évaluent à l’aide de plusieurs dizaines d’indicateurs, allant du nombre d’atteintes aux biens (vols, dégradations…) à des taux d’élucidation, en passant des nombres d’action de prévention. À l’hôpital, l’organisation administrative de l’hôpital a évolué et la « gestion » des flux de malades s’est beaucoup transformée : la surveillance du temps d’attente des patients a ainsi conduit à l’augmentation du « rendement » des personnels médicaux, quitte à être moins attentif à la dimension qualitative des soins (leur « qualité ») ; et la publicité faite aux indicateurs a conduit à l’élaboration et à la publicisation de classements des hôpitaux et cliniques, dont le public s’est largement emparé. De leur côté, les universités ont connu une profonde transformation, faisant d’elles des acteurs économiques et marchands presque ordinaires : leur financement résulte d’appels à projets et repose sur leur capacité à faire preuve de leur efficacité ; leur organisation est évaluée par une batterie d’indicateurs standardisés. Ce qui est commun à chacune des situations est la profonde évolution des métiers des agents de la fonction publique : l’arrivée des outils du management quantitatif les conduit à percevoir bien différemment leur rôle, leur mission et leur relation aux usagers des services publics.

Pour sa part, l’ouvrage d’Albert Ogien offre un panorama synthétique des transformations du management public par les systèmes d’information et de quantification, dans le prolongement de son travail sur L’esprit gestionnaire [4]. Issu d’une conférence donnée en 2012 à l’INRA, l’ouvrage n’offre pas d’exemple empirique détaillé : il s’agit davantage un appel à la vigilance, une critique générale du management et de la conduite des politiques publiques à l’aide d’indicateurs évaluatifs. Les réflexions aboutissent à un constat sévère, qui est essentiel : « l’activité de quantification induit, de façon intrinsèque et fortuite, une a-moralisation des critères de jugement de l’activité politique » et le « chiffre contribue, sans que cet effet ne soit délibérément recherché, à dégrader les principes constitutifs du politique » (p. 36). Selon Albert Ogien, cette situation résulte du fait que la quantification de toute politique publique (soigner, enseigner, juger…) conduit à réifier le phénomène mesuré, à neutraliser les enjeux sociaux et politiques (puisqu’ils ne peuvent pas être mesurés) et enfin à stabiliser les analyses et jugements (puisqu’il est toujours nécessaire, pour comparer, de ne pas changer les outils de mesure et donc les manières de voir).

Ces deux ouvrages constituent de belles illustrations des questionnements et méthodes qui fondent la sociologie de la quantification. Ce domaine de recherche, largement vitalisé par les travaux d’Alain Desrosières [5], s’enrichit depuis plusieurs années d’analyses approfondies embrassant des domaines qui dépassent le cadre des seules statistiques publiques produites par quelques instituts nationaux. Les outils forgés pour étudier les statistiques, ces êtres situés entre « réalité naïve » et « convention relativiste », sont très opératoires pour étudier les dispositifs d’évaluation et de productions de chiffres évaluatifs. La sociologie de la quantification prend au sérieux l’idée selon laquelle statistique et quantification contribuent à établir « l’autorité des faits », tout en discutant fermement les notions d’autorité et de « fait ».

Le chiffre : une modalité de l’évaluation

Comme nous le signalons précédemment, les titres ou sous-titres des deux ouvrages attirent notre attention sur le chiffre et la statistique, voire tendent à les stigmatiser. Mais ne nous y trompons pas : si les critiques exprimées dans ces deux ouvrages semblent prioritairement viser les statistiques et le chiffrage du monde social, il apparaît que l’opération de quantification n’est qu’un aspect parmi bien d’autres des dispositifs d’évaluation. Au fond, les critiques conduites dans ces ouvrages visent la démarche et les processus d’évaluation tous azimuts, bien plus que les chiffres et statistiques en tant que tels. Nous défendons ici l’idée que la critique porte finalement moins sur les statistiques et les chiffres que sur la volonté évaluative, sur les dispositifs de managements résultant du benchmarking. Ce qui est en cause n’est pas tant la mise en chiffre, que le chemin qui précède cette mise en chiffre : le processus qui conduit les acteurs à s’approprier une définition systématique de la qualité, à se discipliner pour se conformer à une exigence contraignante de l’évaluation méthodique de leur activité, à écouter les leçons que les chiffres semblent fournir ; et, au début de ce chemin, les politiques de management par l’évaluation et de gouvernement par la logique du résultat. Voir dans les statistiques et les chiffres tous les maux de ce type de fonctionnement, c’est en partie se tromper de cible. C’est cette dernière affirmation que nous développons et argumentons dans ce texte.

Un des premiers arguments est de constater que toute évaluation n’aboutit pas nécessairement à produire du « chiffre ». Bon nombre de processus évaluatifs fabriquent des notes qui ne sont pas des chiffres, qui ne sont pas les résultats de l’agrégation mathématique de données quantitatives. Songeons par exemple aux notes utilisées par l’AERES (Agence d’Évaluation de la Recherche et de l’Enseignement Supérieur) [6] pour évaluer les établissements, les formations, les écoles, les instituts ou les laboratoires de recherche : ces notes étaient des lettres (A+, A, B, C). Et pensons également aux agences comme Moody’s, S&P, Fitch qui utilisent des grilles de notation financière qui ne sont pas des chiffres, mais également des séries de lettres, minuscules ou majuscules, combinées avec les signes « + » ou « - » ou des chiffres pour constituer de longues grilles de notation (Aaa, AAA, Aa1, A1, Baa1, Ba3, Caa, CCC-…). Ces notations sont devenues des outils incontournables dans les transactions financières et dans l’analyse des « risques pays ». Il s’agit bien d’évaluations, mais pas de quantifications ou de statistiques à proprement parler. Les travaux sur ces dispositifs se nourrissent des problématiques et outils analytiques de la sociologie de la quantification (puisque les opérations de classement sont primordiales dans tous les cas) sans pouvoir y être assimilés [7].

Au total, les chiffres et les statistiques apparaissent moins comme les objets premiers des ouvrages d’Albert Ogien, d’Isabelle Bruno et d’Emmanuel Didier, que des prétextes pour conduire une critique des modèles contemporains de gestion et de management des politiques publiques. Chiffres évaluateurs et statistiques de production ne sont qu’un des aspects visibles et concrets de ces modèles. Mais derrière eux, se cachent l’empire de l’évaluation systématique et donc des catégories, processus de recueil, indicateurs, objectifs et grilles. En se saisissant de ces pratiques et dispositifs, la sociologie de la quantification a trouvé un vaste terrain de recherche. Mais le regard qu’elle y porte ne doit pas nous tromper : l’évaluation n’est pas synonyme de quantification, et l’enjeu semble bien davantage se situer dans les nomenclatures et grilles qui précèdent tout comptage [8].

D’ailleurs, une lecture poussée montre que les critiques ne concernent finalement pas toute la statistique. Tous les chiffres ne se valent pas ! Albert Ogien en convient lui-même lorsqu’il admet l’existence de différents types d’évaluation chiffrée à la suite des échanges avec l’auditoire de sa conférence, dont l’essentiel est retranscrit en fin d’ouvrage. À juste titre, il introduit la notion de « système du chiffre » afin de « rapporter chaque modalité de quantification au cadre pratique, technique et conceptuel à l’intérieur duquel un certain type de chiffre est produit » (p. 88). Cette notion permet de focaliser l’attention de l’analyste sur la manière dont les chiffres sont construits et utilisés et donc de distinguer l’usage purement comptable et l’usage « sur un mode intelligent » contribuant à une compréhension des situations et des faits. L’usage comptable correspond à l’évaluation gestionnaire et constitue une technique de gouvernement : c’est cet usage qu’Albert Ogien critique et qui fait, finalement, l’objet des analyses critiques conduites dans l’ouvrage. L’usage « intelligent » est celui qui préside à la conception de la quantification comme « description rigoureuse de fragments de la réalité qui assure un avancée à la raison humaine ». La quantification est une « clé de la compréhension de nombreux phénomènes », même si toutes les formes d’objectivation ne sont pas quantitatives et si des formes de quantification sont très critiquables. Il faut se garder de voir dans la critique de l’évaluation et de la statistique évaluative une simple reformulation de l’idée naïve que les chiffres ne sont que mensonges, qu’inventions et qu’outils de manipulations. Et il faut également se garder de voir dans la démarche statistique une négation de la subjectivité et de la singularité des individus et des situations. Il est impératif de dissocier le processus d’évaluation de celui de quantification, de fabrication de statistiques.

Dans le cadre des vastes dispositifs d’évaluation et de benchmarking, parler de « système du chiffre », c’est inclure dans l’analyse sociologique tout ce qui conduit, in fine, à produire des statistiques d’activité, de production, de résultat… Et cela inclut notamment les mécanismes qui amènent les individus à consentir, adhérer et agir pour les dispositifs d’évaluation. L’engagement de chacun est une des conditions fondamentales au fonctionnement des dispositifs. Cet engagement repose sur un « enrôlement de chacun dans un effort coordonné de compétitivité », une « bonne volonté », sur une mobilisation des participants, qui sont obtenus par « libre assentiment ». Tout cela est possible grâce à des injonctions subtiles, qui rendent difficiles voire impossible de se retirer ou de se désolidariser du mouvement général : chercher à entraver le processus apparaît comme un égoïsme, comme un geste individuel qui brise une dynamique collective. C’est une attitude qui est susceptible de conduire à l’échec dans un système concurrentiel et de rompre la course à la performance (Bruno, Didier, 11-13). C’est une des leçons les plus frappantes de ces enquêtes sur le benchmarking et l’évaluation : la capacité des dispositifs à enrôler chacun des protagonistes, en rencontrant finalement peu de résistance. Peut-être que ce mode de gouvernance est d’autant plus efficace que le sentiment de crise et de menace permanente est omniprésent : chacun adhère à ce jeu de l’évaluation concurrentielle, car chacun y voit un moyen de ne pas sortir perdant (voire de sortir gagnant) de la compétition et donc un moyen pour faire (sur)vivre son commissariat, sa formation universitaire, son équipe de recherche, son administration, son service ou encore son lycée...

Par conséquent, ne serait-il pas plus juste de parler « d’État sous pression évaluative » ou « d’État sous pression concurrentielle », et de vouloir « désacraliser l’évaluation et l’esprit de concurrence systématique » ? Les nombres et les statistiques ne sont que l’aboutissement d’un processus plus profond et plus général, où les valeurs de concurrence, d’optimisation, de performance, d’évaluation gouvernent.

Derrière les instruments, des choix politiques

Un des impératifs pour sortir de l’ornière dans laquelle le nouveau management par l’évaluation nous a conduits est de rappeler avec force que les critères n’ont rien de naturel, d’évident : ils ne sont pas « hors sol ». Il est nécessaire de réintroduire la critique des catégories, des principes de calculs, des normes implicites incorporées dans les statistiques. C’est l’occasion de rappeler un autre précepte de la statistique reste toujours vrai : les « données ne sont pas données » [9]. Il n’y a aucune naturalité ou transcendance dans les chiffres et, plus fondamentalement, dans les catégories, nomenclatures et critères qui servent à les calculer. Les chiffres ne font qu’incarner les valeurs, choix et arbitrages sous-jacents à ces catégories, nomenclatures et critères.

Gouverner par des chiffres ce n’est pas dépasser les enjeux moraux, politiques ou économiques et les remplacer par des instruments neutres et rationnels. C’est, plus subtilement, cacher ces choix dans ces instruments, puis présenter ces instruments comme objectifs et non discutables. Le gouvernement par les nombres ne fait pas disparaître le politique, mais conduit à situer le politique dans le choix des grandeurs mesurées, dans les méthodes de leur mesure, dans les finalités des instances de mesure. Penser que la statistique conduit à « gouverner sans gouverner [10] », c’est-à-dire en perdant toute marge de manœuvre ou toute liberté politique, soumises à l’objectivité numérique, c’est se tromper.

L’exemple, trop méconnu, des « échecs » dans les premiers cycles universitaires constitue une illustration simple : mesurer ces échecs comme la part des étudiants qui n’obtiennent pas leur licence c’est cacher tous les motifs qui peuvent conduire un étudiant à ne pas poursuivre ses études jusqu’à la licence (échec, mais aussi réorientation, accès à un emploi jugé satisfaisant, réussite à un concours, arbitrage entre plusieurs formations suivies simultanément…) et c’est résumer des situations complexes en un mot-outil bien commode pour stigmatiser les cycles universitaires et engager des réformes politiques [11].

La notion de « système du chiffre » proposée par Albert Ogien nous semble pouvoir rendre justice au précepte selon lequel « les statistiques ne parlent pas d’elles-mêmes » : une même statistique sur l’illettrisme et l’accès à l’éducation peut être utilisée pour conduire des politiques de lutte contre l’illettrisme comme, inversement, pour juger de l’efficacité et de la performance des systèmes éducatifs, et ainsi pousser les systèmes les plus « défaillants » à se réformer. Et mesurer des taux d’échecs d’élèves dans des établissements scolaires peut conduire, soit à décider d’une politique de soutien en faveur des établissements ayant les plus grandes difficultés à faire réussir leurs élèves, soit à décider d’une politique de fermeture des établissements qui échouent dans cette mission. L’indicateur statistique ne fait pas tout, ne dit pas tout. L’action politique qui suit la production ou publication de chiffres n’est pas entièrement déterminée par les chiffres eux-mêmes.

Il est en revanche vrai que l’incarnation des choix et valeurs dans des indicateurs statistiques ou des chiffres évaluatifs rend un peu plus compliquée la critique des choix opérés, car chiffres et statistiques tendent à figer les catégories. Ce qui est redoutable dans cette manière de gouverner par les nombres est que les choses mesurées sont toujours réifiées dans les indicateurs supposés être leur simple mesure. La politique et les choix moraux ou sociaux ne disparaissent pas, mais ils tendent à être figés dans des indicateurs qui se chosifient, s’institutionnalisent et deviennent incontournables. L’extrême difficulté à réformer le PIB voire à le remplacer dans des indicateurs alternatifs qui tiendraient compte des progrès de la science économique ou des exigences environnementales ou humaines est un exemple emblématique des obstacles à changer l’outil de mesure lorsque celui-ci est installé et que son usage est routinier. Même les progrès de la connaissance ne parviennent pas toujours à faire évoluer un indicateur : par exemple, l’échelle de mesure de la dépression, conçue en par Hamilton en 1960 (et révisée à quelques reprises jusqu’en 1980) constitue toujours l’instrument privilégié pour mesurer la sévérité de la dépression majeure d’un patient ; et l’échelle est notamment utilisée par l’industrie pharmaceutique pour tester l’efficacité des antidépresseurs. L’échelle participe à un « système extrêmement cohérent et très interdépendant », qui possède « une forte inertie au changement » [12]. Si l’évaluation suppose la définition de normes et de convention, elle aboutit à la réification de ces normes et de ces conventions, qui s’installent durablement et solidement dans le paysage.

Comment résister à la pression statistique ?

Se pose alors la question des modalités de critique voire de résistance face à l’avalanche de chiffres, face à la pression statistique, face à ces modalités de gouvernance par le nombre ? La première réponse, celle fournie par les deux ouvrages dont il est ici principalement question, est de critiquer cette avalanche de nombres, ce goût du chiffre et cette gourmandise de la gouvernance par les statistiques. Nous pensons avoir montré que c’est en partie se tromper de cible et donc perdre en efficacité.

La deuxième réponse est, à l’instar de la conclusion de l’ouvrage d’Isabelle Bruno et d’Emmanuel Didier [13], d’engager une lutte à armes égales, par une démarche qu’ils nomment « statactivisme » : « Œil pour œil. Nombre pour nombre ». Au-delà de la critique, il s’agit de savoir détourner ou contourner les règles présidant à la fabrication des chiffres, de savoir bâtir des indicateurs qui peuvent mobiliser la contestation ou contribuer à une revendication, d’être force de propositions en créant ce que statisticiens, sociologues et économistes critiques appellent des « indicateurs alternatifs » [14]. Les statistiques ne sont pas uniquement perçues comme des autorités incontestables, mais aussi comme des moyens pour incarner une pensée critique, pour « ouvrir les possibles ».

La troisième réponse réside dans l’analyse sociologique des promoteurs et initiateurs des dispositifs : qui sont-ils et quel profit en tirent-ils ? Un instrument ou une savoir n’existent pas ex-nihilo, sans être promu par un collectif qui en tire un intérêt. Une analyse des acteurs (agences, experts, manageurs, ingénieurs-consultant, écoles, sociétés de conseil…) qui donnent vie aux nomenclatures et aux outils de l’évaluation quantitative doit être conduit. Inversement la faible résistance des agents et décideurs à cette vague de la mesure évaluative doit être questionnée. L’argument selon lequel l’engouement résulte de la croyance largement partagée en une possible quantification du réel, qui serait synonyme de scientificité et d’objectivité, n’est pas totalement convaincante : les chiffres donnent naissance à autant de scepticisme que de crédulité. L’affirmation ordinaire selon laquelle « les chiffres, on leur fait dire ce qu’on veut » est loin d’être rare, tout comme l’analyse critique des chiffres et des indicateurs chiffrés : la sociologie de la quantification et la critique politique des statistiques se rejoignent dans cette démarche critique, parfois militante, en tout cas vigilante sur les usages et mésusages des données statistiques.

La sociologie de la quantification a montré sa vitalité au cours des dernières années et ses terrains d’investigation et de réflexions se sont multipliés. Et il y a de fortes chances qu’ils continuent à le faire : la fièvre évaluatrice et classificatrice, la course aux classements, ne semblent pas s’atténuer. Et, une fois installés dans le paysage et la vie publique, il est peu probable que ces instruments disparaissent : il ne sert à rien de souhaiter ou d’imaginer « un improbable retour en arrière [15] ». Faut-il y voir une des expressions modernes de la guerre, comme le suggérait tout récemment la psychanalyste Marie-Hélène Brousse :

« Les modalités de la guerre se transforment continuellement, mais elle ne cesse jamais. Aujourd’hui multiple, diverse, elle manifeste les traits de l’époque qui est la nôtre en ce début de XXI^e siècle : le déclin des figures d’autorité traditionnelles au profit du chiffre, des fonctions et des procédures standardisées ; le statut de Un-tout-seul du sujet qui modifie la psychologie des foules ; la montée au zénith des objets des technosciences, qui permettent de tout voir, de tout savoir et de faire la guerre sans y être physiquement ; l’information en temps réel pour tous » [16].

Nous préférons laisser la parole à Albert Ogien : « Avec la notion de système du chiffre, j’ai voulu préserver la grandeur et la beauté du chiffre intelligemment utilisé (en général à des fins de connaissance non instrumentalisée), tout en montrant qu’il recelait une puissance de contrôle et de reconfiguration du réel dont les gouvernants se servent à leur propre fin » (p. 89). Le chiffre, ce morceau de réalité sociale, ne se laisse pas facilement dompter. Ne laissons pas toute latitude à ceux qui prétendent savoir le faire. Et ne laissons pas la mode des indicateurs et la fièvre évaluatrice masquer ce que les chiffres et la science statistique apportent à la connaissance des faits.