Pour une meilleure évaluation de la recherche publique en sciences humaines et sociales (SHS) - Tome 2
Description
Le Tome II de ce rapport analyse sous forme détaillée les objectifs et les procédures de l'évaluation de la recherche en sciences humaines et sociales dans les établissements publics de recherche français. Compte tenu des personnes et des structures susceptibles d'être évaluées pour leurs activités de recherche, et des modes de financement dont elles dépendent, l'étude s'efforce de répondre à trois questions : pourquoi et comment la recherche en SHS est-elle évaluée ? Dans quelle mesure cette évaluation est-elle adéquate et efficace ? Comment l'évaluation de la recherche en SHS en France pourrait-elle être améliorée afin de rejoindre les normes internationales en la matière ? Au terme d'une analyse des instances d'évaluation (composition, missions et modalités de fonctionnement), critères et indicateurs utilisés, le CNER fait le point sur les enjeux de l'évaluation pour la communauté scientifique. Il propose des axes de réflexion de nature à ouvrir la voie à une meilleure adéquation et à un meilleur ajustement des procédures d'évaluation en sciences humaines et sociales.
Sujets
Informations
| Publié par | rapports-enseignement-travail-formation |
| Publié le | 01 août 2006 |
| Nombre de lectures | 13 |
| Licence : |
En savoir + Paternité, pas d'utilisation commerciale, partage des conditions initiales à l'identique
|
| Langue | Français |
| Poids de l'ouvrage | 1 Mo |
Extrait
SOMMAIRE
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
Encadrement institutionnel de la recherche en SHS. . . . . . . . . . . . . . . . . . . . . . 13 Acteurs financiers de la recherche en SHS. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
Structuration de la recherche en SHS par discipline. . . . . . . . . . . . . . . . . . . . . . 61 Structuration de la recherche en SHS en unités. . . . . . . . . . . . . . . . . . . . . . . . . . 69 Programmes et projets de recherche. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 Méthodes et infrastructures de la recherche. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95 Implications de la structuration de la recherche pour l’évaluation. . . . . . . . . . . . 101
Objectifs des politiques scientifiques et de leur évaluation au niveau national. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
Objectifs des politiques scientifiques et de leur évaluation au niveau des établissements d’enseignement supérieur. . . . . . . . . . . . . . . . . 114
Objectifs des politiques scientifiques et de leur évaluation au niveau des organismes de recherche. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117 Objectifs de la recherche et de son évaluation au niveau des collectifs. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
Objectifs des programmes de recherche et de leur évaluation en SHS. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138 Objectifs de la recherche et de son évaluation au niveau individuel. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140 Articulation des objectifs de la recherche et de leur évaluation en SHS. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
Dispositifs de conseil, d’évaluation et d’expertise des politiques scientifiques en SHS au niveau national et international. . . . . . . . . . . . . . . . . . 150
S
O M M A I R E3
4
Instances d’évaluation de la recherche menée dans les établissements d’enseignement supérieur. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161 Dispositifs d’évaluation de l’Agence nationale de la recherche. . . . . . . . . . . . . 184
Instances d’évaluation des organismes de recherche. . . . . . . . . . . . . . . . . . . . 186 Instances d’évaluation des structures fédérées. . . . . . . . . . . . . . . . . . . . . . . . . 205 Mise en œuvre des bons principes de l’évaluation. . . . . . . . . . . . . . . . . . . . . . 209
Critères et indicateurs d’appréciation des politiques scientifiques en SHS. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223 Critères et indicateurs d’évaluation de la recherche des établissements d’enseignement supérieur. . . . . . . . . . . . . . . . . . . . . . . . . . 232
Critères et indicateurs d’évaluation de la recherche des organismes et des structures fédératives. . . . . . . . . . . . . . . . . . . . . . . . . . . 246 Adéquation des critères d’évaluation en SHS. . . . . . . . . . . . . . . . . . . . . . . . . . . 266
Acteurs et activités de la recherche en SHS. . . . . . . . . . . . . . . . . . . . . . . . . . . . 277 Impacts de la structuration de la recherche en SHS sur l’évaluation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282 Le pourquoi de l’évaluation en SHS. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289
Adéquation des dispositifs et procédures d’évaluation en SHS. . . . . . . . . . . . 297
Adéquation des critères et indicateurs d’évaluation en SHS. . . . . . . . . . . . . . 307
Impacts de l’évaluation sur les chercheurs et sur la recherche. . . . . . . . . . . . . . 315
ANNEXE 1
ANNEXE 2
. . . . . . . . . . . . . . . . . . . . . . . . . 319
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 323
ANNEXE 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329
ANNEXE 4
ANNEXE 5
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 335
Le décret no89-294. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 337
INTRODUCTION
É V A L U A T I O N D E L A R E C H E R C H E E N S C I E N C E S H U M A I N E S E T S O C I A L E S
INTRODUCTION
L’évaluation revêt une importance primordiale parmi les préoccupations de l’État et des établissements publics qui participent à la recherche. Pour l’Académie des sciences (2004), le grand débat entamé en France en 2004 sur l’avenir de la recherche a donné une nouvelle acuité au rôle de l’évaluation comme « outil de pilotage du change-ment ». Le Centre national de la recherche scientifique (CNRS) voit l’évaluation comme « la pierre d’angle » sur laquelle reposent la politique et la vie des organismes de recherche (Mégie et Larroutourou, 2004, p. 16). Pour sa part, dans son discours des vœux du 14 janvier 2005, le ministre chargé de la Recherche à l’époque, François d’Aubert, a déclaré que la qualité de l’évaluation constitue « un indice de performance et de modernité d’un système de recherche ». L’évaluation est souvent présentée comme une panacée. Un consensus s’est dégagé des États généraux de la recherche en 2004 sur le fait que l’évaluation constitue « un élément essentiel pour assurer la qualité et le dynamisme de la recherche en France ». Pour la Conférence permanente du Con-seil national des universités (CNU) et la Conférence des présidents du Comité national du CNRS, il est urgent de mettre en place une réflexion nationale dans ce domaine (Hei-nen et Langevin, 2004).
Puisque l’évaluation mobilise des ressources considérables de la part des adminis-trations, de la communauté scientifique et des contribuables, elle a des comptes à rendre. Un rapport du CNER (2003) sur l’évaluation de la recherche dans les établissements publics présente un panorama des grands organismes de recherche, des instances et méthodes d’évaluation et des performances de la recherche française en comparaison à d’autres pays. Il constate que la communauté scientifique en France, à la différence de ses homologues dans les pays anglo-saxons et nordiques, est relativement peu habituée à se pencher sur l’efficience du processus d’évaluation ou sur ses effets possibles, que ce soit sur les carrières des chercheurs, l’évolution des unités de recherche, les stratégies d’éta-blissement ou les politiques scientifiques au niveau national. Et d’observer, s’agissant de l’évaluation par les pairs : « [...] le savoir-faire ainsi constitué, qui consiste à évaluer les résultats et la qualité des travaux des collègues dans le cadre d’une discussion collégiale, ne s’est pas développé comme une technique scientifique, soumise aux conditions de rigueur que les différentes disciplines exigent d’elles-mêmes » (CNER, 2003, p. 153).
Principes et pratiques de l’évaluation
Afin de favoriser une autocritique du fonctionnement des instances d’évalua-tion, le CNER avait porté son regard sur les principes et les pratiques de l’évaluation dans les établissements de recherche publique, sur ses liens avec la structuration en équipes ou en d’autres collectifs de recherche, ainsi que sur les rapports entre évaluation et financement de la recherche. Le but n’était pas d’évaluer la recherche mais de savoir
I N T R O D U C T I O N
5
comment elle est évaluée. Au terme de cette analyse, le CNER a formulé des recom-mandations fortes sur les principes à observer en matière d’évaluation, notamment :
• impliquer les chercheurs dans la préparation des modalités d’évaluation ; • exiger la transparence et l’objectivité à la fois des procédures d’évaluation et des résultats ; • assurer la définition explicite des indicateurs et des critères ; • garantir la séparation des pouvoirs entre évaluateurs et décideurs ; • assurer la pertinence et l’efficience du processus.
Toute évaluation s’exprime par un jugement de nature relative sur les caractéristi-ques des recherches considérées, que ce soit lors de l’évaluation des politiques scientifiques des gouvernements ou des établissements, des disciplines, des unités de recherche ou des travaux des chercheurs individuels. L’évaluation demande ainsi une approche pluridimen-sionnelle, intégrant l’ensemble des paramètres qui entrent en ligne de compte au sein de chaque champ disciplinaire. Le cas des SHS nous amène, plus que dans l’étude précédente, à insister sur la distinction qu’il convient d’établir, au préalable, entre différents niveaux et types d’évaluation et, en conséquence, entre les diverses instances ou structures mises en place pour effectuer le travail en question. En effet, le terme « évaluation » sert dans le milieu scientifique en France à désigner un ensemble d’activités réalisées tour à tour par des conseils scientifiques, commissions ou comités d’évaluation, d’expertise, de conseil ou de contrôle. Les activités de ces instances se situent en amont, en aval ou dans le cours de la recherche ; elles sont plus ou moins formalisées et pérennes, ce qui conduit parfois à une certaine confusion à l’égard de leurs missions et de leur fonctionnement.
L’évaluation en SHS
Le premier rapport du CNER sur les modalités de l’évaluation s’est intéressé en particulier à l’utilisation d’indicateurs quantitatifs, voire bibliométriques, et par voie de conséquence aux sciences de la matière et du vivant, où cet outil est largement répandu et communément accepté par les chercheurs. La présente étude, tout en se situant dans la même lignée que les travaux déjà effectués par le CNER, porte sur les sciences humaines et sociales (SHS), où la grande hétérogénéité et la complexité des activités de recherche nuisent à sa lisibilité et à sa visibilité et, à plus forte raison, à la capacité de la communauté scientifique à évaluer ces disciplines. Pendant les travaux du Comité national d’initiatives et de propositions pour l’organisation de la recherche en France (CIP), l’Académie des sciences avait demandé aux SHS de justifier l’utilité de leur recherche et de montrer comment elles pourraient surmonter la coupure entre recherche et enseignement (Brézin, 31/03/04), témoignant ainsi du peu d’intelligibilité des SHS dans le monde scientifique, de l’importance de la double charge des enseignants-cher-cheurs dans les universités en France et du désir des chercheurs en SHS de rejoindre les normes européennes en matière d’évaluation. En SHS, il est, en effet, reconnu que le développement même de ces disciplines dépend nécessairement d’« un système d’éva-luation performant » capable d’assurer leur diffusion et leur légitimité (Grunberg, 2003, p. 18). Les SHS offrent ainsi un terrain fertile pour l’analyse du processus d’éva-luation, et c’est à ce titre que le sujet interpelle le CNER. En dépit des particularités, de l’hétérogénéité et des complexités des SHS, l’intérêt du sujet dépasse cependant les seules SHS, faisant de ces disciplines un cas de figure et suscitant la formulation de con-clusions d’une portée plus large.
6
É V A L U A T I O N D E L A R E C H E R C H E E N S C I E N C E S H U M A I N E S E T S O C I A L E S
Tandis que nos propositions sur les principes de l’évaluation vont dans le même sens que celles annoncées dans le rapport précédent du CNER sur les procédures et les méthodes d’évaluation, il ne s’agit pas dans ce qui suit de refaire la même analyse, mais de la pousser plus loin en la centrant sur les SHS, dont les particularités n’avaient pas pu être approfondies dans le cadre du premier rapport qui traitait de l’ensemble des disci-plines.
L’étude présente recouvre toutes les SHS, mais elles ne sont pas présentées comme un bloc homogène à mettre dans un seul moule en matière d’évaluation. Il s’agit plutôt d’identifier aussi bien les caractéristiques qu’elles partagent que celles qui les différencient et, en conséquence, de chercher des solutions pertinentes et appropriées aux divers champs de la recherche en SHS.
Objectifs de l’étude
L’étude de l’évaluation des SHS suit la trame du document précédent en la situant dans le contexte des grandes questions soulevées par les projets de réforme de la recherche en France. Comme dans le premier rapport, le but n’est pas d’évaluer la recherche en SHS, mais d’analyser le processus de l’évaluation, d’apprécier ses princi-pes et ses pratiques, et de mesurer les conséquences des évaluations sur la structuration en équipes ou en d’autres collectifs de recherche, et sur les carrières des chercheurs, tout en examinant les liens entre évaluation et financement de la recherche. À ces fins, trois questions structurent l’approche adoptée dans l’étude : 1. Pourquoi et comment la recherche en SHS est-elle évaluée ? 2. Dans quelle mesure cette évaluation est-elle adéquate et efficace ? 3. Comment l’évaluation de la recherche en SHS en France pourrait-elle être améliorée afin de rejoindre les normes internationales en la matière ?
Méthodologie de l’étude
L’évaluation se distingue d’une inspection ou d’un contrôle normatif. La mis-sion du CNER, qui n’a pas de pouvoir coercitif ou autoritaire, est essentiellement consultative. Parmi les nombreux rapports du CNER, celui-ci, comme son prédéces-seur publié en 2003, se distingue des autres qu’il a rédigés moins par ses méthodes de travail que par l’intérêt explicite qu’il porte sur le processus même de l’évaluation, auquel le CNER ne saurait lui-même échapper. Ces deux études font appel à des experts d’horizons divers, tant en ce qui concerne l’appartenance disciplinaire qu’à l’égard des connaissances des structures universitaires et des organismes de recherche en France et à l’étranger. Le Comité a demandé aux services ministériels et aux établissements publics de recherche et à leurs instances d’évaluation les informations dont il avait besoin. Il a travaillé sur des bases documentaires et statistiques, complétées par des entretiens, auditions, expertises et visites de sites. On trouvera en annexe 1 de ce volume la liste des personnalités auditionnées et consultées, ainsi que des experts, qui ont bien voulu nous apporter leur concours tout au long de la préparation de cette étude.
Les rapports du CNER sont rendus publics, les conclusions étant suivies d’effet dans la mesure où elles sont acceptées par ceux auxquels elles sont destinées. À cette fin, la procédure comporte une consultation contradictoire des représentants des insti-tutions ou des programmes évalués. Les propositions et recommandations du CNER
I N T R O D U C T I O N
7
sont présentées aux ministères concernés et sont soumises pour avis au Conseil supé-rieur de la recherche et de la technologie (CSRT). Structure du rapport Ce rapport sur les SHS comporte deux tomes. La présente étude (tome 2), menée sous la responsabilité du CNER entre 2004 et 2005, expose les résultats d’une analyse approfondie du processus de l’évaluation en SHS ; sans vouloir prétendre à l’exhausti-vité, il constitue un document de travail et un ouvrage de référence. Le premier tome, fruit d’un travail collectif des membres du CNER, s’appuie sur ces travaux en profon-deur et sur des auditions complémentaires pour en tirer des conclusions et pour formu-ler des recommandations que le Comité adresse aux politiques. L’architecture de ce deuxième tome correspond au souci de répondre aux trois questions déclinées ci-dessus. Avant de pouvoir traiter directement la première ques-tion, les chapitres 1 et 2 visent à mieux cerner qui fait réellement de la recherche en SHS en France et dans quelles structures ; en d’autres termes, quelles personnes et quelles structures sont susceptibles d’être évaluées pour leurs activités de recherche. Le cha-pitre 3 a comme mission d’analyser les divers objectifs à la fois de la recherche et de l’évaluation, afin de savoir pourquoi la recherche est évaluée, et pourquoi elle doit l’être. Les chapitres 4 et 5 analysent les moyens (instances, procédures, outils et méca-nismes) mis en œuvre au cours du processus d’évaluation, de manière à pouvoir appré-cier son efficience, et de savoir, en d’autres termes, si le processus d’évaluation fonctionne correctement. Ce sont autant de questionnements sur lesquels nous reve-nons dans le chapitre conclusif, qui s’intéresse aux enjeux de l’évaluation, aux amélio-rations à apporter aux systèmes actuels d’évaluation en France, ainsi qu’aux effets possibles du processus de l’évaluation sur les acteurs de la recherche et sur la recherche elle-même.
8
É V A L U A T I O N D E L A R E C H E R C H E E N S C I E N C E S H U M A I N E S E T S O C I A L E S
1. ACTEURS DE LA RECHERCHE EN SCIENCES HUMAINES ET SOCIALES
Acteurs de la recherche en sciences humaines et sociales
Résumé :Les acteurs de la recherche publique sont nombreux et divers : les enseignants-chercheurs et chercheurs payés par l’État pour faire de la recherche, les commanditaires et financeurs de la recherche, et les utilisateurs de ses résultats. Les questions qui se posent, à ce stade de l’étude, sont de savoir qui fait réellement de la recherche en SHS en France, comment cette recherche est financée, quelles sont les activités de recherche à évaluer, sur qui et sur quelles activités porte effectivement l’évaluation, et quel est le lien entre financement et évaluation. L’analyse montre que, de même que dans les autres grands groupes de disciplines, la plupart des effectifs employés pour faire de la recherche en SHS sont les enseignants-chercheurs (profes-seurs et maîtres de conférences) dans les établissements d’enseignement supérieur et de recherche. Par rapport aux autres disciplines, les chercheurs en SHS sont propor-tionnellement moins nombreux dans les organismes de recherche, tandis que les SHS comptent plus de la moitié des doctorants toutes disciplines confondues. Les docto-rants en SHS sont pourtant moins bien encadrés et moins bien financés qu’ailleurs. Leur taux d’échec est plus élevé, et les débouchés scientifiques sont relativement limi-tés dans ces disciplines. L’évaluation des activités de recherche des ensei-gnants-chercheurs en SHS se fait, pour l’essentiel, dans le cadre des négociations du contrat quadriennal entre l’État et les établissements, par le biais des déclarations du travail en équipe et de la validation des écoles doctorales, en l’absence d’un suivi régulier et systématique des activités de recherche individuelles. Cette évaluation détermine le montant des crédits de recherche versés aux établissements par l’État, dont les SHS dépendent davantage que les sciences de la matière ou du vivant pour leur abondement.
Lors de son étude de l’évaluation de la recherche dans les établissements publics en 2003, le CNER avait constaté que les sciences humaines et sociales (SHS) étaient, en général, absentes des tableaux comparatifs internationaux rendant compte des perfor-mances de la recherche. Cette carence s’explique par la difficulté que rencontrent les organismes en France, comme l’Observatoire des sciences et des techniques (OST, 2004) ou le Centre national de la recherche scientifique (CNRS, 2005), et ailleurs en Europe, comme la Commission européenne (2004), non seulement à répertorier les chercheurs dans ces disciplines, mais aussi à appliquer à leur production les indicateurs bibliométriques communément adoptés dans les sciences de la matière et du vivant.
Dans ce chapitre, afin de savoir qui sont les acteurs institutionnels de la recherche en SHS, et ainsi qui est concerné par le financement et l’évaluation de leurs activités, nous analysons les statistiques recueillies auprès des différents organismes (services statistiques des ministères et des établissements) qui s’intéressent à la R&D en France. Une telle analyse nous permet de situer les acteurs de la recherche en SHS par rapport à d’autres disciplines. Par acteurs, nous entendons les enseignants-cher-cheurs et chercheurs, y compris les doctorants, dans les établissements de recherche publics, qui constituent la communauté scientifique ; les commanditaires et financeurs de la recherche, qui agissent sur sa mise en œuvre ; et les utilisateurs de ses résultats, que ce soient des administrations ou services publics, le secteur privé ou la société civile. En nous concentrant sur la communauté scientifique et les financeurs de la recherche, les comparaisons avec d’autres pays européens nous conduisent à mieux cerner non seulement les difficultés de cet exercice de recensement, mais aussi le poids relatif des SHS dans le paysage de la recherche à l’échelle nationale et internationale.
A C T E U R S D E L A R E C H E R C H E E N S C I E N C E S H U M A I N E S E T S O C I A L E S1 1
Au préalable, il convient de rappeler la définition de la R&D communément uti-lisée dans les statistiques officielles en France, définition établie par l’OCDE, présentée dans leManuel de Frascatiet reprise par l’OST : « les travaux de création entrepris de façon systématique en vue d’accroître la somme des connaissances, y compris la connaissance de l’homme, de la culture et de la société, ainsi que l’utilisation de cette somme de connaissances pour de nouvelles applications » (OST, 2004, p. 31).
A priorisemble être bien adaptée à la recherche en SHS, ses, une telle définition différentes composantes étant représentées dans les multiples champs disciplinaires, comme le montre ce rapport.
Toujours selon l’OST, le terme R&D est censé couvrir trois activités : « la recherche fondamentale visant à acquérir de nouvelles connaissances sans envisager d’application ou d’utilisation particulière ; la recherche appliquée qui consiste aussi à acquérir des connaissances nouvelles mais dirigées vers un but ou un objectif déter-miné ; et, enfin, le développement expérimental qui consiste en des travaux fondés sur des connaissances existantes en vue de lancer la fabrication de nouveaux matériaux, produits ou dispositifs, d’établir de nouveaux procédés, systèmes ou services ou d’amé-liorer ceux existants » (OST, 2004, p. 31).
Les diverses activités de recherche en SHS peuvent être ventilées en fonction d’un tel découpage, ce qui sera également illustré par la présente étude.
Dans son analyse des activités de recherche, l’OST note, en outre, deux ten-dances qui pourraient, éventuellement, être reliées et qui sont pertinentes pour notre propos : en premier lieu, la distinction entre recherche fondamentale et recherche appliquée (ou finalisée) tend à devenir désuète, puisque les deux types d’activités sont de plus en plus imbriquées l’une dans l’autre ; en deuxième lieu, l’importance des SHS va en s’accroissant dans les activités de R&D, y compris dans les entrepri-ses, même si ces activités sont difficiles à répertorier et ne relèvent pas strictement de notre mandat.
Quant à la première tendance, nous nous efforçons dans ce chapitre, et dans ceux qui suivent, de montrer que cette distinction divise encore les opinions des divers acteurs sur la légitimité de certaines activités de recherche aussi bien, sinon plus, en SHS que dans les autres disciplines.
La deuxième tendance est pertinente à l’analyse du financement de la recherche en SHS en raison de leur forte dépendance traditionnelle de l’abondement de ressources publiques, de l’obligation qui leur incombe de plus en plus à rendre des comptes aux financeurs, dont les contribuables, et du besoin croissant d’avoir à se retourner vers des sources de financement qui sont le plus souvent distribuées sur base compétitive. Tous ces développements appellent l’ajustement des missions scientifiques et la mise en place de procédures appropriées d’évaluation des activi-tés de recherche.
1 2
É V A L U A T I O N D E L A R E C H E R C H E E N S C I E N C E S H U M A I N E S E T S O C I A L E S
© 2010-2024 YouScribe