Higher Education Management and Policy

In the past decade, accountability has become a major concern in most parts of the world. Governments, parliaments and the public are increasingly asking universities to justify the use of public resources and account more thoroughly for their teaching and research results. Is this a favourable development for tertiary education? Or is there too much accountability, at the risk of stifling initiative among university leaders?

This article analyses the main dimensions of the growing accountability agenda, examines some of the negative and positive consequences of this evolution, and proposes a few guiding principles for achieving a balanced approach to accountability in tertiary education. It observes that the universal push for increased accountability has made the role of university leaders much more demanding, transforming the competencies expected of them and the ensuing capacity building needs of university management teams. It concludes by observing that accountability is meaningful only to the extent that tertiary education institutions are actually empowered to operate in an autonomous and responsible way.

By Jamil Salmi, Tertiary Education Coordinator, The World Bank

The findings, interpretations, and conclusions expressed in this paper are entirely those of the author and should not be attributed in any manner to the World Bank, the members of its Board of Executive Directors or the countries they represent. This paper is derived from a short think piece published in October 2007 in International Higher Education. The author wishes to thank all the colleagues who kindly reviewed earlier drafts and generously offered invaluable suggestions, in particular Michael Adams, Svava Bjarnason, Marguerite Clarke, Graeme Davies, Elaine El-Khawas, Ariel Fiszbein, Richard Hopper, Geri Malandra, Sam Mikhail, Benoît Millot and Alenoush Saroyan. Full responsibility for errors and misinterpretations remains, however, with the author.

Les universités face aux exigences accrues de transparence et de responsabilité : Une évolution bénéfique ou dangereuse ?

Ces dix dernières années, les notions couplées de transparence et de responsabilité sont devenues incontournables dans la plupart des régions du monde. Les gouvernements, les parlements et le public attendent désormais des universités qu’elles justifient leur utilisation des ressources publiques et rendent davantage de comptes au sujet de leurs activités d’enseignement et de recherche. S’agit-il d’une évolution bénéfique pour l’enseignement supérieur ? Ou cette exigence accrue de transparence et de responsabilité risque-t-elle au contraire de tuer dans l’œuf les initiatives des dirigeants d’universités ?

Cet article analyse les grandes problématiques qui sous-tendent cette évolution, étudie certaines des conséquences négatives et positives et propose un certain nombre de principes directeurs permettant aux établissements d’enseignement supérieur de répondre de façon réfléchie et mesurée à cette exigence nouvelle. L’auteur constate que la demande universelle de responsabilité et de transparence dans l’enseignement supérieur s’accompagne de contraintes nouvelles pour les dirigeants d’universités, en modifiant les compétences que l’on attendait d’eux jusqu’à présent et en obligeant, par voie de conséquence, les équipes de direction des établissements à renforcer leurs capacités. L’auteur termine en faisant remarquer que cette obligation redditionnelle ne fait sens que si les établissements d’enseignement supérieur ont effectivement la possibilité de mener leurs activités de façon autonome et responsable.

Par Jamil Salmi, Coordinateur des programmes d’enseignement supérieur, La Banque mondiale.
Les observations, interprétations et conclusions exprimées dans ce rapport sont exclusivement celles de l’auteur et ne sauraient en aucune manière être attribuées à la Banque mondiale, aux membres de son Conseil des Administrateurs ni aux pays qu’ils représentent. Le présent rapport est extrait d’un bref article de fond publié en octobre 2007 dans la revue International Higher Education. L’auteur tient à remercier l’ensemble des collègues qui ont eu la gentillesse de réviser les versions précédentes de ce rapport et de l’enrichir de leurs précieuses remarques et suggestions. Il tient à remercier particulièrement Michael Adams, Svava Bjarnason, Marguerite Clarke, Graeme Davies, Elaine El-Khawas, Ariel Fiszbein, Richard Hopper, Geri Malandra, Sam Mikhail, Benoît Millot et Alenoush Saroyan. L’auteur est toutefois seul responsable des erreurs et interprétations erronées que pourrait contenir ce rapport.

The policy debate on accountability in higher education has been vigorous in many countries, but it has focused primarily on broad objectives or approaches. Limited attention has been paid to the mechanisms by which universities would implement accountability objectives and to the critical role of academics in developing ways to assess learning outcomes. Yet, giving members of the professoriate a central role in accountability is vital: implementing accountability requires decentralised implementation linked to the differing circumstances of study fields and levels. Academics must be involved in a sequence of tasks – developing assessments, testing and refining them against new evidence, making sense of accountability results, and responding with changes in programmes or delivery.

This paper outlines a process showing how universities and other tertiary institutions could develop and use outcome measures for student learning. It also recognises that professional and disciplinary associations (e.g. business, education, chemistry, literature and social welfare), nationally and internationally, could contribute to these developments in their specialty fields.

En quoi les professeurs de l’enseignement supérieur peuvent-ils contribuer à « responsabiliser » leurs établissements ?

L’idée d’une responsabilisation de l’enseignement supérieur a donné naissance, dans de nombreux pays, à un débat politique houleux. Toutefois, ce débat vise essentiellement à définir des objectifs ou des approches génériques, et s’intéresse relativement peu aux mécanismes grâce auxquels les universités pourraient avancer sur la voie des objectifs de transparence. De même, il faudrait s’interroger davantage sur le rôle clé que pourraient jouer les universitaires pour concevoir de nouvelles méthodes d’évaluation des retombées de l’apprentissage. Il est en effet essentiel que les membres du corps enseignant jouent un rôle central dans les initiatives visant à accroître la responsabilité et la transparence des systèmes d’enseignement supérieur : pour fonctionner durablement, ces initiatives doivent être menées de façon décentralisée, au vu des spécificités propres à chaque discipline et à chaque niveau d’études. Dans cette optique, les universitaires ont bel et bien un rôle à jouer à différents stades : il leur faut élaborer des outils d’évaluation, mais aussi tester et adapter ces outils au vu des résultats de recherche les plus récents, interpréter les résultats obtenus en termes de responsabilité et modifier si nécessaire les programmes ou les méthodes pédagogiques.

Ce rapport propose un cadre théorique utilisable par les universités et les autres établissements d’enseignement supérieur pour concevoir puis utiliser des outils permettant d’évaluer les retombées de l’apprentissage. L’auteur suggère par ailleurs que certaines professions et disciplines (telles que les entreprises commerciales, le secteur éducatif, l’industrie chimique, le monde littéraire ou encore les organismes de protection sociale) pourraient contribuer, à l’échelon national et international, à promouvoir cette évolution dans leurs domaines respectifs.

Measures of student learning are playing an increasingly significant role in determining the quality and productivity of higher education. This paper evaluates approaches for estimating the value added by university education, and proposes a methodology for use by institutions and systems.

The paper argues that value-added measures of learning are important for quality assurance in contemporary higher education. It reviews recent large-scale developments in Australia, methodological considerations pertaining to the measurement and evaluation of student learning, and instruments validated to measure students’ capability, generic skills, specific competencies, work readiness and student engagement.

Four approaches to calculating value-added measures are reviewed. The first approach computes value-added estimates by comparing predicted against actual performance using data from entrance tests and routine course assessments. In the second approach, comparisons are made between outcomes from objective assessments administered to cohorts in the first and later years of study. Comparisons of first-year and later-year students’ engagement in key learning activities offer a third and complementary means of assessing the value added by university study. Feedback on graduate skills provided by employers is a fourth approach which gives an independent perspective on the quality of education.

Reviewing these four approaches provides a basis for their synthesis into a robust and potentially scalable methodology for measuring the value added by higher education. This methodology is advanced, along with its implications for instrumentation, sampling, analysis and reporting. Case studies are presented to illustrate the methodology’s potential for informing comparative analyses of the performance of higher education systems. 

L’évaluation des connaissances acquises par les étudiants est désormais un outil indispensable pour déterminer la qualité et la productivité de l’enseignement supérieur. Ce rapport examine les différentes approches permettant d’évaluer la valeur ajoutée de l’enseignement supérieur et propose une méthode utilisable à la fois au sein des établissements et à l’échelle des systèmes d’enseignement supérieur.

L’idée centrale qui sous-tend ce rapport est la suivante : la mesure des acquis des étudiants est l’un des piliers de l’assurance qualité au sein des systèmes d’enseignement supérieur modernes. L’auteur passe ainsi en revue les tendances majeures observées récemment en la matière en Australie, analyse les problèmes méthodologiques inhérents à la mesure et à l’évaluation des acquis des étudiants, et enfin étudie les instruments couramment employés pour mesurer les capacités, les compétences génériques et spécifiques, l’aptitude au travail et l’implication des étudiants.

Quatre méthodes de calcul de la valeur ajoutée sont ainsi passées en revue. La première consiste à estimer cette valeur ajoutée en comparant les performances escomptées et les performances réelles des élèves, à l’aide des résultats des tests d’admission et de ceux des évaluations réalisées en cours de cycle. La deuxième approche compare les résultats d’évaluations objectives d’étudiants pour chaque année d’étude (première année et suivantes). La troisième méthode utilisée pour évaluer la valeur ajoutée de l’enseignement secondaire, de nature complémentaire, consiste à comparer l’implication des étudiants dans certains modules d’apprentissage clés durant la première année et au cours des années suivantes. Enfin, la quatrième méthode étudiée envisage la qualité de l’enseignement supérieur selon une perspective différente, puisqu’elle tient compte des retours d’expérience de certains employeurs sur les compétences des jeunes diplômés.

L’examen de ces quatre approches permet ensuite de les synthétiser et d’obtenir une méthode fiable pour évaluer la valeur ajoutée de l’enseignement supérieur, ladite méthode consolidée offrant en outre le potentiel de s’adapter à différentes échelles. Il s’agit d’une approche sophistiquée, aux implications complexes en termes d’instrumentation, d’échantillonnage, d’analyse et de présentation des résultats. Une série d’études de cas permet à l’auteur de démontrer le potentiel offert par cette méthode pour étayer l’analyse comparative des performances de différents systèmes d’enseignement supérieur.

Global rankings are creating a furore wherever or whenever they are published or mentioned. They have become a barometer of global competition measuring the knowledge-producing and talent-catching capacity of higher education institutions. These developments are injecting a new competitive dynamic into higher education, nationally and globally, and encouraging a debate about its role and purpose.

As such, politicians regularly refer to them as a measure of their nation’s economic strength and aspirations, universities use them to help set or define targets mapping their performance against the various metrics, while academics use rankings to bolster their own professional reputation and status.

Based on an international survey (2006) and extensive interviews in Germany, Australia and Japan, (2008), this paper provides a comparative analysis of the impact and influence of rankings on higher education and stakeholders, and describes institutional experiences and responses. It then explores how rankings are influencing national policy and shaping institutional decision making and behaviour.
Some changes form part of the broader modernisation agenda, improving performance and public accountability, while others are viewed as perverse. Their experiences illustrate that policy does matter.

Les classements mondiaux suscitent l’enthousiasme chaque fois qu’ils sont publiés ou mentionnés. Ils sont devenus le baromètre de la concurrence mondiale, mesurant la capacité des institutions d’enseignement supérieur en termes de production de savoir et de captation des talents.

Ces développements injectent une nouvelle dynamique de compétition dans l’enseignement supérieur, au niveau national et mondial, et suscitent un débat sur son rôle et ses objectifs. À ce titre, les hommes/femmes politiques y font régulièrement référence en tant qu’instrument de mesure de la puissance économique et des aspirations de leur nation, les universités s’en servent pour établir ou définir leurs objectifs en termes de performance par rapport à diverses métriques, tandis que les universitaires utilisent les classements pour appuyer leurs propres réputation et statut professionnels.

Cet article se fonde sur une enquête internationale (2006) et des entretiens approfondis menés en Allemagne, en Australie et au Japon (2008) pour réaliser une analyse comparative de l’impact et de l’influence des classements sur l’enseignement supérieur et ses parties prenantes et pour décrire les expériences et réponses institutionnelles. Cet article étudie également la manière dont les classements influencent la politique nationale et façonnent la prise de décision et les comportements institutionnels. Certains changements s’inscrivent dans le cadre plus large du programme de modernisation qui tend vers une amélioration des performances et une plus grande responsabilité publique, tandis que d’autres sont considérés comme pervers. Leurs expériences démontrent l’importance des choix politiques.

This paper describes the global knowledge economy (the k-economy), comprised by (1) open source knowledge flows and (2) commercial markets in intellectual property and knowledge-intensive goods. Like all economy the global knowledge economy is a site of production. It is also social and cultural, taking the form of a one-world community mediated by the Internet.

The k-economy has developed with extraordinary rapidity, particularly the open source component; which, consistent with the economic character of knowledge as a public good, appears larger than the commercial intellectual property component. But how do the chaotic open source flows of knowledge, with no evident tendency towards predictability let alone towards equilibrium, become reconciled with a world of governments, economic markets, national and university hierarchies, and institutions that routinely require stability and control in order to function?

The article argues that in the k-economy, knowledge flows are vectored by a system of status production that assigns unequal values to knowledge and arranges it in ordered patterns. The new system for regulating the value of public good knowledge includes institutional league tables, research rankings, publication and citation metrics, journal hierarchies, and other comparative output measures such as outcomes of student learning.

Cet article décrit l’économie globale de la connaissance (la « k-economy »), qui comprend (1) les flux de connaissances de source ouverte et (2) les marchés de la propriété intellectuelle et des biens à forte intensité de connaissances.

Comme toute économie, l’économie globale de la connaissance représente un site de production. Elle est aussi sociale et culturelle, prenant la forme d’une communauté mondiale unique fondée sur l’Internet. L’économie de la connaissance s’est développée à une vitesse extraordinaire, en particulier la composante source ouverte, qui, en raison du caractère économique de la connaissance en tant que bien public, semble occuper une place plus importante que la composante propriété intellectuelle commerciale.

Mais comment les flux chaotiques de connaissances de source ouverte, qui de toute évidence ne tendent pas vers plus de prévisibilité et encore moins vers un quelconque équilibre, peuvent-ils être conciliés avec un monde fait de gouvernements, de marchés économiques, de hiérarchies nationales et universitaires, et d’institutions qui exige stabilité et contrôle pour fonctionner ?

Cet article soutient que dans l’économie de la connaissance, les flux de connaissances sont orchestrés par un système de production de statuts qui assigne des valeurs inégales au savoir et l’organise en schémas ordonnés. Le nouveau système de régulation de la valeur de la connaissance en tant que bien public inclut les tableaux de classement institutionnel, les classements de recherche, les métriques de publication et de citation, les hiérarchies au sein de la presse, et d’autres mesures comparatives de rendement, tels que les résultats d’apprentissage.

Based on recent surveys of institutional experience and on a new analysis of the impact of league tables on English higher education, this paper argues that if, as seems likely, rankings are here to stay, the shortcomings of the present approach must be acknowledged and addressed.

By Peter W.A. West, University of Strathclyde, United Kingdom

À la lumière de sondages récents menés auprès des établissements, et d’une nouvelle analyse de l’impact des classements sur le système d’enseignement supérieur britannique, ce rapport suggère que si la pratique des classements persiste – et c’est fort probable – le secteur n’aura d’autre choix que d’identifier leurs insuffisances et anomalies pour y apporter les améliorations nécessaires.

Par Peter W.A. West, Université de Strathclyde, Royaume-Uni