4th Annual International Symposium on University Rankings and Quality Assurance 2012

Die in Brüssel ansässige Organisation „Public Policy Exchange (PPE)” hat das 4th Annual International Symposium on University Rankings and Quality Assurance am 12. April 2012 ausgerichtet, an dem ich partizipiert habe. Wer hätte sehen und hören wollen, wie man ein sehr spannendes Thema ermüdend vorträgt, dem sei diese Veranstaltung nachträglich empfohlen. Es war faszinierend zu erleben, wie perfekt einige Vortragende ihre Begeisterung für dieses Thema verbergen konnten. Der Fairness halber muss man aber auch zugeben, dass es einige gute und in der Tat spannende Vorträge gab, von denen ich ergänzend zu meinem Twitterfeed unter #urqa an dieser Stelle berichten möchte.

Sinnvoll wäre es gewesen, die Interaktion der Teilnehmenden zu erhöhen. Hätte die Veranstaltung stärker einen Workshop-Charakter besessen, hätte man auch vermehrt von der Expertise und Erfahrung der im Auditorium anwesenden „Experten“ profitieren können. Das war zwar durch die Veranstalter intendiert, wurde aber durch die Ausschließlichkeit der Vorträge im Plenum (ca. 250 Personen) nicht so umgesetzt. In einigen Fragen der Teilnehmenden wurde aber deutlich, dass man sicherlich über die eine oder andere Fragestellung hätte kontrovers streiten können.

Nach der Eröffnung der Konferenz durch Prof. Andrea Bonaccorsi hielt zunächst Jordi Curell von der Europäischen Kommission (EC) einen Vortrag zum den momentanen und zukünftigen Entwicklungen bei der Entwicklung von Standards für internationale Rankings. Hier sei insbesondere erwähnt, dass die EC sich von der Möglichkeit, dass Institutionen, die nationale Rankings durchführen, auch über die eigenen Landesgrenzen hinweg tätig sein können, bereits eine Internationalisierung verspricht.

Gero Federkeil von der CHE wies (imho richtiger Weise) zum Beginn seines Vortrages darauf hin, dass die zunehmende Datenerhebung zur Erstellung von Rankings eine Reduktion zur Bereitschaft der Teilnahme sowohl seitens der Universitätsverwaltungen als auch der Studierenden zur Folge habe. Daher plane die CHE eine Vereinheitlichung der Datenerhebung mit dem Ziel, dass dann unterschiedliche (auch internationale) Institutionen auf die erhobenen Daten zugreifen und sie eigenständig interpretieren können. Diese Daten sollten dann auch die Grundlage multidimensionaler Rankings sein, die er – wenig überraschend – befürwortet. Zu Multi-U sagte er allerdings, auch auf Nachfrage, nichts, da es keinen neuen Sachstand gebe. Die CHE geht aber wohl von der Einführung aus.

Die Vorstellung, dass die CHE mit ihren zweifelhaften nicht unumstrittenen Methoden für alle Agenturen Daten erheben möchte, hätte man sicherlich diskutieren können – tat man aber nicht.

Stattdessen führte Herr Federkeil aus – nun nicht mehr als CHE sondern als IREG aus, dass die IREG ein Audit für Rankings plane und davon ausgeht, dass es sobald einige Rankings auditiert sind, es einen Trend zu diesem Audit gäbe. Am Rande der Konferenz hatte ich allerdings den Eindruck, dass er für seine Idee noch ordentlich die Werbetrommel rühren muss. Die 20 Kriterien (davon 10 Kernkriterien mit doppelter Gewichtung) sind auf der IREG-Homepage in einem PDF dargestellt. Um allerdings ein Ranking der Rankings zu vermeiden, plant die IREG keine Veröffentlichung der Auditpunktzahl, sondern stellt nur da, ob ein Ranking die nötigen 60% der 180 möglichen Punkte erreicht hat [und keiner der Kern-Scores unter 3 auf einer Skala von 6 bis 1 liegt].

Kritische Stimmen hoben insbesondere auf den ersten Teil des Vortrages bezogen hervor, dass die Datensicherheit der erhobenen (teilweise sensiblen) Daten (z.B. Drittmittelgeber), wenn diese dann weitergereicht würden, fragwürdig sei. Federkeil erläuterte, dass die Behandlung dieser Daten momentan auch schon sehr sensibel erfolge, so dass dies sogar dem im Audit als Kernkriterium benannten Gebot der Transparenz widerspreche.

Die weitere Diskussion entwickelte sich dahingehend, dass der Sinn von internationalen Rankings in Frage gestellt wurde, da wohl die Mehrheit Universitäten wohl kaum exzellent werden und die Mehrheit der Studierenden dies wohl auch gar nicht erwarten oder wünschen würde. Zumal es vor dem Hintergrund der unterschiedlichen Zielgruppen [ Studieninteressierte vor der Wahl des Studienorts beim Bachelor, fortgeschrittene Studierende vor der Wahl des Master, Masterstudierende und Doktoranden/-innen vor der Wahl des Ortes für Doc oder Post-Doc-Phase, Forscher/-innen bei ihrer Karriereplanung, Universitätsmitarbeitende bei der Wahl des Arbeitsplatzes, Bürgerinnen und Bürger] ohnehin schwierig wäre, die in einem Ranking abzubilden. Federkeil sah das als weiteres Argument der multidimensionalen Rankings, die sich der Anwender dann computergestützt genau so anzeigen lassen kann, dass seine eigenen Kriterien besonders stark einfließen. So wäre es dann auch möglich, den Universitäten zur Bekanntheit zu verhelfen, die zwar nicht Weltklasse, aber in einzelnen Aspekten sehr gut seien.

In der nächsten Session kamen die Herausgeber der Magazine zu Wort, die Rankings veröffentlichen. Sehr lebhaft war der Vortrag von Phil Baty, der den Werdegang des Times Higher Education Rankings (THE) schilderte. Nach der Trennung vom MurdochKonzern ist das THE unabhängig und kooperiert für die Rankings mit ThomsonReuters. Sein Fokus sind klar die weltbesten Universitäten und Baty sieht, dass sein Angebot auf einen breiten Markt trifft. Die Frage, was eine exzellente Universität sei, beantwortete er mit zwei Zitaten. P. Altbach (Boston College) sagt: „everyone wants one, no one knows what it is and no one knows how to get one“. Auf Twitter schlug ein_e Leser_in vor, dass eine gute Universität auf den Beruf vorbereite, aber eine exzellente Universität auf jeden Beruf vorbereite. Im Folgenden führte er aus, welche Faktoren zu welchem Anteil in das Ranking einfließen. Dies ist auch im Internet dargestellt. Die kritischen Aspekte internationaler Rankings wurden allerdings in seinem Vortrag nicht vertieft behandelt.

Auf konkrete Fragen, warum denn z.B. die französischen Publikationen zur Literatur in Frankreich einer französischen Universität im Ranking nicht zählen, da sie ja nicht englischsprachig also laut THE nicht international anerkannt seien, konnte Baty dann nur auf die Komplexität dieses Themas und den Kooperationspartner, mit dem sie bei der Erhebung der Daten zusammenarbeiten verweisen. An dieser Stelle wurde durch das Auditorium darauf verwiesen, dass 30% des Rankings-Scores durch Zitierungen bestritten werden. Später attestierte Baty, dass die Motivation der Herausgeber eine möglichst hohe Auflage bzw. viele Pagehits sein. Offen blieb, welche Implikationen dies für die Rankings hat. Das ausschließlich positive Feedback des THE-Rankings aus dem angloamerikanischen Sprachraum das im Rahmen Vortrages des zitiert wurde, war in meinen Augen sehr selektiv, die Zuhörer_innen sahen das wohl differenzierter.

Mit Waldemar Siwinski stellte ein weiterer Herausgeber seine Sicht auf die Dinge dar. Mit dem Gründer der polnischen „Perspektywy“ kam ein Befürworter der nationalen Rankings zu Wort. Seine Mitgliedschaft bei IREG darf man dahingehend verstehen, dass seine Organisation mehr Interesse an sichtbaren nationalen Rankings als an internationalen Rankings hat, in denen die polnischen Universitäten nicht oder kaum sichtbar sind.

Der Ranking-Forscher Prof. Andrea Bonaccorsi, der auch als Chair während der Konferenz fungierte, stellte in der nächsten Session dar, welche Folgen es für das Abschneiden in Rankings hat, wenn man das multidimensionale Ergebnis von Rankings letztendlich auf eine Dimension projiziert. Dies mag seiner Meinung nach für Firmen möglich sein, deren Leistungen und Produkte letztendlich durch den Marktwert charakterisiert werden und somit vergleichbar sind. Für die Universität gelte das aber so nicht. Wenn eine Universität ausgezeichnete und durchschnittliche Fakultäten habe, so schneide sie insgesamt im Mittelfeld ab. Hierbei sei auffällig, dass die Unterschiede innerhalb einer Universität viel größer seien, als die Unterschiede der Universitäten untereinander. Falls also eine Universität in einem internationalen Ranking gut abschneiden wollte, so brauche sie eine geringe Variabilität über die verschiedenen Fakultäten, dies sei aber nur dann möglich, wenn

  • die Universitäten sehr autonom gegenüber dem zuständigen Ministerium agieren können.
  • es eine ausgewogene Machtverteilung zwischen akademischer Forschung und Universitätsleitung gibt.
  • die Forscher_innen mobil sind (und bleiben).
  • ständig neue Positionen zu besetzen sind.

Diese Voraussetzungen seien aber nur in wenigen europäischen Ländern vorhanden, so dass in diesen Ländern eine Sichtbarkeit in internationalen Rankings nur sehr schwer zu erreichen ist.

Ein weiterer Vortrag von Prof. Andrés Carrión García stellte noch einen dritten Aspekt von Rankings vor, der zukünftig ebenfalls relevant werden könnte. Die sogenannte „3. Mission of universities“ sieht García hauptsächlich in drei Dimensionen: Den Weiterbildungsstudiengängen, dem Technologietransfer und der gesellschaftlichen Verantwortung. Für diese drei Dimensionen hat er mit seinem Team im Rahmen des Forschungsprojektes E3M Leitfragen ermitteln, mit Hilfe derer Universitäten auch in der 3. Mission neben Lehre und Forschung evaluiert werden können.

Abschließend stellte Dr. Karsten Krüger von der Fundacion CYD dar, welche Implikationen die Übertragung von nationalen zu internationalen Rankings mit sich bringt. Insbesondere das Feld der wenig oder gar nicht vergleichbaren Studiengängen stellte er im Vergleich der Annahmen für das CHE Ranking und für das spanische CYE-Ranking gegenüber und hebt hervor, dass eine Vergleichbarkeit über Ländergrenzen hinweg nur gegeben ist, wenn man starke Vereinfachungen bzw. Verallgemeinerungen der Indikatoren sowie der Studienfächer vornimmt und sich auf bestimmte Definitionen (Was ist ein „Full-time Professor“?) einigt.

Mit diesem klugen und nachdenklichen Vortrag endete das 4th Annual International Symposium on University Rankings and Quality Assurance 2012. Ich persönlich hätte mir gewünscht, dass der THE-Herausgeber nun zu diesen (ernüchternden) Fakten Stellung bezieht oder es in der einen oder anderen Fragestellung noch eine kontroverse Diskussion gegeben hätte. Inhaltlich hätte man hierzu an vielen Punkten ansetzen können.

Stattdessen habe ich (und sicherlich auch viele andere Konferenzteilnehmer_innen, die übrigens nur zu einem sehr geringen Teil aus Deutschland stammten) belgische Pralinen gekauft. Bei ausreichender Stichprobe und vergleichbaren Kriterien habe ich anschließend herausgefunden, dass diese bei einem internationalen Pralinen-Ranking sicherlich einen der ersten Plätze belegt hätten.

One Response to “4th Annual International Symposium on University Rankings and Quality Assurance 2012”

  1. Martin Lommel Says:

    Das hier passt auch noch gut zum Thema:
    http://www.zeit.de/2010/38/C-Uni-Ranking

Leave a Reply