Universitäten und Forschungseinrichtungen sollen bibliometrische Analysen für die Evaluation von Forschungsleistungen nutzen, aber auch gleichzeitig hinterfragen und weiterentwickeln. Das empfiehlt der Wissenschaftsrat in seiner Publikation "Vom Messen und gemessen werden". Außerdem soll dazu ein unabhängiges nationales Kompetenzzentrum eingerichtet werden.

Forschungsleistungen werden heutzutage vielfach (neben Peer-Review-Verfahren) auch durch bibliometrische Analysen bewertet. Das kann etwa eine Rolle bei Berufungsverfahren oder bei der Verteilung von Mitteln an Hochschulen und Forschungseinrichtungen bzw. innerhalb derselben spielen. Die "Währung" dabei ist meist eine Zählung der Zitationen einer wissenschaftlichen Arbeit - also wie häufig sie von anderen Forschern in ihren eigenen Publikationen zitiert wird. Meist spielt dabei auch eine Rolle, in welchen wissenschaftlichen Zeitschriften diese Zitationen erfolgen. Gezählt werden können aber auch andere Faktoren, etwa die Zahl von Konferenzbeiträgen.

Die Einrichtungen nützen für diese Analysen verschiedene Datenbanken - etwa Web of Science (WoS) oder Scopus bzw. mittlerweile auch Google Scholar. Dazu kommen auf bestimmte Wissenschaftsbereiche beschränkte Angebote wie PubMed.

Laut einer Umfrage des Wissenschaftsrats aus dem Jahr 2019 arbeiten viele Unis mit solchen metrischen Mess- und Analysemethoden. Sie nutzen sie etwa zur Erstellung und zum Monitoring der Zielvereinbarungen zwischen Rektorat und einzelnen Fakultäten sowie für ihre Wissensbilanzen, aber auch zur forschungsbezogenen Leistungsbewertung.

Der Wissenschaftsrat warnt aber vor einem unreflektierten Heranziehen bibliometrischer Daten. In den Natur-, Lebens- und Ingenieurwissenschaften, in denen internationale Zeitschriftenpublikationen relevant sind, sei dies weitgehend unproblematisch, in der Informatik wegen des hohen Stellenwerts von Konferenzen "schon etwas schwieriger". In den Sozial-, Wirtschafts-und Geisteswissenschaften seien standardisierte Auswertungsmethoden dagegen vorerst noch nicht generell bzw. erst in Ansätzen etabliert.

Der Rat empfiehlt daher auch, dass "die einer bibliometrischen Auswertung zugrundeliegende Datenbasis durch Expertinnen und Experten aus dem jeweiligen Fachgebiet überprüft werden sollte, um zu gewährleisten, dass den Spezifika dieses Fachbereichs Rechnung getragen wird". Laut der Umfrage ist dies den Unis aber ohnehin klar. Quantitative, metrik-basierte Methoden würden "fast durchwegs als Ergänzung bzw. Unterstützung von Evaluierungsprozessen bzw. Peer Review-Verfahren genutzt".

Problem: Die Aufbereitung und Analyse bibliometrischer Daten auf Basis interner und internationaler Datenbanken könne "einen erheblichen Aufwand verursachen, insbesondere wenn internationale Vergleiche gewünscht sind". Daher schlägt der Rat eine österreichweite Koordination des Zugangs zu externen Anbietern vor - dies würde die Kosten für die Institutionen reduzieren und Abstimmungen erleichtern.

Als Ideallösung schwebt dem Wissenschaftsrat die Einrichtung eines nationalen Kompetenzzentrums für Forschungsevaluation vor. In diesem könnten Fragestellungen zu Bibliometrie-basierten Verfahren untersucht und datenbasierte Analysen durchgeführt werden. "Insbesondere für Forschungsförderungsorganisationen wäre eine solche universitätsunabhängige Institution hilfreich, um die Evaluation der Wirksamkeit von Forschungsprogrammen zu unterstützen." Eingerichtet werden sollte so ein Zentrum aus budgettechnischen Gründen durch die Nutzung bestehender Einrichtungen und vorhandener Kompetenzen an den Unis.(apa)