Vortrag: Wie man wissenschaftliche Qualität beurteilen kann

Heute, 07. Jänner 2009, 19:00 Uhr, HS 3D im NIG findet ein Vortrag von Falk Reckling, dem Leiter der Sozial-&Geisteswissenschaftlichen Abteilung des FWF (Fonds zur Förderung wissenschaftlicher Forschung) statt, in der er – so kündigt der Titel des Vortrags zumindest an – über Qualitätsmaßstäbe für wissenschaftliche Arbeiten spricht.

Google sagt mir, dass Dr. Reckling etwas für die Open Access-Initiative übrig hat (ORF-Beitrag), in einfachen Worten: Forschung, die von öffentlicher Hand bezahlt wird, soll auch der Öffentlichkeit zugänglich sein.

• Liste von Open Access Zeitschriften (geordnet nach Fachbereichen)
• OAI-Suchmaschine (OAI: Open Archive Initiative) OAIster (Diese Art von Suchmaschinen vernetzen die verschiedenen OAI-Repositories basierend auf dem OAI-PMH-Standard, der dafür sorgt, dass die Metadaten der einzelnen Artikel bei allen OAI-Repositories maschinenverarbeitbar sind)
• SCIRUS (sucht auf “480 million science-specific Web pages”, also nicht nur auf OpenArchive-Repositories)
• Open Access-Informationsplattform (viele Links, gute Erklärungen)

Mal sehen, vielleicht initiiere ich einen Live-Blog oder berichte nachher über interessante Punkte – sofern erkennbar.

UPDATE:

Das Publikum war relativ schmal, wahrscheinlich wegen dem neuen Jahr ( ca. 20 Leute inklusive Vortragender,UniversitätsmitarbeiterInnen und OrganisateurInnen); ich habe ca. 5 studierende erkennen können.

Der wichtigste Satz kam eigentlich schon am Anfang: Die Qualität der Wissenschaftlichen Arbeit muss nach Verfahren erfolgen, die nachvollziehbar, transparent und schwer manipulierbar sind. (Ich vermute, dass die Nachvollziehbarkeit & Transparenz mit Manipulierbarkeit kontrahiert -> hohe Transparenz über das Auswahlverfahren -> steigende Möglichkeit, das Verfahren zu manipulieren).

Warum man überhaupt Leistung in der Forschung messen will, wurde folgendermaßen begründet:

• Man kann etwas zur Rechtfertigung angeben, wie man öffentliche Mittel verwendet (Ich denke, wenn die Publikationsstrukturen einfacher wären, könnten sich Geldgeber als auch Steuerzahler als auch die Forschercommunity selbst ein Bild von den Publikationen machen; viele Augen sehen manchmal besser als eine Zahl)
• Selektion, um Lobbyismus und nicht-wissenschaftliche Kriterien auszuschließen
• Orientierungsmöglichkeit für Studenten, Forscherinnen und Geldgeber (man kann nicht alle Publikationen lesen)
• Wettbewerb (Leistungsmotivierendes Umfeld)
• Reputation und Mittelvergabe für kompetente Forscher

Danach kam eine Vorstellung der üblichen Verfahren, die man im Wissenschaftsbetrieb zur Beurteilung der Qualität von Publikationen normalerweise anwendet:

• Peer Review
• Metriken, speziell Bibliometrie (citation index)
• informed Peer Review (Die quantiativen Merkmale werden von Experten gewichtet)

Der Vortragende stellt fest (und folgt damit der Empfehlung des deutschen Wissenschaftsrates 2007), dass so etwas wie der citation index zur Zeit in den Sozial-&Geisteswissenschaften nicht machbar ist, dass er aber den Angehörigen dieser Diziplin empfehlen würde, über eine Adaptierung selbständig nachzudenken. “Wenn die Geisteswissenschaftten das nicht selbst tun, dann wird es für sie gemacht” – und das könne negativ für alle Beteiligten sein.

Auch die Gefahren von Leistungsfeststellungen wurden erwähnt:

• zu viele Evaluationen -> zu hoher Aufwand in Relation zum Nutzen
• Verabsolutierung von quantitativen Faktoren (manche medizinische Zeitschriften geben den impact factors bis auf die vierte Kommastelle genau an)
• “dirigistische Eingriffe in den Forschungsalltag”, was die Forschungsfreiräume einengt
• Strategiefallen: extensive Ausrichtung der Wissenschaftlerinnen an den Evaluationskriterien

In der Diskussion wurde das Argument vorgebraccht, dass die quantitativen Maßstäbe nur für den Mittelmaß gelten würden. Für Genies und die, die ganz unten sind, würden sie keinen Nutzen haben, was der Vortragende auch bestätigte.

Also an sich ein solider Vortrag – nur leider ohne neuer Vorschlage und mit – sogar für mich – altbekannten Diskussionen über die Sinnhaftigkeit von citation Index und impact factors in den Sozial- und Geisteswissenschaften oder in den Wissenschaften generell. Wie in sehr vielen Bereichen wächst die Komplexität der Probleme, die wir zu bewältigen haben; man sucht Kriterien, und manchmal Algorithmen, mit denen man einerseits alle wichtigen Faktoren berücksichtigen kann und andererseits für die Überprüfung nicht das ganze Leben lang braucht. Das ist verständlich. Die Frage ist, wenn die Algorithmen zu exakt definiert sind, werden viele Forscher nicht zögern, ihre Publikationen auf diese Kritierien auszurichten und dann kommt es wohl sehr schnell zu der Situation, in der zwar die Kriterien eine gute Leistung indizieren würden, man beim Lesen aber einen anderen Eindruck bekommt – wenn man nicht bereits von den Kennzahlen hypnotisiert ist. Die Frage ist, ob es bei dieser Masse an Publikationen ohne Kennzahlen geht und wenn ja, wie sieht die Alternative aus? “Back to the roots” – das wird ohne Zusatzüberlegungen nicht gehen.

Was mir gefehlt hat war die Frage, wie sich die Bewertungsmodelle und auch die Publikationssituation als Ganzes verändern kann und wird angesichts des Open-Access-Ansatzes und der elektronischen Erschließung der Inhalte (Metadaten, Tags, …).

Für mich zeigt die Sokal-Affäre einerseits, und der Vorfall bei der CSSE08 andererseits (es gibt ja noch mehrere ähnliche Beispiele), dass nicht allein die Geisteswissenschaften über ihre Qualitätsmaßstäbe nachdenken müssen. Mein Plädoyier für einen einfacheren Zugang zu den Publikationen (durch Internettechnologien) ist auch keine Garantie für höhere Qualität, jedoch kann ich mir schon vorstellen, dass der länderübergreifende Community-Effekt positive Auswirkungen hat. Er könnte zumindest dazu führen, dass die Arbeiten so geschrieben werden, dass sie nicht nur Expertinnen verstehen (manchmal lässt sich das nicht vermeiden, aber tendenziell könnten übermäßige Spezialisierungen – wo man gar nicht mehr weiß, wie man das verstehen soll – vermieden werden). Die themenbezogene Gesprächskultur in den Wissenschaften (und der Dialog mit der Öffentlichkeit) könnte zunehmen und die Bemühungen um die kleinste publizierbare Einheit unwichtiger werden lassen. Soweit zur Vision.