Schlagwort-Archive: impact

Performance Paradox durch den “perversen Lerneffekt”

Das „Performance Paradox“ wird in der Literatur unterschiedlich definiert: Zum Einen als Phänomen, daß Organisationen die Kontrolle über etwas haben, das sie nicht genau kennen. In einem Sammelband der Leopoldina hingegen ist das die Tendenz aller Leistungskriterien, mit der Zeit ihre Relevanz zu verlieren. So Margit Osterloh (S.104) zu dem “perversen Lerneffekt”, der sich bei dem Impaktfaktor eingestellt hat:

Dieser tritt dann auf, wenn man den Fokus auf den Leistungsindikator legt und nicht auf das, was er messen soll: „When a measure becomes a target, it ceases to be a good measure.“ Menschen sind besonders kreativ, wenn es darum geht, bei Kennzahlen gut abzuschneiden, ohne die tatsächlich relevante Leistung zu erhöhen.

Nachdem ich bei Kollegen schon CVs gesehen habe, die über 1.000 eigene Artikel aufzählen (aber keine nennenswerte Preise bekommen haben), dann hat Osterloh recht, wenn ich diese Pseudoleistung mit dem phänomenalen Arthur Kornberg vergleiche, von dem ich gerade die Biographie lese und der quantitativ nicht annähernd so viel publiziert hat.
Osterloh kann jedenfalls auch recht gut erklären, warum der Betrug immer häufiger wird.

Wenn die intrinsische durch eine extrinsische Motivation verdrängt worden ist, werden auch noch Manipulationsversuche wahrscheinlicher.

“Gaming the System”: Ich glaube langsam, das ist der grösste Umbruch in der Wissenschaft in den letzten 50 Jahren. Mit der Vervielfachung der mittel- und unterklassigen Forschung plus Performance Paradox ist der Nettoertrag wissenschaftlichen Fortschritts kaum gestiegen, auch wenn das zig-fache Finanzvolumen in die Forschung fliesst.
Osterloh beschreibt Forschung als systemisches “Marktversagen”, denn Forschung ist dadurch gekennzeichnet

dass sie öffentliche Güter erzeugt, die durch Nichtausschließbarkeit und Nichtrivalität im Konsum charakterisiert sind, weshalb der Markt hier nicht funktioniert.

Weil mit der inhärenten Unsicherheit primärer Forschungsergebnisse niemand weiss, ob es stimmt, was ich gerade schreibe, kann ich mich selbst mit gefakten Veröffentlichungen längere Zeit am “Markt” halten. Ein möglicher Nutzen stellt sich sowieso nur spät ein und mit vielen Ko-Autoren ist eine Leistungsmessung fast unmöglich.

Gibt es Alternativen? Sicher, ab S. 109:

Boykott der Indikatoren.

Und zurück zur Gelehrtenrepublik (das ist auch kein Widerspruch zur Bildung für alle).

Hat man dieses „Eintrittsticket“ in die „Gelehrtenrepublik“ aufgrund einer rigorosen Prüfung erworben, dann kann und sollte weitgehende Autonomie gewährt werden. Dies sollte eine angemessene Grundausstattung einschließen, welche es den Forschenden freistellt, sich am Wettlauf um Drittmittel zu beteiligen oder nicht.

Payback for referees

There is a recent letter at Nature saying

I have discovered a negative correlation between the number of papers that a scientist publishes per year and the number of times that that scientist is willing to accept manuscripts for review  … I therefore suggest that journals should ask senior authors to provide evidence of their contribution to peer review as a condition for considering their manuscripts.

While I agree with the overall observation, Payback for referees weiterlesen

A Science career should not be like a Mastermind game

You do an experiment or a clinical study and you are the code braker not knowing the peg positions and colors ( set by a code maker ).

The codebreaker tries to guess the pattern, in both order and color, within twelve (or ten, or eight) turns. Each guess is made by placing a row of code pegs on the decoding board. Once placed, the codemaker provides feedback by placing from zero to four key pegs in the small holes of the row with the guess. A Science career should not be like a Mastermind game weiterlesen

Finally: A true alternative to Thomson ISI® impact factors

That was even worth a note in Nature News that finally a free journal-ranking tool entered the citation market. The attack came by an article in JCB (“Show me the data“), the response was weak. Sooooooo we have a choice now which of the metric indices is being the worsest way to rate a researcher (if you can’t understand otherwise what she/he his doing).
BTW individual IF reporting was never intended but ISI but is now common use in many countries. I don´t believe (as Decan Butler explains) that there is so much difference between popularity and prestige – but there is a big difference between popularity and quality.